ML&DL/Deep Learning (3) 썸네일형 리스트형 더 깊은 네트워크를 위한 Activation function(활성화 함수) Activation function의 필요성 앞선 포스팅을 통해 perceptron은 fully-connected layer(=dense layer=linear layer)와 sigmoid로 이루어져 있다는 것을 알고있다. perceptron을 아주 많이 쌓게 되면 그것을 DNN(Deep Neural Network)이라고 부른다. 만약 DNN을 이루고 있는 요소 중 sigmoid 함수가 없다면 어떨까? fully-connected layer를 100개를 쌓아도 10000개를 쌓아도 사실 한 층을 쌓은 것과 다를 바 없게 된다. 어차피 선형함수 하나로 표현할 수 있기 때문이다. 그러므로 층을 깊게 쌓는 것이 의미를 갖기 위해서는 sigmoid와 같은 non-linear한 activation function.. Gradient descent algorithm(경사하강법)과 back propagation 이 포스팅은 sung kim 교수님 강의 의 자료를 활용했습니다. Gradient descent algorithm review Loss function(=cost function=objective function)은 실제 값과 추정 값의 차이를 나타내는 함수. 즉, 얼마나 틀렸냐?를 나타낸다. loss function을 최소화 하는 것이 우리의 목적이다. gradient descent algorithm(경사 하강법)은 loss를 최소화 하는 weight를 찾는 방법중 하나이다. 그럼 어떻게 loss를 최소화 하냐? 현재 위치에서 gradient(기울기)가 가장 급격한 방향으로 조금씩 이동하며 최소값으로 도달한다. 즉, 특정 weight에 대한 편미분을 통해 각각의 weight가 loss에 얼마나 영향을 .. Perceptron(퍼셉트론)과 MLP(Multi-Layer Perceptron) Artificial Neural Network (인공신경망) Artificial Neural network(ANN, 인공신경망)은 상호 연결되어있는 뉴런들의 복잡한 webs로 구성되어있는 생물학적인 학습시스템에서 일부분 영감을 얻었다고 한다. 인간의 뇌는 대략 1011 개의 뉴런(각각 평균적으로 104의 connection을 가진다)의 밀도있게 연결된 네트워크를 가진다고 추정된다. 그리고 그렇게 상호 연결된 뉴런은 시냅스를 통해 신경전달물질을 분비해서 신호를 전달하거나/전달하지 않거나 행동을 취한다. 다음 뉴런을 activation시키기 위해 뉴런에서는 어떻게 결정을 내리는 것일까? 그 rule을 design하는 neural network를 만드려는 여러 시도들이 있고 앞으로의 포스팅에서 차근히 살펴.. 이전 1 다음
