[ AI / 데이터분석 ] 인공지능 개념 정리 - 경사하강법, 손실함수, 학습률

 

손실함수 ( Loss Function ) 란?

 

• 정답과 예측 간의 차이를 계산하는 함수
• 값이 낮을수록 학습이 잘 된 것을 의미하며, 최적의 매개변수 (가중치, 편향) 을 탐색할 때 손실함수가 작은 값을 찾음. 

 

대표적인 손실함수 ( MAE & MSE )

• 평균 절대 오차 ( MAE ) - 정답과 예측 차이에 대한 절대값의 평균

 

• 평균 제곱 오차 ( MSE ) - 정답과 예측 차이에 대한 제곱의 평균

[참고]

• https://jysden.medium.com/%EC%96%B8%EC%A0%9C-mse-mae-rmse%EB%A5%BC%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94%EA%B0%80-c473bd831c62

언제 MSE, MAE, RMSE를 사용하는가?

 

경사하강법 ( Gradient Descent )

• 딥러닝 알고리즘 학습 시 사용되는 최적화 기법 중 하나.
• x는 가중치, y는 손실 함수를 의미
• 손실 함수의 크기를 최소화시키는 파라미터를 찾는 것

 

학습률 ( learning rate )

https://heung-bae-lee.github.io/2019/12/08/deep_learning_02/

• 학습률 (learning rate) 가 큰 경우 -  한 번 이동하는 거리가 크므로 시간이 적게 소요되지만 극소점으로 가는 방향과 반대로 이탈하는 문제가 발생할 수 있음.  
• 학습률  (learning rate) 가 작은 경우 - 최적의 값을 구하는 데 소요되는 시간이 오래 걸림.
• 적절한 학습률 설정하는 게 중요.