Myo-Kyeong Tech Blog

데이터 스케일링 ( Scaling ) 다양한 특성의 값을 일정한 범위 또는 표준에 맞게 조정하는 과정 특성 간의 비교를 가능하게 함 모델의 성능을 향상시키고, 계산의 수치적 안정성을 제공. 데이터 스케일링 ( Scaling ) 이 필요한 경우 특성의 단위가 다른 경우 경사 하강법을 사용한 모델 ( 예 : 선형 회귀, 로지스틱 회귀, 신경망 등) 거리 기반 알고리즘 ( 예 : K-NN, SVM ) 예를 들어, 집의 가격을 예측하는 모델을 만들려고 합니다. 특성으로는 집의 크기 (평방 미터), 방의 수(개수), 위치 (위도와 경도) 등이 있다면, 이 특성들은 모두 다른 단위와 범위를 가지고 있습니다. 집의 크기는 수백에서 수천, 방의 수는 1에서 10사이, 위치 좌표에 따라 수백에서 수천의 범위를 가질 수 ..

교차 검증 ( Cross Validation ) 이란? 교차 검증 ( Cross Validation ) 은 머신러닝 모델의 일반화 성능을 측정하는 통계적 방법입니다. 데이터를 여러 개의 부분집합 (또는 "fold")으로 나누고 각 부분집합을 차례로 테스트 데이터로 사용하고 나머지를 훈련 데이터로 사용하는 방법입니다. 교차 검증 ( Cross Validation ) 을 사용하는 이유 교차 검증을 사용하는 주요 목적은 모델의 과적합을 방지하고, 데이터를 최대한 효율적으로 활용하여 일반화 성능을 높이기 위해서 입니다. 교차 검증을 통해 얻은 여러 성능 지표들의 평균을 내어 모델의 성능을 추정하면, 학습 / 테스트 분할로 얻은 성능 추정보다 더 신뢰성이 높은 추정을 할 수 있습니다. K-Fold K-Fold 교..

Label Encoder Label Encoding은 문자 데이터를 숫자로 바꾸는 가장 기본적인 방법으로 각 유니크한 문자 데이터를 숫자 값으로 매핑하는 방법입니다. 예를 들어, Red, Blue, Green 3개의 색상이 있다고 있다고 가정해봅시다. Label Encoding을 적용하면 'Red'는 0, 'Blue'는 1, 'Green'는 2와 같은 숫자로 변환됩니다. ID 색상 1 Red 2 Blue 3 Green [Label Encoder] ID 색상 1 0 2 1 3 2 from sklearn.preprocessing import LabelEncoder #데이터 colors = ['Red', 'Blue', 'Green', 'Blue', 'Red'] # LabelEncoder 객체 생성 encode..

과적합 ( Overfitting ) 과적합(Overfitting)은 머신러닝 모델이 학습 데이터에 과도하게 최적화되는 현상을 말합니다. 이러한 현상은 모델이 학습 데이터의 특징뿐만 아니라 노이즈까지 학습하게 되어, 일반화 ( generalization ) 성능을 저하시키는 결과를 초래합니다. 즉, 과적합이 발생한 모델은 학습 데이터에 대해 매우 높은 정확도를 보이지만, 테스트 데이터나 실제로 새롭게 들어오는 데이터에 대한 예측 성능은 상대적으로 떨어지게 됩니다. 이는 모델이 학습 데이터에 지나치게 의존하여 새로운 데이터에 대한 유연한 대응이 어려워짐을 의미합니다. Early Stopping Early Stopping은 과적합을 방지하기 위한 기법 중 하나입니다. 이 기법은 학습 도중에 검증 데이터 ( v..

머신러닝의 분류 지도 학습 ( Supervised Learning ) : 문제와 정답을 모두 알려주고 공부시키는 방법 비지도 학습 ( Unsupervised Learning ) : 답을 가르쳐주지 않고 공부시키는 방법 강화 학습 ( Reinforcement Learning ) : 보상을 최대화하는 방향으로 행동을 결정하고 학습하는 방법 지도학습 ( Supervised Learning ) 지도학습은 정답을 알려주고 학습시키는 방법입니다. 예를 들어 위의 사진과 같이 코끼리와 기린을 분류한다고 가정한다면 코끼리 (input data) 사진은 코끼리 (label data) 임을 알려주고 학습하는 방법입니다. 지도학습은 크게 회귀 (Regression) 과 분류 ( Classfication) 로 나뉩니다. 회귀..

손실함수 ( Loss Function ) 란? 정답과 예측 간의 차이를 계산하는 함수 값이 낮을수록 학습이 잘 된 것을 의미하며, 최적의 매개변수 (가중치, 편향) 을 탐색할 때 손실함수가 작은 값을 찾음. 대표적인 손실함수 ( MAE & MSE ) 평균 절대 오차 ( MAE ) - 정답과 예측 차이에 대한 절대값의 평균 평균 제곱 오차 ( MSE ) - 정답과 예측 차이에 대한 제곱의 평균 [참고] https://jysden.medium.com/%EC%96%B8%EC%A0%9C-mse-mae-rmse%EB%A5%BC%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94%EA%B0%80-c473bd831c62 언제 MSE, MAE, RMSE를 사용하는가? 제목에 열거한 RMSE, MSE, MA..

퍼셉트론 ( Perceptron ) 퍼셉트론은 인공 신경망의 한 종류로, 뉴런의 모델을 모방하여 입력층, 출력층을 구성한 모델입니다. 퍼셉트론 구조 및 절차 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다. 위의 사진은 2개로 신호로 받는 퍼셉트론입니다. x1,x2는 입력값, w1, w2는 가중치, y는 출력값을 의미합니다. 입력값을 입력 (x1, x2) 설정된 가중치(w1, w2) 와 입력값을 곱함 계산된 값을 더함 활성화 함수를 적용 결과값(y) 도출 결과값이 특정 임계치를 넘으면 1, 넘지 못하면 0을 출력하게 됩니다. 퍼셉트론의 한계 ( XOR ) 위의 사진과 같이 검은 점과 흰 점이 놓여져 있을 때 , 선을 어떻게 그어도 같은 색 점끼리 나눌 수 없는 문제가 발생하게 됩니다. X..

인공지능 개념 인공지능 ( Artifical Intelligence ) : 인간이 가진 지적 능력을 컴퓨터를 통해 구현한 기술 머신러닝 ( Marchine Learning ) : 컴퓨터 스스로 학습하여 알고리즘을 연구하고 구축하는 기술 딥러닝 ( Deep Learning ) : 인간의 뉴런과 비슷한 인공신경망을 통해 스스로 정보를 처리, 학습 할 수 있는 인공지능 기술 인공지능, 머신러닝, 딥러닝은 인공지능 > 머신러닝 > 딥러닝 의 포함관계로 설명될 수 있습니다. 머신러닝 VS 딥러닝 머신러닝과 딥러닝의 가장 큰 차이점은 사람의 개입 여부입니다. 머신러닝은 인간이 먼저 데이터를 처리하고, 사전에 정의된 알고리즘과 규칙을 적용하여 문제를 해결하는 방식입니다. 이 과정에서 인간이 데이터의 특징을 추출하며,..

Anaconda 다운로드 https://www.anaconda.com/download Free Download | Anaconda Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 가상 환경 생성 [Anaconda prompt] # "tf210'이라는 이름의 가상 환경 생성, Python 3.10 버전을 사용하도록 설정 conda create --name tf210 python=3.10 # 라이브러리 리스트 확인 conda list # 필요한 라이브러리 설치 conda install scikit..