Myo-Kyeong Tech Blog

애드혹(ad-hoc approach) 접근 방식의 문제점 애드혹 (ad-hoc) 접근 방식 특정 문제를 해결하기 위해 임시적으로 취하는 방법으로 일회성 모델 개발이나 학습에 한해 적합 ML 프로젝트에서 "그때 그때 필요에 따라" 특징 생성 초기 단계나 작은 규모의 프로젝트에서는 효과적일 수 있지만, 조직이 성장하고 프로젝트가 복잡해짐에 따라 관리가 어려워지고 비효율적 개별 사용자나 팀이 만든 feature는 다른 팀이나 프로젝트에서 재사용하기 어려움 각 ML 프로젝트가 민감한 데이터 특징을 다르게 계산하면, 데이터 거버넌스 측면에서 문제가 생길 수 있음 예를 들어, 두 개의 다른 팀이 각각 고객의 신용 점수를 다른 방식으로 계산할 경우, 이 두 점수가 실제로 어떤 의미를 가지는지 일관성이 결여되어 신뢰할..

카테고리 특징과 관련해 발생 가능한 문제 상황 불완전 어휘(Incomplete Vocabulary) 모든 가능한 카테고리 값을 미리 알기 어려운 경우 ex ) 신규 사용자 ID, 새로운 상품 코드 등 모델 크기 증가(Cadinality) 카테고리 값이 많아질수록, 모델의 크기가 커져, 메모리 사용량과 계산 시간이 증가하는 문제 콜드 스타트(Cold Start) 새로운 카테고리 값이 등장했을 때, 해당 값을 처리할 수 있는 기존 학습된 모델이 없는 경우 특징 해시 카테고리형 변수를 고정된 크기의 벡터로 변환 각 카테고리 값을 해시 함수를 통해 특정 인덱스로 매핑하고, 해당 인덱스의 값을 업데이트하여 카테고리형 특징을 벡터로 표현 불안전 어휘, 카디널리티로 인한 모델 크기, 콜드 스타트 문제를 해결 해시 함..

교차 검증 ( Cross Validation ) 이란? 교차 검증 ( Cross Validation ) 은 머신러닝 모델의 일반화 성능을 측정하는 통계적 방법입니다. 데이터를 여러 개의 부분집합 (또는 "fold")으로 나누고 각 부분집합을 차례로 테스트 데이터로 사용하고 나머지를 훈련 데이터로 사용하는 방법입니다. 교차 검증 ( Cross Validation ) 을 사용하는 이유 교차 검증을 사용하는 주요 목적은 모델의 과적합을 방지하고, 데이터를 최대한 효율적으로 활용하여 일반화 성능을 높이기 위해서 입니다. 교차 검증을 통해 얻은 여러 성능 지표들의 평균을 내어 모델의 성능을 추정하면, 학습 / 테스트 분할로 얻은 성능 추정보다 더 신뢰성이 높은 추정을 할 수 있습니다. K-Fold K-Fold 교..

인공지능 개념 인공지능 ( Artifical Intelligence ) : 인간이 가진 지적 능력을 컴퓨터를 통해 구현한 기술 머신러닝 ( Marchine Learning ) : 컴퓨터 스스로 학습하여 알고리즘을 연구하고 구축하는 기술 딥러닝 ( Deep Learning ) : 인간의 뉴런과 비슷한 인공신경망을 통해 스스로 정보를 처리, 학습 할 수 있는 인공지능 기술 인공지능, 머신러닝, 딥러닝은 인공지능 > 머신러닝 > 딥러닝 의 포함관계로 설명될 수 있습니다. 머신러닝 VS 딥러닝 머신러닝과 딥러닝의 가장 큰 차이점은 사람의 개입 여부입니다. 머신러닝은 인간이 먼저 데이터를 처리하고, 사전에 정의된 알고리즘과 규칙을 적용하여 문제를 해결하는 방식입니다. 이 과정에서 인간이 데이터의 특징을 추출하며,..