Myo-Kyeong Tech Blog

실험과 실험 관리실험(Experiment) :데이터를 사용해 모델을 학습하고 성능을 평가하는 과정예 : 특정 데이터셋으로 모델을 학습시킨 뒤 Accuracy를 확인하는 것실험 관리 (Experiment Management) :여러 실험의 결과와 설정을 기록·추적·비교·재현할 수 있도록 체계적으로 관리하는 것왜 필요할까?"어제 돌린 코드가 제대로 학습 끝났나?""가장 성능이 좋았던 모델은 어떤 파라미터를 썼더라?"=> 이런 질문에 바로 답할 수 있도록 만드는 게 목적관리해야 할 정보데이터(Data) : 어떤 데이터셋을 사용했는가 (예: data.csv)코드 (Code) : 어떤 알고리즘/프레임워크를 사용했는가 (예: scikit-learn)파라미터(Parameters) : 모델 하이퍼파라미터 값들 (예 :..

같은 데이터를 넣었는데도 매번 다른 모델이 나온다? MLOps에서 가장 골치 아픈 문제 중 하나는 바로 모델 재현성이다. 모델 재현성이 왜 중요한가?모델 재현성이란?같은 데이터를 사용하고, 같은 코드를 실행했을 때 언제나 같은 모델 결과가 만들어지는 것을 의미하지만 같은 데이터를 쓰더라도 실행 환경(Environment) 이 조금이라도 달라지면 모델 결과가 달라진다. [모델을 만드는 소프트웨어 4가지 요소]데이터 (Data)패키지 (Library / Package)코드 (Code)파라미터 (Parameter)이 네 가지가 모두 동일해야 같은 모델을 재현할 수 있다. 그중에서도 특히 환경(Environment) 을 철저히 통제하지 않으면=> 같은 데이터를 넣어도 서로 다른 모델이 만들어질 수 있다. 모..

이 글은 Docker Desktop Kubernetes 클러스터에서 실시간 리소스 사용량을 확인하기 위해 kubectl top 명령어를 실행하다가 발생한 Metrics API 오류 해결 과정을 정리한 내용입니다. Metrics Server 설치 및 확인  Metrics Server 최신 버전 설치Metrics Server는 각 노드의 Kubelet에서 메트릭 데이터를 수집해 클러스터 전체의 리소스 사용량을 집계함$ kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml Metrics Server 파드 상태 확인kube-system 네임스페이스 내의 Metrics Ser..

Docker Desktop 설치 https://www.docker.com/products/docker-desktop/ Docker Desktop: The #1 Containerization Tool for Developers | Docker Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux. www.docker.com 쿠버네티스 활성화 Settings (설정) -> [Kubernetes] -> [Enable Kubernetes] 체크박스 선택 -> [Apply & restart] 버튼 클릭 다음과..

컨테이너와 호스트 간 파일 복사 파일 복사는 컨테이너 -> 호스트, 호스트-> 컨테이너로 양방향 모두 가능 docker cp [원본 경로] [복사할 경로] [호스트 -> 컨테이너 파일 복사] docker cp [호스트 경로] [컨테이너 이름:컨테이너 경로] 호스트 경로 : 컴퓨터 속 파일이나 폴더(디렉토리) 주소 ex) 윈도우 - C:\User\사용자명\Documents\파일명 [컨테이너 -> 호스트 파일 복사] docker cp [컨테이너 이름:컨테이너 경로] [호스트 경로]

도커 이미지, 컨테이너 이미지는 컨테이너를 만드는 데 사용 이미지는 컨테이너를 만드는 '빵틀' 과 같은 것, 컨테이너 설계도 역할 하나의 이미지로 동일한 컨테이너를 여러 개 만들 수 있음 또한, 이미지로만 컨테이너를 만들 수 있는 것이 아니라 컨테이너로도 이미지를 만들 수도 있음 도커 컨테이너 생애주기 컨테이너는 '쓰고 버리는' 일회용품과 비슷 컨테이너가 쉽게 생성되고, 사용 후 버려질 수 있다는 점에서 기인 컨테이너는 일반적으로 여러 개 동시에 가동되므로 컨테이너를 업데이트 할 필요가 있을 때, 개별적으로 각 컨테이너를 업데이트하기보다는 새로운 이미지로부터 새로운 컨테이너를 만드는 것이 더 효율적 컨테이너 생애 주기 = 컨테이너 만들고 -> 실행하고 -> 종료하고 -> 폐기하는 과정 컨테이너 데이터 저..

도커의 구조 일반적인 서버의 경우, 운영체제 위에 프로그램이나 데이터가 직접 올라감 운영체제는 사용자의 명령(예: 프로그램 실행, 파일 저장 등)을 받아서 컴퓨터의 하드웨어(예:CPU, 메모리, 하드 드라이브 등)에 전달하는 역할을 함 예를 들면, '레스토랑 매니저'와 같음. 손님(사용자)이 주문을 하면 주문을 받아서 주방(하드웨어)에 전달 도커의 경우, 운영체제 위에 도커 엔진이 동작하고 그 위에서 컨테이너가 동작 본래 운영체제는 '커널' + '주변 부분' 으로 구성됨 이를 단독 주택에 비유하면, 각 단독 주택은 자체적인 기반 시설(전기, 수도, 가스 등)과 개별적인 내부 공간(가구, 장식 등)을 갖추고 있다. 즉, 각 주택(시스템/가상 머신)은 자신만의 모든 필요한 구성요소를 갖추고 독립적으로 운영된..

1. 필수 패키지 설치하기 sudo apt-get update sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common 2. Docker의 공식 GPG 키 추가 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 3. Docker 저장소 추가 sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" 4. Docker 설치 sudo apt-get update su..

Docker 이미지 준비 가상 머신(VM)에서 Dockerfile을 이용해 이미지 빌드하기 docker build -t your-image:tag . ※ 다음과 같이 Dockerfile이 있는 경로에서 실행시켜야 합니다!! Azure Container Registry(ACR) 에 로그인 ACR에 이미지 push 하기 전에 Azure CLI를 통해 ACR에 로그인하기 az acr login --name YourRegistryName ※ Azure CLI 설치가 안되어 있을 시 Azure CLI 를 설치 먼저 해주세요. # 설치 프로세스에 필요한 패키지 sudo apt-get update sudo apt-get install ca-certificates curl apt-transport-https lsb-r..