Myo-Kyeong Tech Blog

실험과 실험 관리실험(Experiment) :데이터를 사용해 모델을 학습하고 성능을 평가하는 과정예 : 특정 데이터셋으로 모델을 학습시킨 뒤 Accuracy를 확인하는 것실험 관리 (Experiment Management) :여러 실험의 결과와 설정을 기록·추적·비교·재현할 수 있도록 체계적으로 관리하는 것왜 필요할까?"어제 돌린 코드가 제대로 학습 끝났나?""가장 성능이 좋았던 모델은 어떤 파라미터를 썼더라?"=> 이런 질문에 바로 답할 수 있도록 만드는 게 목적관리해야 할 정보데이터(Data) : 어떤 데이터셋을 사용했는가 (예: data.csv)코드 (Code) : 어떤 알고리즘/프레임워크를 사용했는가 (예: scikit-learn)파라미터(Parameters) : 모델 하이퍼파라미터 값들 (예 :..

같은 데이터를 넣었는데도 매번 다른 모델이 나온다? MLOps에서 가장 골치 아픈 문제 중 하나는 바로 모델 재현성이다. 모델 재현성이 왜 중요한가?모델 재현성이란?같은 데이터를 사용하고, 같은 코드를 실행했을 때 언제나 같은 모델 결과가 만들어지는 것을 의미하지만 같은 데이터를 쓰더라도 실행 환경(Environment) 이 조금이라도 달라지면 모델 결과가 달라진다. [모델을 만드는 소프트웨어 4가지 요소]데이터 (Data)패키지 (Library / Package)코드 (Code)파라미터 (Parameter)이 네 가지가 모두 동일해야 같은 모델을 재현할 수 있다. 그중에서도 특히 환경(Environment) 을 철저히 통제하지 않으면=> 같은 데이터를 넣어도 서로 다른 모델이 만들어질 수 있다. 모..

MLOps란?MLOps = Machine Learning + Operations쉽게 말해, 머신러닝 모델을 잘 만들고, 잘 배포하고, 잘 관리하기 위한 방법과 도구머신러닝은 단순히 모델만 만든다고 끝이 아니라 서비스로 운영하려면 유지·보수, 실험 관리, 오류 대응이 필수적인데 이러한 모든 과정을 자동화·체계화 한것이 MLOps 입니다! 머신러닝 모델의 특징과 MLOps가 필요한 이유머신러닝 모델 특징 - 1. 같은 코드라도 데이터가 다르면 모델이 달라진다.똑같은 머신러닝 모델을 쓰더라도 어떤 데이터를 학습시키느냐에 따라 완전히 다른 모델이 만들어짐예를 들어 Object Detection 알고리즘을 쓰더라도의료 영상 데이터 => 종양 탐지 AI도로 영상 데이터 => 차량 탐지 AI 이렇게 데이터가 바뀌면..

Prometheus와 Alertmanager를 활용하여 쿠버네티스(Kubernetes) 시스템 리소스(CPU, 메모리, 디스크)가 특정 임계치를 초과했을 때 Slack (또는 Email, MS Teams 등) 으로 알람을 전송하는 방법에 대해 정리한 글입니다.   Prometheus + Alertmanager 알람 전송 흐름   Prometheus가 메트릭을 수집 (CPU 사용률, 메모리 사용량, 디스크 사용량 등)PrometheusRule을 통해 특정 임계치를 초과하는 경우 알람을 발생Alertmanager로 알람을 전송Alertmanager는 AlertmanagerConfig를 참고하여 알람을 Slack (또는  Email, MS Teams 등) 으로 전송 다음과 같이 쿠버네티스에서 임계치 초과 알람..

1️⃣  OLM 설치를 위한 CRD(Custom Resource Definitions) 설치kubectl apply -f https://github.com/operator-framework/operator-lifecycle-manager/releases/download/v0.19.1/crds.yaml 2️⃣  쿠버네티스에 OLM 설치kubectl apply -f https://github.com/operator-framework/operator-lifecycle-manager/releases/download/v0.19.1/olm.yaml설치된 리소스 확인kmk@test:~$ kubectl get pods -n olmNAME READY STATUS..

쿠버네티스(Kubernetes)를 사용하다 보면 특정 네임스페이스에 있는 시크릿(Secret)을 다른 네임스페이스로 복사해야 하는 상황이 생기곤 합니다. 예를 들어, 개발 환경에서 사용 중인 시크릿을 테스트 환경이나 프로덕션 환경으로 옮기거나, 동일한 시크릿을 여러 네임스페이스에서 재사용해야 할 때가 그렇습니다. 이 글에서는 네임스페이스만 바꾸는 간단한 한 줄 명령어와, YAML 파일을 활용해 시크릿을 수정하고 복사하여 네임스페이스를 변경하는 방법에 대해 정리하였습니다.   방법 1️⃣ : 네임스페이스만 변경하는 간단한 명령어 시크릿을 수정할 필요 없이, 네임스페이스만 변경하려는 경우 다음과 같은 한 줄 명령어를 사용하면 됩니다. kubectl get secret -n -o yaml | \grep -..

python 개발을 하다보면 코드의 흐름을 확인하거나 오류를 추적하기 위해 print를 많이 사용하게 됩니다. 하지만 더 조금 더 복잡한 애플리케이션을 개발하거나, 운영 환경에서 문제를 모니터링하려면  print 대신 logging 모듈을 사용하는 것을 더 권장합니다.왜 print 대신 logging을 사용해야 할까?print 는 단순한 디버깅에는 유용할 수 있지만, 큰 애플리케이션이나 운영 환경에서는 logging이 더 유리한 점이 많습니다.1. 로그 레벨을 통한 중요도 구분logging 모듈은 메시지의 중요도에 따라 로그 레벨을 제공하여, 상황에 맞게 로그를 분류할 수 있게 해줍니다. DEBUG개발 시 디버깅을 위해 사용하는 가장 낮은 수준의 로그INFO일반적인 정보 메시지로, 정상적인 실행 과정을 ..

Ubuntu ISO 파일 다운로드 https://ubuntu.com/download/server/arm/ https://ubuntu.com/download/server/arm ubuntu.com Ubuntu 공식 웹사이트에 접속 -> [Download 24.04.1 LTS] 클릭하여 ISO 파일 다운로드 받기 UTM 에 Ubuntu 설치하기1. UTM 다운로드 및 설치https://mac.getutm.app/ UTMSecurely run operating systems on your Macmac.getutm.app 2. 새로운 가상 머신 생성하기설치한 UTM을 열고 [새 가상머신 만들기] 클릭 -> [Virtualize] 클릭 -> [Linux] 클릭 3.  다운로드 받은 ISO 파일 추가하기  4.  ..

이 글은 Docker Desktop Kubernetes 클러스터에서 실시간 리소스 사용량을 확인하기 위해 kubectl top 명령어를 실행하다가 발생한 Metrics API 오류 해결 과정을 정리한 내용입니다. Metrics Server 설치 및 확인  Metrics Server 최신 버전 설치Metrics Server는 각 노드의 Kubelet에서 메트릭 데이터를 수집해 클러스터 전체의 리소스 사용량을 집계함$ kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml Metrics Server 파드 상태 확인kube-system 네임스페이스 내의 Metrics Ser..

https://data04190.tistory.com/23 [리눅스] Ubuntu 22.04 설치 및 PuTTY로 원격 접속하는 방법Ubuntu 22.04 LTS를 설치하고 PuTTY를 이용해 원격으로 접속하는 방법에 대해 정리한 글입니다. VirtualBox에서 Ubuntu 22.04 LTS 가상머신 설치하기 1. Ubuntu 22.04 LTS ISO 파일 다운로드 https://ubuntu.com/download/servedata04190.tistory.com Windows 환경과 동일하게 Mac에서도 단순하게 Virtualbox를 다운로드하면 실행 될 거라고 생각했지만...  macOS / Intel hosts 버전은 x86_64 아키텍처용이여서 ARM 아키텍쳐를 사용하는 Apple Silicon(..