Myo-Kyeong Tech Blog

Service각 파드는 고유한 IP를 할당받지만, 동적으로 생성되고 제거되기 때문에 IP 주소가 자주 변경될 수 있음Service는 이러한 파드들에 대한 하나의 고정된 IP 주소와 포트를 제공파드의 생성과 소멸에 관계없이 일관된 방식으로 파드에 접근할 수 있음 Service 유형 : ClusterIP, NodePort, LoadBalancer1. ClusterIP기본 서비스 유형, 클러스터 내부에서만 접근 가능한 내부 IP를 할당받음클러스터 외부에서는 접근할 수 없음ClusterIP 주소로 요청하면, 쿠버네티스는 자동으로 연결된 파드 중 하나로 라우팅하여 처리[ClusterIP 서비스 YAML 파일 예시]apiVersion: v1kind: Servicemetadata: name: my-web-servi..

애드혹(ad-hoc approach) 접근 방식의 문제점 애드혹 (ad-hoc) 접근 방식 특정 문제를 해결하기 위해 임시적으로 취하는 방법으로 일회성 모델 개발이나 학습에 한해 적합 ML 프로젝트에서 "그때 그때 필요에 따라" 특징 생성 초기 단계나 작은 규모의 프로젝트에서는 효과적일 수 있지만, 조직이 성장하고 프로젝트가 복잡해짐에 따라 관리가 어려워지고 비효율적 개별 사용자나 팀이 만든 feature는 다른 팀이나 프로젝트에서 재사용하기 어려움 각 ML 프로젝트가 민감한 데이터 특징을 다르게 계산하면, 데이터 거버넌스 측면에서 문제가 생길 수 있음 예를 들어, 두 개의 다른 팀이 각각 고객의 신용 점수를 다른 방식으로 계산할 경우, 이 두 점수가 실제로 어떤 의미를 가지는지 일관성이 결여되어 신뢰할..

카테고리 특징과 관련해 발생 가능한 문제 상황 불완전 어휘(Incomplete Vocabulary) 모든 가능한 카테고리 값을 미리 알기 어려운 경우 ex ) 신규 사용자 ID, 새로운 상품 코드 등 모델 크기 증가(Cadinality) 카테고리 값이 많아질수록, 모델의 크기가 커져, 메모리 사용량과 계산 시간이 증가하는 문제 콜드 스타트(Cold Start) 새로운 카테고리 값이 등장했을 때, 해당 값을 처리할 수 있는 기존 학습된 모델이 없는 경우 특징 해시 카테고리형 변수를 고정된 크기의 벡터로 변환 각 카테고리 값을 해시 함수를 통해 특정 인덱스로 매핑하고, 해당 인덱스의 값을 업데이트하여 카테고리형 특징을 벡터로 표현 불안전 어휘, 카디널리티로 인한 모델 크기, 콜드 스타트 문제를 해결 해시 함..

PDB ( Python Debugger ) Python 코드 디버깅을 위한 표준 라이브러리 코드 실행 중에 프로그램을 일시 중지하고 상태를 검사하거나 변수를 조사하여 버그를 찾을 수 있음 프로그램 실행 중에 인터랙티브하게 상호작용할 수 있는 디버깅 환경을 제공 Pdb 사용 방법 디버깅 모드 설정 디버깅이 필요한 지점에 'import pdb; pdb.set_trace()' 코드를 추가 프로그램 실행 중에 이 코드를 만나면 디버거가 시작 import pdb; pdb.set_trace() [사용 예제] # debug_ex.py # 사용자로부터 두 개의 숫자를 입력받아, 그 합과 곱을 출력하는 코드 def multiply_two_numbers(number1, number2): result = number1 * ..

CronJob이란? 쿠버네티스에서 반복 작업을 정의하고 예약하는 기능 유닉스에서 사용되는 cron 데몬과 유사한 작동 특정 시간에, 또는 주기적으로 컨테이너화된 작업을 실행하도록 스케줄링 Cron 표현식 이해 크론 표현식은 분, 시간, 일, 월, 요일 등을 지정하여 작업을 예약하는 데 사용 # ┌───────────── 분 (0 - 59) # │ ┌───────────── 시 (0 - 23) # │ │ ┌───────────── 월의 일 (1 - 31) # │ │ │ ┌───────────── 월 (1 - 12) # │ │ │ │ ┌───────────── 요일 (0 - 6) (일요일부터 토요일까지) # │ │ │ │ │ OR sun, mon, tue, wed, thu, fri, sat # │ │ │ │..

쿠버네티스 대시보드 설치하기 https://kubernetes.io/ko/docs/tasks/access-application-cluster/web-ui-dashboard/ 쿠버네티스 대시보드를 배포하고 접속하기 웹 UI(쿠버네티스 대시보드)를 배포하고 접속한다. kubernetes.io 대시보드 UI 배포 kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.1/aio/deploy/recommended.yaml 밑의 명령어를 통해 설치가 잘 되었는지 한번 확인해줍니다. kubectl get deployment -n kubernetes-dashboard 대시보드에 접속하기 위한 PROXY 설정 kubectl proxy 프..

Docker Desktop 설치 https://www.docker.com/products/docker-desktop/ Docker Desktop: The #1 Containerization Tool for Developers | Docker Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux. www.docker.com 쿠버네티스 활성화 Settings (설정) -> [Kubernetes] -> [Enable Kubernetes] 체크박스 선택 -> [Apply & restart] 버튼 클릭 다음과..

파드(Pod) 쿠버네티스가 만들 수 있는 가장 작은 오브젝트이며, 기본이 되는 배포 단위 하나 이상의 컨테이너와 이들 컨테이너가 사용할 수 있는 공유 리소스(네트워크, 스토리지 등)를 묶은 것 각 파드는 고유한 IP 주소를 할당받으며, 파드 내의 모든 컨테이너가 이 IP 주소와 포트 공간을 공유 이 구조는 컨테이너 간의 통신과 리소스 공유를 효율적으로 할 수 있음 예를 들어, 웹 서버 컨테이너와 웹 서버 로그 분석 컨테이너는 하나의 파드로 관리하는 게 효율적 파드 내 컨테이너들은 같은 네트워크 네임스페이스를 공유하기 때문에 'localhost'를 통해 통신할 수 있어 네트워크 지연을 최소화하며 데이터 전송 속도를 극대화하여 컨테이너 간 통신 효율적 볼륨을 공유할 수 있어 웹 서버가 생성한 로그 파일을 로..

쿠버네티스란? 컨테이너 오케스트레이션 도구 여러 개의 컨테이너를 효과적으로 관리하고 시스템 전체를 통괄하는 역할 수행 이를 통해 개발자와 시스템 관리자는 번거로운 컨테이너 생성 및 관리 작업에서 해방 k8s라고 줄여쓰기도 함 k와 s 사이에 8개의 글자가 있다는 의미 "컨테이너 00개, 볼륨은 XX개 구성" 과 같이 어떤 "바람직한 상태"를 YAML 파일에 정의하고, 쿠버네티스는 해당 상태를 유지하도록 작동 만약 컨테이너를 삭제하고 싶다면 직접 컨테이너를 삭제하는 대신 YAML 파일에서 "바람직한 상태"를 수정해야 함 쿠버네티스는 이 변경된 상태를 파악하고 필요에 따라 컨테이너를 추가하거나 제거하여 정의된 상태를 유지 쿠버네티스 클러스터 구성 전체적인 관리와 제어를 담당하는 마스터 노드, 실제 컨테이너 ..

컨테이너와 호스트 간 파일 복사 파일 복사는 컨테이너 -> 호스트, 호스트-> 컨테이너로 양방향 모두 가능 docker cp [원본 경로] [복사할 경로] [호스트 -> 컨테이너 파일 복사] docker cp [호스트 경로] [컨테이너 이름:컨테이너 경로] 호스트 경로 : 컴퓨터 속 파일이나 폴더(디렉토리) 주소 ex) 윈도우 - C:\User\사용자명\Documents\파일명 [컨테이너 -> 호스트 파일 복사] docker cp [컨테이너 이름:컨테이너 경로] [호스트 경로]