Myo-Kyeong Tech Blog

CronJob이란? 쿠버네티스에서 반복 작업을 정의하고 예약하는 기능 유닉스에서 사용되는 cron 데몬과 유사한 작동 특정 시간에, 또는 주기적으로 컨테이너화된 작업을 실행하도록 스케줄링 Cron 표현식 이해 크론 표현식은 분, 시간, 일, 월, 요일 등을 지정하여 작업을 예약하는 데 사용 # ┌───────────── 분 (0 - 59) # │ ┌───────────── 시 (0 - 23) # │ │ ┌───────────── 월의 일 (1 - 31) # │ │ │ ┌───────────── 월 (1 - 12) # │ │ │ │ ┌───────────── 요일 (0 - 6) (일요일부터 토요일까지) # │ │ │ │ │ OR sun, mon, tue, wed, thu, fri, sat # │ │ │ │..

쿠버네티스 대시보드 설치하기 https://kubernetes.io/ko/docs/tasks/access-application-cluster/web-ui-dashboard/ 쿠버네티스 대시보드를 배포하고 접속하기 웹 UI(쿠버네티스 대시보드)를 배포하고 접속한다. kubernetes.io 대시보드 UI 배포 kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.1/aio/deploy/recommended.yaml 밑의 명령어를 통해 설치가 잘 되었는지 한번 확인해줍니다. kubectl get deployment -n kubernetes-dashboard 대시보드에 접속하기 위한 PROXY 설정 kubectl proxy 프..

Docker Desktop 설치 https://www.docker.com/products/docker-desktop/ Docker Desktop: The #1 Containerization Tool for Developers | Docker Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux. www.docker.com 쿠버네티스 활성화 Settings (설정) -> [Kubernetes] -> [Enable Kubernetes] 체크박스 선택 -> [Apply & restart] 버튼 클릭 다음과..

파드(Pod) 쿠버네티스가 만들 수 있는 가장 작은 오브젝트이며, 기본이 되는 배포 단위 하나 이상의 컨테이너와 이들 컨테이너가 사용할 수 있는 공유 리소스(네트워크, 스토리지 등)를 묶은 것 각 파드는 고유한 IP 주소를 할당받으며, 파드 내의 모든 컨테이너가 이 IP 주소와 포트 공간을 공유 이 구조는 컨테이너 간의 통신과 리소스 공유를 효율적으로 할 수 있음 예를 들어, 웹 서버 컨테이너와 웹 서버 로그 분석 컨테이너는 하나의 파드로 관리하는 게 효율적 파드 내 컨테이너들은 같은 네트워크 네임스페이스를 공유하기 때문에 'localhost'를 통해 통신할 수 있어 네트워크 지연을 최소화하며 데이터 전송 속도를 극대화하여 컨테이너 간 통신 효율적 볼륨을 공유할 수 있어 웹 서버가 생성한 로그 파일을 로..

쿠버네티스란? 컨테이너 오케스트레이션 도구 여러 개의 컨테이너를 효과적으로 관리하고 시스템 전체를 통괄하는 역할 수행 이를 통해 개발자와 시스템 관리자는 번거로운 컨테이너 생성 및 관리 작업에서 해방 k8s라고 줄여쓰기도 함 k와 s 사이에 8개의 글자가 있다는 의미 "컨테이너 00개, 볼륨은 XX개 구성" 과 같이 어떤 "바람직한 상태"를 YAML 파일에 정의하고, 쿠버네티스는 해당 상태를 유지하도록 작동 만약 컨테이너를 삭제하고 싶다면 직접 컨테이너를 삭제하는 대신 YAML 파일에서 "바람직한 상태"를 수정해야 함 쿠버네티스는 이 변경된 상태를 파악하고 필요에 따라 컨테이너를 추가하거나 제거하여 정의된 상태를 유지 쿠버네티스 클러스터 구성 전체적인 관리와 제어를 담당하는 마스터 노드, 실제 컨테이너 ..

컨테이너와 호스트 간 파일 복사 파일 복사는 컨테이너 -> 호스트, 호스트-> 컨테이너로 양방향 모두 가능 docker cp [원본 경로] [복사할 경로] [호스트 -> 컨테이너 파일 복사] docker cp [호스트 경로] [컨테이너 이름:컨테이너 경로] 호스트 경로 : 컴퓨터 속 파일이나 폴더(디렉토리) 주소 ex) 윈도우 - C:\User\사용자명\Documents\파일명 [컨테이너 -> 호스트 파일 복사] docker cp [컨테이너 이름:컨테이너 경로] [호스트 경로]

도커 이미지, 컨테이너 이미지는 컨테이너를 만드는 데 사용 이미지는 컨테이너를 만드는 '빵틀' 과 같은 것, 컨테이너 설계도 역할 하나의 이미지로 동일한 컨테이너를 여러 개 만들 수 있음 또한, 이미지로만 컨테이너를 만들 수 있는 것이 아니라 컨테이너로도 이미지를 만들 수도 있음 도커 컨테이너 생애주기 컨테이너는 '쓰고 버리는' 일회용품과 비슷 컨테이너가 쉽게 생성되고, 사용 후 버려질 수 있다는 점에서 기인 컨테이너는 일반적으로 여러 개 동시에 가동되므로 컨테이너를 업데이트 할 필요가 있을 때, 개별적으로 각 컨테이너를 업데이트하기보다는 새로운 이미지로부터 새로운 컨테이너를 만드는 것이 더 효율적 컨테이너 생애 주기 = 컨테이너 만들고 -> 실행하고 -> 종료하고 -> 폐기하는 과정 컨테이너 데이터 저..

도커의 구조 일반적인 서버의 경우, 운영체제 위에 프로그램이나 데이터가 직접 올라감 운영체제는 사용자의 명령(예: 프로그램 실행, 파일 저장 등)을 받아서 컴퓨터의 하드웨어(예:CPU, 메모리, 하드 드라이브 등)에 전달하는 역할을 함 예를 들면, '레스토랑 매니저'와 같음. 손님(사용자)이 주문을 하면 주문을 받아서 주방(하드웨어)에 전달 도커의 경우, 운영체제 위에 도커 엔진이 동작하고 그 위에서 컨테이너가 동작 본래 운영체제는 '커널' + '주변 부분' 으로 구성됨 이를 단독 주택에 비유하면, 각 단독 주택은 자체적인 기반 시설(전기, 수도, 가스 등)과 개별적인 내부 공간(가구, 장식 등)을 갖추고 있다. 즉, 각 주택(시스템/가상 머신)은 자신만의 모든 필요한 구성요소를 갖추고 독립적으로 운영된..

Apache Airflow란? 데이터 엔지니어링 분야에 널리 사용되는 오픈 소스 워크플로우 관리 플랫폼 반복되는 작업들을 일정한 순서를 가지고 원하는 시간에 지속적으로 수행할 수 있음 데이터 워크플로우를 자동화하고 관리하는 데 매우 유용 배치 지향 데이터 파이프라인 구현하는 데 적합 Python 기반으로 한 유연한 프레임워크 제공 데이터 파이프라인 원하는 결과를 얻기 위해 실행되는 여러 태스크 또는 동작으로 구성됨 각 태스크는 정해진 순서대로 진행되어야 함 예를 들어, 데이터 수집, 변환, 저장과 같이 각각 다른 작업(Task)이 구성되어 있다면 각 작업은 특정 순서에 따라 실행되어야 하며 데이터를 가져오기 전에 데이터를 저장하거나 변환해서는 안됩니다. 데이터를 가져온 후 데이터를 변환하고 변환한 데이터..

1. 필수 패키지 설치하기 sudo apt-get update sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common 2. Docker의 공식 GPG 키 추가 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 3. Docker 저장소 추가 sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" 4. Docker 설치 sudo apt-get update su..