[Khuda 5th] Data Engineering 2주차 세션

Data Engineering 2주차 세션에서 진행한 실습 위주로 정리 예정

 

실습을 진행하기 이전에 git과 docker가 필요했는데, docker를 이때 처음 사용해봤다.

 

Docker

• Docker: 애플리케이션을 신속하게 구축, 테스트 및 배포할 수 있는 소프트웨어 플랫폼
• 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징
• 컨테이너에는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 모든 것이 포함되어 있음
• Docker를 사용하면 환경에 구애받지 않고 애플리케이션을 신속하게 배포 및 확장할 수 있다.
• Docker는 컨테이너를 위한 운영 체제
• 가상 머신이 서버 하드웨어를 가상화하는 방식과 비슷하게 컨테이너는 서버 운영 체제를 가상화한다.
• Docker는 각 서버에 설치되며 컨테이너를 구축, 시작 or 중단하는 데 사용할 수 있는 간단한 명령을 제공

 

Docker Compose 커맨드 사용법

Docker Compose는 여러 개의 container로 구성된 application을 관리하기 위한 간단한 orchestration 도구이다. 

(orchestration: 컨테이너들을 지휘하는 메인 컨트롤러가 있고 그 지휘에 맞춰 컨테이너의 배포, 관리, 확장, 네트워킹을 자동화하는 것)

 

-f 옵션

• Docker Compose는 기본적으로 커맨드가 실행하는 디렉토리에 있는 docker-compose.yml 혹은 docker-compose.yaml를 설정 파일로 사용 -> 다른 파일을 사용하고 싶으면 -f로 명시

up

• docker-compose up 커맨드는 docker compose에 정의되어 있는 모든 서비스 컨테이너를 한 번에 생성하고 실행하기 위해서 사용

docker-compose up

 

-> 처음에는 오류가 발생했는데, 스파크세션이 이미 4040포트를 사용하고 있어서 발생한 오류였다. 

-> docker의 포트를 변경해줘서 문제 해결

 

-> docker-compose up을 사용해, 기존에 만들어놓으면 jupyter notebook으로 연결 성공!

down

• docker-compose down 커맨드는 docker-compose up 커맨드와 정반대의 동작
• docker compose에 정의된 모든 서비스 컨테이너를 한 번에 정지시키고 삭제

 

 

 

---

참고자료

• https://aws.amazon.com/ko/docker/

Docker란 무엇입니까? | AWS

• https://www.daleseo.com/docker-compose/

Docker Compose 커맨드 사용법

• https://velog.io/@jungmyeong96/Docker-%EC%BB%A8%ED%85%8C%EC%9D%B4%EB%84%88-%EC%98%A4%EC%BC%80%EC%8A%A4%ED%8A%B8%EB%A0%88%EC%9D%B4%EC%85%98

[Docker] 컨테이너 오케스트레이션