SYDev

Data Engineering 2주차 세션에서 진행한 실습 위주로 정리 예정 실습을 진행하기 이전에 git과 docker가 필요했는데, docker를 이때 처음 사용해봤다. Docker Docker: 애플리케이션을 신속하게 구축, 테스트 및 배포할 수 있는 소프트웨어 플랫폼 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징 컨테이너에는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는 데 필요한 모든 것이 포함되어 있음 Docker를 사용하면 환경에 구애받지 않고 애플리케이션을 신속하게 배포 및 확장할 수 있다. Docker는 컨테이너를 위한 운영 체제 가상 머신이 서버 하드웨어를 가상화하는 방식과 비슷하게 컨테이너는 서버 운영 체제를 가상화한다. Docker는 각 서버에 설치되며 컨테이..

경희대학교 컴퓨터공학부 김정욱 교수님의 컴퓨터 구조 강의 내용을 기반으로 한 정리글 MIPS(Microprocessor without Interlocked Pipeline Stages) Instructions set architecture created by MIPS technologies 앞 chapter에서의 mips와 다름 Design Principle of MIPS 성능을 최대화하고, 비용을 최소화하면서, 하드웨어 및 컴파일러를 쉽게 구축할 수 있는 언어를 만들자. Design Principle1: 간단함을 위해 규칙을 만들자 -> Making MIPS code(assembly and machine codes) to be regular Design Principle2: Smaller is fas..

데이터 엔지니어링 심화트랙 2주차 정리 내용 Chapter 7. 집계 연산 집계(aggregation)는 무언가를 함께 모으는 행위이며 빅데이터 분석의 초석이다. 키나 그룹을 지정하고 하나 이상의 컬럼을 변환하는 방법을 지정하는 집계 함수를 사용 집계 함수는 여러 입력값이 주어지면 그룹별로 결과를 생성 지정된 집계 함수에 따라 그룹화된 결과는 RelationalGroupedDataset을 반환 -> 구매 이력 데이터를 사용해 파티션을 훨씬 적은 수로 분할할 수 있도록 리파티셔닝하고, 빠르게 접근할 수 있도록 캐싱 7.1. 집계 함수 모든 집계는 사용한 DataFame의 .stat 속성을 이용하는 특별한 경우를 제외한다면 함수를 사용한다. 7.1.1. count 다음 예제에서 count 함수는 액션이 아닌..

경희대학교 이영구 교수님의 데이터베이스 수업 복습용 게시물입니다.  관계 데이터 모델에서 지원되는 두 가지 정형적인 언어관계 해석(relational calculus)원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않는 선언적인 언어관계 대수(relational algebra)어떻게 질의를 수행할 것인가를 명시하는 절차적 언어관계 대수는 상용 관계 DBMS들에서 너리 사용되는 SQL의 이론적인 기초관계 대수는 SQL을 구현하고 최적화하기 위해 DBMS의 내부 언어로서도 사용됨관계 대수 -> 질의 최적화! SQL상용 관계 DBMS들의 사실상의 표준 질의어인 SQL관계 데이터베이스 릴레이션을 정의, 관계 데이터베이스에서 정보를 검색, 관계 데이터베이스 갱신,..

경희대학교 컴퓨터공학부 김정욱 교수님의 컴퓨터 구조 강의 내용을 기반으로 한 정리 Class of Computing Applications PC(Personal Computer) 다목적 microcomputer(마이크로 프로세서를 cpu로 사용하는 컴퓨터) 크기, 용량, 가격 면에서 개인적으로 사용하기에 적합 PC는 보통 다음 part들을 포함 computer case power supply motherboard(메인보드) random access memory(RAM) -> contemporary data(power off -> gone) Hard disk -> real data(power off -> save) External devices(e.g., visual display, keyboard, pr..

경희대학교 컴퓨터공학부 이대호 교수님의 객체지향프로그래밍 수업 자료를 참고한 정리본 Expressions Operator and Operand(연산자와 피연산자) symbol and object of operations 5 + 10 -> operand를 2개 필요로하는 binary(이항) 연산자 -x -> operand를 1개 필요로 하는 unary(단항) 연산자 5 + 10 / 2 -> precedence: 연산자 우선순위 a = b = 2 -> associativity: 일반적인 산술연산은 왼쪽부터 오른쪽으로 연산, but 할당(assignment)연산의 경우에는 오른쪽에서 왼쪽으로 Arithmetic Operators +, -, *, /, % -> %연산자의 피연산자는 정수 +, - < *, /, ..

데이터 엔지니어링 심화트랙 1주차 정리 내용 Chapter 4. 구조적 API 개요 구조적 API는 비정형 로그 파일부터 반정형 CSV 파일, 매우 정형적인 파케이(Parquet) 파일까지 다양한 유형의 데이터를 처리할 수 있다. 구조적 API에는 Dataset, DataFRame, SQL테이블과 뷰의 세 가지 분산 컬렉션 API가 있다. batch, streaming 처리에서 구조적 API를 사용할 수 있다. 구조적 API를 활용하면 배치 작업을 스트리밍 작업으로 손쉽게 변환 가능하다. 이 장에서 다음 세 가지 기본 개념을 이해하고 넘어가야 한다. typed/untyped API의 개념과 차이점 핵심 용어 스파크가 구조적 API의 데이터 흐름을 해석하고 클러스터에서 실행하는 방식 4.1. DataFra..

경희대학교 컴퓨터공학부 이영구 교수님의 데이터베이스 수업자료를 기반으로 작성한 게시물입니다. 관계 데이터 모델과 제약조건 관계 데이터 모델은 지금까지 제안된 모델들 중 가장 개념이 단순한 데이터 모델의 하나 IBM 연구소의 E.F. Codd가 1970년에 관계 데이터 모델 제안 관계 데이터 모델을 최초로 구현한 가장 중요한 관계 DBMS 시제품은 1970년대 IBM 연구소에서 개발된 System R 1980년대 후반부터 여러 가지 데이터 모델들이 새로 등장했지만 관계 DBMS는 여전히 가장 널리 사용되는 DBMS 관계 데이터 모델이 큰 성공을 거둔 요인 바탕이 되는 데이터 구조로서 간단한 테이블(릴레이션)을 사용 -> 테이블과 달리 릴레이션은 중복을 허용하지 않으며, 단일 값만을 포함한다. 중첩된 복잡한..