SYDev

데이터 엔지니어링 심화트랙 2주차 정리 내용 Chapter 7. 집계 연산 집계(aggregation)는 무언가를 함께 모으는 행위이며 빅데이터 분석의 초석이다. 키나 그룹을 지정하고 하나 이상의 컬럼을 변환하는 방법을 지정하는 집계 함수를 사용 집계 함수는 여러 입력값이 주어지면 그룹별로 결과를 생성 지정된 집계 함수에 따라 그룹화된 결과는 RelationalGroupedDataset을 반환 -> 구매 이력 데이터를 사용해 파티션을 훨씬 적은 수로 분할할 수 있도록 리파티셔닝하고, 빠르게 접근할 수 있도록 캐싱 7.1. 집계 함수 모든 집계는 사용한 DataFame의 .stat 속성을 이용하는 특별한 경우를 제외한다면 함수를 사용한다. 7.1.1. count 다음 예제에서 count 함수는 액션이 아닌..

경희대학교 이영구 교수님의 데이터베이스 수업 복습용 게시물입니다.  관계 데이터 모델에서 지원되는 두 가지 정형적인 언어관계 해석(relational calculus)원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않는 선언적인 언어관계 대수(relational algebra)어떻게 질의를 수행할 것인가를 명시하는 절차적 언어관계 대수는 상용 관계 DBMS들에서 너리 사용되는 SQL의 이론적인 기초관계 대수는 SQL을 구현하고 최적화하기 위해 DBMS의 내부 언어로서도 사용됨관계 대수 -> 질의 최적화! SQL상용 관계 DBMS들의 사실상의 표준 질의어인 SQL관계 데이터베이스 릴레이션을 정의, 관계 데이터베이스에서 정보를 검색, 관계 데이터베이스 갱신,..

경희대학교 컴퓨터공학부 김정욱 교수님의 컴퓨터 구조 강의 내용을 기반으로 한 정리 Class of Computing Applications PC(Personal Computer) 다목적 microcomputer(마이크로 프로세서를 cpu로 사용하는 컴퓨터) 크기, 용량, 가격 면에서 개인적으로 사용하기에 적합 PC는 보통 다음 part들을 포함 computer case power supply motherboard(메인보드) random access memory(RAM) -> contemporary data(power off -> gone) Hard disk -> real data(power off -> save) External devices(e.g., visual display, keyboard, pr..

경희대학교 컴퓨터공학부 이대호 교수님의 객체지향프로그래밍 수업 자료를 참고한 정리본 Expressions Operator and Operand(연산자와 피연산자) symbol and object of operations 5 + 10 -> operand를 2개 필요로하는 binary(이항) 연산자 -x -> operand를 1개 필요로 하는 unary(단항) 연산자 5 + 10 / 2 -> precedence: 연산자 우선순위 a = b = 2 -> associativity: 일반적인 산술연산은 왼쪽부터 오른쪽으로 연산, but 할당(assignment)연산의 경우에는 오른쪽에서 왼쪽으로 Arithmetic Operators +, -, *, /, % -> %연산자의 피연산자는 정수 +, - < *, /, ..

데이터 엔지니어링 심화트랙 1주차 정리 내용 Chapter 4. 구조적 API 개요 구조적 API는 비정형 로그 파일부터 반정형 CSV 파일, 매우 정형적인 파케이(Parquet) 파일까지 다양한 유형의 데이터를 처리할 수 있다. 구조적 API에는 Dataset, DataFRame, SQL테이블과 뷰의 세 가지 분산 컬렉션 API가 있다. batch, streaming 처리에서 구조적 API를 사용할 수 있다. 구조적 API를 활용하면 배치 작업을 스트리밍 작업으로 손쉽게 변환 가능하다. 이 장에서 다음 세 가지 기본 개념을 이해하고 넘어가야 한다. typed/untyped API의 개념과 차이점 핵심 용어 스파크가 구조적 API의 데이터 흐름을 해석하고 클러스터에서 실행하는 방식 4.1. DataFra..

경희대학교 컴퓨터공학부 이영구 교수님의 데이터베이스 수업자료를 기반으로 작성한 게시물입니다. 관계 데이터 모델과 제약조건 관계 데이터 모델은 지금까지 제안된 모델들 중 가장 개념이 단순한 데이터 모델의 하나 IBM 연구소의 E.F. Codd가 1970년에 관계 데이터 모델 제안 관계 데이터 모델을 최초로 구현한 가장 중요한 관계 DBMS 시제품은 1970년대 IBM 연구소에서 개발된 System R 1980년대 후반부터 여러 가지 데이터 모델들이 새로 등장했지만 관계 DBMS는 여전히 가장 널리 사용되는 DBMS 관계 데이터 모델이 큰 성공을 거둔 요인 바탕이 되는 데이터 구조로서 간단한 테이블(릴레이션)을 사용 -> 테이블과 달리 릴레이션은 중복을 허용하지 않으며, 단일 값만을 포함한다. 중첩된 복잡한..

경희대학교 컴퓨터공학부 유인태 교수님의 컴퓨터 네트워크 수업을 기반으로 작성한 게시물입니다. OSI 7 Layer(Open Systems Interconnection) 컴퓨터 네트워크 or 네트워크 프로토콜을 설계하기 위한 지침 개방형 시스템에서 통신을 하기 위해 7개의 계층 제안 각 계층별로 고유한 기능을 가지는 모듈로 설계됨(modular engineering), 이를 기반으로 데이터 통신이 이루어짐 표준화 모델 사용으로 인한 이기종 장치의 데이터 통신이 가능하게 됨 -> 네트워크 장비 제작 회사가 지침대로 장비를 만들면, 다른 회사라고 해도 상호 호환성이 보장 현재 우리가 사용하는 인터넷은 TCP/IP를 기반 -> TCP/IP가 OSI 7계층에 기반을 둔다. Packet Switching 방식 ->..

경희대학교 컴퓨터공학부 이대호 교수님의 객체지향프로그래밍 수업 자료를 참고한 정리본 Values and Variables #include using namespace std; int main() { cout