[KHUDA 4th] 머신러닝 3주차 기초 세션 (08.16)

3주차 세션 발표 내용 정리

 

3주차 세션에서 1조가 발표했던 내용중에 이해가 안 됐거나, 따로 정리하고 싶었던 내용들을 정리해봤다. 

 

 

 

퍼셉트론

• 퍼셉트론: 이진 분류 모델을 학습하기 위한 지도학습 기반의 알고리즘이다. 
• 뇌의 신경 세포 뉴런의 동작 과정과 유사한 형태를 가진다.
• 뉴런은 수상돌기와 인접한 다수의 뉴런 내 축삭돌기와 시냅스를 통해 신호를 입력받아 신경세포체에 저장하는데, 해당 뉴런이 저장한 신호의 크기가 특정 값 이상이 될 때만 신호가 축삭돌기를 통해 외부로 전달된다.

 

출처: https://c11.kr/xvj4

 

• 퍼셉트론은 뉴런이 신호를 입력받듯이 다수의 값 $x$를 입력받고 입력된 값마다 가중치$w$를 곱한다. 여기서 가중치가 클수록 입력값이 중요하다는 것을 의미한다.
• 입력값 1에 그 값을 곱한 변수인 편향 $b$도 입력된다.
• 입력값과 가중치의 곱, 편향을 모두 더한 것을 가중합이라고 하는데, 이 가중합은 활성화 함수로 전달된다.
• 활성화 함수 내에서 가중합은 임계값 θ과 비교되어, 최종 출력값을 결정한다.

 

출처: https://heytech.tistory.com/332

 

• 퍼셉트론은 활성화 함수로 계단함수 $sign$을 이용하기 때문에, 가중합이 임계값 θ보다 크면 1을 출력하고, 그렇지 않으면 -1을 출력한다.

 

출처: https://heytech.tistory.com/332

 

 

활성화 함수

• 활성화 함수(activation function): 입력 신호의 총합을 출력 신호로 변환하는 (비선형)함수를 의미한다.
• 선형함수인 h(x)=cx를 활성화 함수로 사용한 3층 네트워크가 있을 때, 이를 식으로 나타내면 y(x)=h(h(h(x)))가 된다. 이는 y(x)=ax와 같이 다시 하나의 선형함수로 표현 가능해지기 때문에, 은닉층을 쌓는 의미가 없어진다. 그렇기 때문에 활성화 함수는 비선형 함수여야 한다.

 

Cross Entropy Loss

• 크로스 엔트로피 손실(Cross Entropy Loss): 머신 러닝의 분류 모델이 잘 수행되고 있는지 나타내기 위해 사용되는 지표로, 다른 Loss와 마찬가지로 0과 1 사이의 숫자로 측정된다.
• Multi Class, Binary Class의 경우에 따라 다음과 같이 달라지는데, 유도 과정은 다음에 자세하게 알아보자!

출처: https://hajunyoo.oopy.io/820d5243-0c05-4ecd-bd82-15aeeff430bb

 

 

Support Vector Machine

• 서포트 벡터 머신(SVM): 주어진 데이터가 어느 카테고리에 속할지 판단하는 이진 선형 분류 모델
• decision boundary: 두 데이터를 분류하는 적절한 선
• support vector: 각 클래스에 속하는 샘플 중에 decision boundary와 가장 가까운 샘플의 위치를 가리키는 벡터, 서포트 벡터에 의해서 decision boundary가 결정되기 때문에 이를 지지한다는 의미의 support
• margin: 각 support vector와 decision boundary 사이의 거리 

 

출처: Udacity

 

• SVM은 margin이 최대가 되도록 클래스를 분류하는 기법이다. 
• SVM은 선형 SVM과 비선형 SVM으로 분류되는데, 선형으로 데이터의 클래스를 분리할 수 있는 경우 선형 SVM, 선형 분리가 불가능한 입력 공간을 선형 분리가 가능한 고차원 특성공간으로 보내 선형 분리를 진행시키는 방식은 비선형 SVM!

 

출처: https://m.blog.naver.com/winddori2002/221662413641

 

---

참고자료

• https://heytech.tistory.com/332

[Deep Learning] 퍼셉트론(Perceptron) 개념 이해

• https://heytech.tistory.com/360

[Deep Learning] Activation Function 개념 및 종류: sign, tanh, sigmoid, softmax, ReLU, Leaky ReLU

• https://wikidocs.net/24958

07-01 퍼셉트론(Perceptron)

• https://happy-obok.tistory.com/55

활성화 함수(Activation fucntion)란? (역할/ 개념 / 종류 / 비교 / Sigmoid / tanh /ReLU/ 구현 )

• https://hajunyoo.oopy.io/820d5243-0c05-4ecd-bd82-15aeeff430bb

손실(Loss) 함수의 이해와 크로스 엔트로피(Cross Entropy) 상세

• https://wandb.ai/wandb_fc/korean/reports/---VmlldzoxNDI4NDUx

크로스 엔트로피 손실: 개요 | korean – Weights & Biases

• https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-2%EC%84%9C%ED%8F%AC%ED%8A%B8-%EB%B2%A1%ED%84%B0-%EB%A8%B8%EC%8B%A0-SVM

머신러닝 - 2. 서포트 벡터 머신 (SVM) 개념