Chapter 06-1,2: 군집 알고리즘

비지도 학습과 군집 알고리즘을 이해하고,
이를 이용하여 과일 사진 분류 알고리즘을 구현해보자.

 

 

비지도 학습

• 비지도 학습(unsupervised learning): 데이터가 어떻게 구성되어있는지 파악할 때 사용하는 기계 학습 문제이다. 지도 학습과 달리 label이 주어지지 않는다.

 

 

비지도 학습을 이용한 사진 분류 알고리즘 구현

!wget https://bit.ly/fruits_300_data -O fruits_300.npy #리눅스 명령어로 데이터 저장

 

import numpy as np

import matplotlib.pyplot as plt

 

fruits = np.load('fruits_300.npy')

 

print(fruits.shape)

 

print(fruits[0, 0, :])

(300, 100, 100)
[  1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   2   1
   2   2   2   2   2   2   1   1   1   1   1   1   1   1   2   3   2   1
   2   1   1   1   1   2   1   3   2   1   3   1   4   1   2   5   5   5
  19 148 192 117  28   1   1   2   1   4   1   1   3   1   1   1   1   1
   2   2   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1
   1   1   1   1   1   1   1   1   1   1]

 

• 배열의 크기가 100*100인 이미지 300개 포함한 데이터
• 0에 가까울수록 흑백, 높을수록 밝은 색을 띈다.

 

plt.imshow(fruits[0], cmap='gray')

plt.show()

 

plt.imshow(fruits[0], cmap='gray_r') #cmap 매개변수로 색 반전

plt.show()

 

fig, axs = plt.subplots(1, 2) #여러 그래프 연달아 출력

axs[0].imshow(fruits[100], cmap='gray_r')

axs[1].imshow(fruits[200], cmap='gray_r')

plt.show()

• 처음 100개의 데이터는 사과, 다음 100개는 파인애플, 다음 100개는 바나나라는 것을 알 수 있다.

 

#픽셀값 분석을 위해 100*100 이미지 배열을 10000인 1차원 배열로 변환

apple = fruits[0:100].reshape(-1, 100*100)

pineapple = fruits[100:200].reshape(-1, 100*100)

banana = fruits[200:300].reshape(-1, 100*100)

 

print(apple.mean(axis=1)) #열을 따라 평균값 계산

[ 88.3346  97.9249  87.3709  98.3703  92.8705  82.6439  94.4244  95.5999
  90.681   81.6226  87.0578  95.0745  93.8416  87.017   97.5078  87.2019
  88.9827 100.9158  92.7823 100.9184 104.9854  88.674   99.5643  97.2495
  94.1179  92.1935  95.1671  93.3322 102.8967  94.6695  90.5285  89.0744
  97.7641  97.2938 100.7564  90.5236 100.2542  85.8452  96.4615  97.1492
  90.711  102.3193  87.1629  89.8751  86.7327  86.3991  95.2865  89.1709
  96.8163  91.6604  96.1065  99.6829  94.9718  87.4812  89.2596  89.5268
  93.799   97.3983  87.151   97.825  103.22    94.4239  83.6657  83.5159
 102.8453  87.0379  91.2742 100.4848  93.8388  90.8568  97.4616  97.5022
  82.446   87.1789  96.9206  90.3135  90.565   97.6538  98.0919  93.6252
  87.3867  84.7073  89.1135  86.7646  88.7301  86.643   96.7323  97.2604
  81.9424  87.1687  97.2066  83.4712  95.9781  91.8096  98.4086 100.7823
 101.556  100.7027  91.6098  88.8976]

• 100개의 사과샘플의 각 10000개 픽셀의 평균값

 

#히스토그램으로 평균값 분포 파악

plt.hist(np.mean(apple, axis=1), alpha=0.8)

plt.hist(np.mean(pineapple, axis=1), alpha=0.8)

plt.hist(np.mean(banana, axis=1), alpha=0.8)

plt.legend(['apple', 'pineapple', 'banana'])

plt.show()

 

• 사과와 파인애플은 샘플의 평균값만으로 구별이 쉽지 않음

>> 샘플의 평균값이 아닌 픽셀별 평균값을 비교해보자.

 

#각 픽셀값 분석을 위해 행을 따라 평균값 계산

fig, axs = plt.subplots(1, 3, figsize=(20,5))

axs[0].bar(range(10000), np.mean(apple, axis=0))

axs[1].bar(range(10000), np.mean(pineapple, axis=0))

axs[2].bar(range(10000), np.mean(banana, axis=0))

plt.show()

좌측부터 사과, 파인애플, 바나나의 평균값

 

#픽셀을 평균 낸 이미지(모든 사진을 합쳐 놓은 대표 이미지)

apple_mean = np.mean(apple, axis=0).reshape(100, 100)

pineapple_mean = np.mean(pineapple, axis=0).reshape(100, 100)

banana_mean = np.mean(banana, axis=0).reshape(100, 100)

fig, axs = plt.subplots(1, 3, figsize=(20, 5))

axs[0].imshow(apple_mean, cmap='gray_r')

axs[1].imshow(pineapple_mean, cmap='gray_r')

axs[2].imshow(banana_mean, cmap='gray_r')

plt.show()

좌측부터 사과, 파인애플, 바나나

 

#픽셀을 평균 낸 이미지와 유사한(오차가 가장 적은) 이미지 선택 

abs_diff = np.abs(fruits - apple_mean)

abs_mean = np.mean(abs_diff, axis=(1,2))

print(abs_mean.shape) #각 샘플의 오차 평균

 

apple_index = np.argsort(abs_mean)[:100] #abs_mean을 작은 순서대로 100개 나

fig, axs = plt.subplots(10, 10, figsize=(10, 10))

for i in range(10):

  for j in range(10):

    axs[i, j].imshow(fruits[apple_index[i*10 + j]], cmap='gray_r')

    axs[i, j].axis('off')

plt.show()

(300,)

사과 평균 이미지와 가까운 100개의 이미지

 

>> 이미 데이터의 분포 형태를 알고 있었기 때문에 가능했던 방법, 실제 비지도 학습에서는 타깃이 없는 데이터를 사용해야 함.

 

 

군집화

• 군집화(clustering): Data가 주어졌을 때, 이를 몇 개의 클러스터로 나누는 과정을 의미한다. 지도 학습의 분류 문제는 data를 label에 맞게 분류, 예측하는 것이지만, 비지도 학습의 클러스터링은 data들을 성격에 맞게 묶는 것이다.
• clustering을 위해서는 다음 두 조건을 만족하면 된다.

(1) 군집 간 분산(inter-cluster variance) 최대화
(2) 군집 내 분산(inner-cluster variance) 최소

 

 

군집 타당성 지표

• 군집 타당성 지표(Clustering Validity Index): 군집이 만든 결과가 얼마나 유용한지 따지는 지표
• 군집 타당성 지표에는 Dunn Index와 Silhouette이 있다.

 

Dunn Index

• Dunn Index: 군집 간 거리의 최소값을 분자, 군집 내 요소 간 거리의 최소값을 분모로 하는 지표이다.
• 군집 간 거리는 멀수록, 군집 내 요소의 거리는 가까울수록 좋기 때문에 해당 지표의 크기가 클수록 클러스터링 성능이 좋다고 볼 수 있다.

 

출처: https://ratsgo.github.io/machine%20learning/2017/04/16/clustering/

 

Silhouette

• Silhouette 지표는 다음 수식으로 구할 수 있다.

출처: https://ratsgo.github.io/machine%20learning/2017/04/16/clustering/

• $a(i)$: $i$번째 개체와 같은 군집에 속하는 요소들과의 거리 평균
• $b(i)$: $i$번째 개체가 속한 군집과 가장 가까운 이웃 군집에 속하는 요소들과의 거리 평균 

 

출처: https://ratsgo.github.io/machine%20learning/2017/04/16/clustering/

 

• 가장 이상적인 경우는 $a(i)$가 0이 되는 경우이며, 최악의 경우는 $b(i)$가 0이 되는 경우이다. 
• 보통 실루엣 지표가 0.5가 될 때 군집 결과가 타당하다고 판단한다.

 

 

클러스터링 종류

• 클러스터링은 크게 분할 군집(pational clustering)과 계층적 군집(hierachical clustering)으로 나뉜다.
• 분할 군집(pational clustering): 데이터끼리 겹치지 않게 군집을 나누는 방식으로, k-means clustering이 이에 속한다.
• 계층적 군집(hierachical clustering): 개체들을 가까운 집단부터 차근차근 묶어나가는 방식이다. 

 

K-평균 알고리즘

• 무작위로 k개의 클러스터 중심을 정한다. 각 개체들은 가장 가까운 중심에 할당되며, 같은 중심에 할당된 개체들끼리 군집을 형성한다.
• KC(K-means Clustering)는 EM 알고리즘을 기반으로 작동하며, EM 알고리즘은 Expectation 스텝과 Maximization 스텝을 수렴할 때까지 반복하는 방식이다. 
• KC의 경우에는 클러스터 중심에 가까운 개체들을 중심에 할당하여 군집을 형성하는 것이 Expectaion 스텝, 그렇게 형성된 군집의 경계에 맞게 중심의 위치를 다시 설정해주는 과정이 Maximization이다.
• 위 두 과정을 반복하는 것이 KC이다.

k=2 (출처: https://ratsgo.github.io/machine%20learning/2017/04/19/KC/)

 

좌측부터 Expectaion 스텝, Maximization 스텝 (출처: https://ratsgo.github.io/machine%20learning/2017/04/19/KC/)

 

좌측부터 Expectaion 스텝, Maximization 스텝 (출처: https://ratsgo.github.io/machine%20learning/2017/04/19/KC/)

 

K-평균 알고리즘의 단점

• 군집 간의 크기, 밀도가 맞지 않으면 원하는 결과가 나오지 않을 수 있다.
• 데이터의 형태가 특이하게 분포하는 경우에도 원하는 결과가 나오지 않을 수 있다.

출처: https://ratsgo.github.io/machine%20learning/2017/04/19/KC/

 

 

 

K-평균 알고리즘을 이용한 사진 분류 알고리즘 구현

#데이터 저장 및 형태 변형

!wget https://bit.ly/fruits_300_data -O fruits_300.npy

 

import numpy as np

fruits = np.load('fruits_300.npy')

fruits_2d = fruits.reshape(-1, 100*100)

 

#k=3인 KMeans 알고리즘으로 학습 

from sklearn.cluster import KMeans

km = KMeans(n_clusters=3, random_state=42)

km.fit(fruits_2d)

 

print(km.labels_)

 

print(np.unique(km.labels_, return_counts=True))

[2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 0 2 0 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 2 0 0 2 2 2 2 2 2 2 2 0 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 2 2 2 2 2 2 2 2 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1]
 (array([0, 1, 2], dtype=int32), array([111,  98,  91]))

• k=3으로 설정했기 때문에 label은 0, 1, 2로 나타남
• 첫 번째 클러스터가 111개, 두 번째 클러스터는 98개, 마지막 클러스터는 91개의 샘플을 포함한다.

 

#각 클러스터가 포함하는 이미지를 출력하는 함수 draw_fruits

import matplotlib.pyplot as plt

def draw_fruits(arr, ratio=1):

  n = len(arr)

  rows = int(np.ceil(n/10))

  cols = n if rows<2 else 10

  fig, axs = plt.subplots(rows, cols,

                          figsize=(cols*ratio, rows*ratio), squeeze=False)

  for i in range(rows):

    for j in range(cols):

      if i*10 + j < n:

        axs[i, j].imshow(arr[i*10 + j], cmap='gray_r')

      axs[i, j].axis('off')

  plt.show()

 

draw_fruits(fruits[km.labels_==0]) #불리언 인덱싱

draw_fruits(fruits[km.labels_==1])

draw_fruits(fruits[km.labels_==2])

레이블 0, 1, 2

 

클러스터 중심

draw_fruits(km.cluster_centers_.reshape(-1, 100, 100), ratio=3) #fruits_2d 의 중심을 100*100 크기의 2차원 배열로 변환

 

print(km.transform(fruits_2d[100:101])) #클러스터 중심까지의 거리

print(km.predict(fruits_2d[100:101])) #가장 가까운 클러스터 중심을 클래스로 출력

print(km.n_iter_) #최적의 클러스터를 찾기 위해 알고리즘이 반복한 횟수

[[3393.8136117  8837.37750892 5267.70439881]]
[0]
4

 

 

최적의 K 찾기

• 위 예제에서는 클러스터가 3개일 때 최적임을 이미 알고 지정했지만, 실제 학습 과정에서는 최적의 클러스터 개수를 알아내야 한다.
• 적절한 클러스터 개수를 찾는 방법 중 대표적인 방법으로는 엘보우(elbow)가 있다.
• 엘보우(elbow): 클러스터의 개수를 늘려가며 거리의 제곱 합인 이너셔(inertia)의 변화를 관찰함으로써, 최적의 k 값을 찾는 방법이다.
• 클러스터에 따른 이너셔의 개수 그래프가 꺾이는 지점이 최적의 k 지점이다.

inertia = []

for k in range(2, 7):

  km = KMeans(n_clusters=k, random_state=42)

  km.fit(fruits_2d)

  inertia.append(km.inertia_)

plt.plot(range(2, 7), inertia)

plt.xlabel('k')

plt.ylabel('inertia')

plt.show()

 

>>k=3에서 그래프 기울기가 바뀌는 것을 보아, 최적의 k값은 3이라는 것을 알 수 있다.

---

참고자료

• https://yodastudy.tistory.com/6

5. 비지도 학습 (Unsupervised Learning), Clustering 뜻, 파이썬 코드

• https://ratsgo.github.io/machine%20learning/2017/04/16/clustering/

Clustering 개요 · ratsgo's blog

• https://lucy-the-marketer.kr/ko/growth/clustering/

클러스터링(Clustering)과 활용 분야 및 종류

• https://ratsgo.github.io/machine%20learning/2017/04/19/KC/

K-평균 군집화(K-means Clustering) · ratsgo's blog

• https://steadiness-193.tistory.com/285

Clustering - 최적의 군집 수 구하기 : Elbow Method, silhouette, 손실함수