-사람 감독의 유무 >> 지도, 비지도, 준지도, 강화

-실시간 점진적 학습 유무 >> 온라인, 배치

-사례 기반(데이터 포인트를 서로 비교), 모델 기반(패턴 발견 후 예측모델 생성)

*지도 학습(e.g. 분류, 회귀)

훈련 데이터에 레이블 존재.

회귀: 예측 변수라 불리는 특성을 이용해 타깃 수치를 예측. 

학습 알고리즘: k-최근접 이웃, 선형 회귀, 로지스틱 회귀, 서포트 벡터 머신, 결정 트리와 랜덤 포레스트, 신경망

k-최근접 이웃: 사례 기반 학습 알고리즘을 사용하여, 예측하고자 하는 값과 근접한 값을 갖는 데이터 K개의 값의 평균을 구하면 모델 기반의 예측과 비슷한 값을 낼 수 있음.

*비지도 학습

훈련 데이터에 레이블 없음.

학습 알고리즘: 군집(k-평균, 계층 군집 분석, 기댓값 최대화), 시각화와 차원 축소(주성분 분석, 커널 PCA, 지역적 선형 임베딩, t-SNE), 연관 규칙 학습(어프라이어리, 이클렛)

특성 추출: 차원 축소, 즉 정보를 손실하지 않으면서 데이터를 간소화하려고 할 때 상관관계가 있는 여러 특성을 하나로 합치는 것.

이상치 탐지: 학습 알고리즘에 주입하기 전에 데이터셋에서 이상한 값을 자동 제거

*준지도 학습

훈련 데이터에 일부만 레이블 존재.

지도 학습과 비지도 학습의 조합으로 이루어진 학습 알고리즘

e.g. 심층 신뢰 신경망 DBN은 여러겹으로 쌓은 제한된 볼츠만 머신 RBM(비지도 학습)

*강화 학습

에이전트: 학습하는 시스템

환경을 관찰해서 행동을 실행하고 그 결과로 보상 혹은 벌점을 받음. 시간이 지나면서 가장 큰 보상을 얻기 위해 최상의 전략, 즉 정책을 스스로 학습.

*배치 학습

점진적 학습이 아닌, 가용한 데이터를 모두 소진하여 훈련함.

시간과 자원(e.g. CPU, 메모리, 디스크 공간 등) 소비 많아서, 오프라인 학습이 먼저 이루어지고 더이상의 학습 없이 시스템에 적용.

새로운 데이터가 주어질 경우 전체 데이터를 이용해서 시스템을 업데이트해야함. 자원이 제한된 시스템(e.g. 스마트폰)에서 사용하기 어려움.

*온라인 학습(오프라인에서 진행됨. = 점진적 학습)

데이터를 미니배치(작은 데이터 묶음 단위)로 주입하여 시스템을 훈련시킴. 연속적으로 데이터를 받고 빠른 변화에 스스로 적응해야 하는 경우, 컴퓨터 자원이 제한된 경우에 적합.

외부 메모리 학습: 데이터셋이 크더라도 조금씩 학습하는 것을 반복함으로써 학습 가능.  

학습률: 데이터에 빠르게 적응하는 정도. 높으면 빠르게 적응하지만 예전 데이터 금방 잊음. 낮으면 느리게 적응하고 잡음이나 대표성 없는 포인트에 덜 민감해짐.

시스템에 나쁜 데이터가 주입되면 성능이 점진적으로 감소. 

새로운 데이터로 일반화하기 위한 접근법

*사례 기반 학습

 시스템이 사례를 기억함으로써 학습한 다음 유사도 측정을 통해 새로운 데이터에 일반화함.

*모델 기반 학습

샘플들의 모델을 만들어 예측에 사용.

모델 선택: 어떤 함수로 모델링할지 선택.

모델 파라미터를 조정하여 모델을 얻음. 최상의 성능을 내는 모델을 얻기 위해 효용 함수, 적합도 함수를 정의하거나 비용 함수를 정의하여 모델 파라미터를 정의.

훈련: 알고리즘에 훈련 데이터를 공급하여 데이터에 가장 적합한 파라미터를 찾는 것. 

추론: 새로운 데이터에 모델을 적용해 예측.

InteractiveShell.ast_node_interactivity = "all"
을 추가하면 jupyternotebook에서 하나의 셀에 여러개 output 출력가능