Machine Learning-2 Learning to Answer Yes/No

Perceptrons Learning Algorithm (PLA)

• 就是一種 linear (binary) classifiers （二分學習演算法）

How

• IDEAS: 我們無法一開始就知道正確的hypothesis function g，於是就先找一個g0當作起點，過程不斷透過犯錯的資料來調整，直到錯誤減少到一定程度。
  （A fault confessed is half redressed - 知錯能改善莫大焉）

一定會收斂媽

假設是線性可分的狀況下，確實會收斂

證明：

• 但現實問題中，即使是線性的，資料中也會有雜訊(noise)導致問題變成非線性。可用Pocket PLA來嘗試解決（把最好的留在pocket，但會比PLA慢，因為多了比較的動作）

REF

Learning to Answer Yes/No :: Perceptron Hypothesis Set @ Machine Learning Foundations