Decision Tree and Random Forest

1. Decision Tree: 類似人腦的思考方式， 最有分類效果的特徵會被優先來做為分類依據。Decision Tree 的演算法有 ID3 等。「最有分類效果」的特徵可從分類後的 entropy 看出來，entropy 越低，代表亂度越小，分類效果好
2. Random Forest: Ensemble of Decision Tree

名詞解釋：

1. Information Gain: 分類前 average entropy - 分類後 average entropy (in ID3)

Reference:

1. ID3 Algorithm from WIKI : https://en.wikipedia.org/wiki/ID3_algorithm
2. Information Gain from Washington University: https://homes.cs.washington.edu/~shapiro/EE596/notes/InfoGain.pdf