Overfitting概念

由於英文太爛，光靠wiki-Overfitting還是不太行， 不過google到這篇其實就寫的滿清楚的。

先從Machine Learning的角度去看Learning這件事，如果今天你記錄的你們班上所有人的身高和體重， 並且希望你給電腦身高，他就可以給你體重。

通常電腦就是把這些data(身高、體重)做一個linear regression，找出一條直接去fit這些data， 就像是我們假設身高和體重有線性關係，即身高愈高，體重愈重(或相反)。 但我們知道其實人的身高和體重不完全都符合這種關係，也就是有人很高卻很輕，有人很矮卻很重。

所以我們就想要用一條更符合這些data的曲線去fit這些data，讓這些data都在這條曲線上， 但這邊會發現，當我們利用了這些data找出這條很棒的曲線時，並且丟入其他班同學的身高去預測體重， 會產生完全離譜的體重，而且這條曲線會看不出身高和體重有線性的關係(照理說應該要接近線性)。

這個現象給我們一個想法: 不一定要把目前已知的東西用太複雜的想法去解釋。

另外剛剛google到的那篇也有提到一個人說過的話:
Occam's Razor Principle，中文是奧卡姆剃刀原則(怎麼有點想刮鬍子..)

「One should proceed to simpler theories until simplicity can be traded for greater explanatory power.」
「切勿浪費較多東西，去做『用較少的東西，同樣可以做好的事情』」