1. 首頁 > 生活百科 > >

吳恩達預熱新課！萬字博客回顧機器學習算法起源( 三 )

生活百科機器學習


吳恩達預熱新課！萬字博客回顧機器學習算法起源

文章插圖


一個多世紀后 ， 美國統計學家威爾遜（E. B. Wilson）和他的學生簡-伍斯特（Jane Worcester）設計了邏輯回歸算法 ， 以計算出多少給定的危險物質會致命 。
Logistic回歸將logistic函數擬合到數據集上，以預測在某一事件（例如，攝入馬錢子）發生特定結果（例如 ， 過早死亡）的概率 。
吳恩達預熱新課！萬字博客回顧機器學習算法起源

文章插圖


1、訓練時水平地調整曲線的中心位置 ， 垂直地調整其中間位置，以使函數的輸出和數據之間的誤差最小 。
2、將中心向右或向左調整意味著需要更多或更少的毒藥來殺死普通人 。陡峭的坡度意味著確定性：在中間點之前，大多數人都能活下來；超過中間點 ， 那就說得再見了 。一個平緩的斜率更寬容：低于曲線的中間點，超過一半的人可以存活；更遠的地方，不到一半 。
3、設置一個閾值 ， 比如說0.5，曲線就成了一個分類器 。只要把劑量輸入模型，你就會知道你應該計劃一個聚會還是一個葬禮 。
Verhulst的工作發現了二元結果的概率，后來英國統計學家David Cox和荷蘭統計學家Henri Theil在20世紀60年代末獨立工作，將邏輯回歸法用于有兩個以上類別的情況 。
Logistic函數可以描述多種多樣的現象，并具有相當的準確性，因此Logistic回歸在許多情況下提供了可用的基線預測 。
在醫學上 ， 它可以估計死亡率和疾病的風險；在政治中，它可以預測選舉的贏家和輸家；在經濟學中，它可以預測商業前景 。
在神經網絡中，有一部分神經元為Logistic回歸，其中非線性函數為sigmoid 。
梯度下降

想象一下，在黃昏過后的山區徒步旅行，你會發現除了你的腳以外看不到什么 。而你的手機沒電了，所以你無法使用GPS應用程序來尋找回家的路 。
你可能會發現梯度下降的方向是最快路徑，只是要小心不要走下懸崖 。
1847年 ， 法國數學家Augustin-Louis Cauchy發明了近似恒星軌道的算法 。60年后，他的同胞雅克-哈達瑪德（Jacques Hadamard）獨立開發了這一算法，用來描述薄而靈活的物體的變形 。
不過，在機器學習中，它最常見的用途是找到學習算法損失函數的最低點 。
神經網絡通常是一個函數，給定一個輸入，計算出一個期望的輸出 。
訓練網絡的一種方法是 ， 通過反復計算實際輸出和期望輸出之間的差異，然后改變網絡的參數值來縮小該差異，從而使損失最小化 ， 或其輸出中的誤差最小 。
梯度下降縮小了誤差，使計算損失的函數最小化 。
網絡的參數值相當于景觀上的一個位置，而損失是當前的高度 。隨著你的下降 ， 你提高了網絡的能力，以計算出接近所需的輸出 。
不過可見性是有限的，因為在監督學習下 ， 算法完全依賴于網絡的參數值和梯度，也就是當前損失函數的斜率 。
吳恩達預熱新課！萬字博客回顧機器學習算法起源

文章插圖


使用梯度下降，你也有可能被困在一個由多個山谷（局部最小值）、山峰（局部最大值）、馬鞍（馬鞍點）和高原組成的非凸形景觀中 。事實上 ， 像圖像識別、文本生成和語音識別這樣的任務都是非凸的，而且已經出現了許多梯度下降的變體來處理這種情況 。
K-means聚類

如果你在派對上與其他人站得很近，那么你們之間很可能有一些共同點 。
K-means的聚類就是基于這種先驗想法，將數據點分為多個group ， 無論這些group是通過人類機構還是其他力量形成的，這種算法都會找到它們之間的關聯 。

相關經驗推薦