近年來關(guān)注計(jì)算機(jī)學(xué)習(xí)的相關(guān)算法的用戶越來越多，小編整理了關(guān)于左程云：程序員該如何學(xué)習(xí)算法？，機(jī)器學(xué)習(xí)必學(xué)算法??，供您參考

1.左程云：程序員該如何學(xué)習(xí)算法？

大家好，我是左程云。我本科就讀于華中科技*、碩士畢業(yè)于在芝加哥*。先后在IBM、百度、GrowingIO和亞馬遜工作，是一個(gè)刷題7年的算法愛好者，也是牛客網(wǎng)的老師。2014年起專職做程序員算法和數(shù)據(jù)結(jié)構(gòu)培訓(xùn)，代碼面試培訓(xùn)，刷題交流等相關(guān)工作。 我是《程序員代碼面試指南--IT名企算法與數(shù)據(jù)結(jié)構(gòu)題目*解》的作者 ，書籍涉及算法與數(shù)據(jù)結(jié)構(gòu)編程題目240道以上，并且個(gè)人實(shí)現(xiàn)出*解，大部分題目為面試高頻。這篇我想寫寫算法的重要性、我個(gè)人是如何學(xué)習(xí)算法以及一些如何學(xué)習(xí)算法的建議。 算法在求職以及工作后的重要性 求職面試必考（校招+社招），且國內(nèi)工資越高的面試中算法比重就越大。 我分別說一下國內(nèi)和國外的行情?！　ぁ鴥?nèi)的話，一般來講，工資高的公司在面試時(shí)算法和數(shù)據(jù)結(jié)構(gòu)題目的比重較大，工資一般的公司比重較小。當(dāng)然同樣公司的不同崗位，要求也會(huì)不同，但總體趨勢(shì)就是 國內(nèi)好公司愛考算法和數(shù)據(jù)結(jié)構(gòu) 。這是目前國內(nèi)互聯(lián)網(wǎng)公司的情況。 國外的互聯(lián)網(wǎng)公司呢，幾乎只考算法和數(shù)據(jù)結(jié)構(gòu)，很多年前就是這樣了，一直如此。我相信國內(nèi)會(huì)逐漸變得像國外一樣，并不是崇洋媚外，而是算法和數(shù)據(jù)結(jié)構(gòu)題目真的能考出東西。先拋開算法，我們來說說面試以及如何準(zhǔn)備。面試中都會(huì)考什么呢？ 面試中會(huì)考察算法，操作系統(tǒng)，數(shù)據(jù)庫，計(jì)算機(jī)網(wǎng)絡(luò)，編程語言，項(xiàng)目（校招涉及）/經(jīng)歷（社招中涉及的更多）如何準(zhǔn)備？ · 操作系統(tǒng)，數(shù)據(jù)庫，計(jì)算機(jī)網(wǎng)絡(luò)，編程語言這些都是平時(shí)學(xué)習(xí)，記住了，理解了，不忘記就可以了項(xiàng)目或者經(jīng)歷是平時(shí)準(zhǔn)備的，如果馬上面試了再去準(zhǔn)備也是很難的，作假在面試中會(huì)直接被面試官看穿，所以這個(gè)平時(shí)就要準(zhǔn)備好，如果是校招，那平時(shí)就要做一做有用的項(xiàng)目，如果是社招，平時(shí)在工作中就要用心做。 算法和數(shù)據(jù)結(jié)構(gòu)，是真的需要好好寫代碼才能掌握，不是說看了理解了就真正會(huì)的了。算法筆試面試的特點(diǎn)就是沒有特點(diǎn)，什么樣的題都可能遇到，因?yàn)楦緵]有考綱，面試官就是普通的程序員，他們?cè)诠ぷ髦谢蛘咴诰W(wǎng)絡(luò)上遇到什么題不錯(cuò)，就可能考，所以內(nèi)容真的太多了，而且也無窮盡。這不是一個(gè)標(biāo)準(zhǔn)考試，這是能力考試。 所以，我建議大家面試或者筆試前抽出20%的時(shí)間去理解和記憶非算法和數(shù)據(jù)結(jié)構(gòu)的題目，剩下的時(shí)間就是去刷題。今天學(xué)習(xí)算法變得越來越重要，雖然每個(gè)公司行業(yè)不同、崗位復(fù)雜，但算法能力強(qiáng)是分析能力和解決問題能力的提現(xiàn)。雖然計(jì)算機(jī)的處理能力越來越強(qiáng)，但好算法的代碼執(zhí)行效率相比起沒有優(yōu)化的代碼，已經(jīng)不能用快多少倍來描述了。計(jì)算機(jī)科學(xué)有自己的衡量標(biāo)準(zhǔn)，也就我們常說的復(fù)雜度標(biāo)準(zhǔn)。同時(shí)，學(xué)習(xí)算法對(duì)理解底層實(shí)現(xiàn)是非常重要的，優(yōu)秀的程序員專注細(xì)節(jié)和底層，具備算法能力是起點(diǎn)更是基礎(chǔ)。包括今天很多的領(lǐng)域，比如機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，還有大熱的AI領(lǐng)域，想要研究透徹，都離不開算法好的大腦。還有很重要的，加薪和跳槽，算法都起著非常重要的作用。學(xué)習(xí)算法可不僅僅是刷題，這一過程中自己的思維和想法的提升才是學(xué)習(xí)算法的*好處。我是如何學(xué)習(xí)算法的？ 本科在華中科技*計(jì)算機(jī)，這一期間能在學(xué)業(yè)上讓自己滿意的可能就是沒有掛科而已。碩士在芝加哥*，出國之前就了解到想要在國外找工作的話，面試時(shí)幾乎只考算法和數(shù)據(jù)結(jié)構(gòu)的題目，于是開始了刷題，也就是搜集這方面的題，并且用代碼實(shí)現(xiàn)出來，不斷看題解和與高手討論。 就這樣從2010年到今天，刷了7年算法和數(shù)據(jù)結(jié)構(gòu)的面試題。剛開始其實(shí)只是為了找工作才開始刷題，但是半年之后就變成了興趣。剛開始刷題的過程中很不順利，因?yàn)楹芏嗨惴ê蛿?shù)據(jù)結(jié)構(gòu)，教材也不會(huì)講。而且去網(wǎng)上搜各種各樣的分析文章也讀不懂，感覺基礎(chǔ)差的很遠(yuǎn)。當(dāng)時(shí)網(wǎng)上的分析文章，也不會(huì)像今天這么易懂，高手都是把最核心的點(diǎn)說出來，但是我沒摸到人家想說的點(diǎn)之前，就已經(jīng)不會(huì)了。于是就把很多很厚的書拿來啃，書上也看不懂就盡可能的找到高手向人家請(qǐng)教。對(duì)書上的題目實(shí)現(xiàn)了好幾遍，才發(fā)現(xiàn)入了門，頭腦也開始活泛起來。遇到不會(huì)的就查，發(fā)現(xiàn)一大片知識(shí)不知道就練。在網(wǎng)上發(fā)帖被嘲笑的日子，其實(shí)非常的漲見識(shí)，我很珍視那段歲月。當(dāng)時(shí)在國外，學(xué)費(fèi)也貴，因?yàn)殄X的刺激和好勝心，居然沒有讓我變態(tài)，而是變成了一種斗志，用了大量的時(shí)間好好刷題。剛開始代碼實(shí)現(xiàn)算法和數(shù)據(jù)結(jié)構(gòu)的題目真的非常痛苦，因?yàn)檫@部分的內(nèi)容相比其他方面的知識(shí)絕對(duì)算高門檻，而我最開始的基礎(chǔ)也并不好?，F(xiàn)在我經(jīng)常在網(wǎng)上給同學(xué)們講題，看到同學(xué)們表達(dá)的抱怨，那簡(jiǎn)直就是當(dāng)年的我。暗暗發(fā)下心愿，如果有一天講課，絕對(duì)做一個(gè)人人都能聽懂的好老師。但不管怎么引導(dǎo)，算法學(xué)習(xí)都是一個(gè)脫皮換骨的痛苦過程，但好在會(huì)迅速上癮，堅(jiān)持半年之后就能一直堅(jiān)持下去了。算法和數(shù)據(jù)結(jié)構(gòu)問題的技術(shù)累積需要長時(shí)間的投入，因?yàn)閮?nèi)容又多又雜又難，很多算法是那種你很懷疑自己再來一輩子也可能想不到的解法。當(dāng)時(shí)作為一個(gè)小白，一個(gè)算法的意思看懂了，實(shí)現(xiàn)起來是如此的難，測(cè)試用例總能指出我的幼稚；寫了很多代碼終于過了這一題，看到高手寫的實(shí)現(xiàn)，自己又幻滅了，高手寫的好棒，自己寫的……然后收拾起碎裂一地的三觀，重新出發(fā)。解了很多題目之后，類似的題目出現(xiàn)，自己還是會(huì)想很久。這讓我意識(shí)到，自己缺乏總結(jié)，于是開始了總結(jié)的過程，也萌生了寫書的沖動(dòng)。刷完一道題其實(shí)是一件很難的事情，因?yàn)槠胀ń夥ê苋菀?，但?解真得去耐著性子研究好久，去查資料，去做優(yōu)化，這個(gè)過程很漫長但是足夠迷人。到底應(yīng)該怎樣學(xué)習(xí)算法，作為過來人，給大家的建議 先跟大家聊聊算法吧。在網(wǎng)絡(luò)上流行一句話：算法分三種，競(jìng)賽的算法、面試的算法、算法。雖然我覺得這么分非常讓人無語，但其實(shí)可以去這么理解，因?yàn)楦?jìng)賽、面試和純理論的要求和限制是不同的，所以算法在不同的要求中展現(xiàn)了不同的樣子。對(duì)于競(jìng)賽來說，每道題對(duì)輸入?yún)?shù)和樣本量的要求都是非常明確的，同時(shí)規(guī)定的非常明確的還有空間的限制和運(yùn)行時(shí)間的限制。每一個(gè)競(jìng)賽選手都非常熟練怎么根據(jù)這些提前給好的限制，反推出自己需要實(shí)現(xiàn)一個(gè)什么樣復(fù)雜度的解法才能通過。每一行代碼包含著前輩和自己思考過的優(yōu)化。而對(duì)于面試來說，限制往往并不明確，造成這個(gè)現(xiàn)象的原因也很好理解。競(jìng)賽中當(dāng)然是分?jǐn)?shù)最重要。在面試的過程中，與面試官的交流和體現(xiàn)自己想事情的方式、體現(xiàn)自己邏輯的嚴(yán)密更重要。所以同一道題，在競(jìng)賽中必須寫清楚限制，而在面試中一道題剛開始的限制沒那么多，目的就是縮短你理解題目的時(shí)間，讓面試者先寫出一點(diǎn)什么，然后和面試官展開討論，隨著討論的深入，再逐漸的把限制聊清楚?？傊诿嬖嚨膱?chǎng)合就是想看看你想問題的習(xí)慣、軌跡以及表達(dá)能力是否符合要求。當(dāng)然，不管是什么要求下的算法，經(jīng)常練習(xí)算法和數(shù)據(jù)結(jié)構(gòu)題目對(duì)一個(gè)人在邏輯上的提升都是顯而易見的，在學(xué)校參加ACM并取得很好成績的同學(xué)，如果不是表達(dá)能力特別差的話，是一定會(huì)收獲很多offer的，因?yàn)樗季S被鍛煉的很好。對(duì)于算法，我給大家的建議： 先找到線團(tuán)，然后進(jìn)入線團(tuán)里學(xué)著怎么玩。為了進(jìn)入線團(tuán)，需要先把基礎(chǔ)知識(shí)掌握好?！端惴ê蛿?shù)據(jù)結(jié)構(gòu)》（教材），你一定要看完+理解。這里面講的都是不能再基礎(chǔ)的東西了，覺得講得不好，自己搜維基百科。沒辦法，如果堅(jiān)持不下來，你后面就受罪去吧。然后有一些很經(jīng)典的書可以迅速讓你進(jìn)入狀態(tài)，比如我這本《程序員代碼面試指南》，還有《劍指offer》，配合在線練習(xí)： 對(duì)于很龐大的算法，我個(gè)人的習(xí)慣是找例子來引導(dǎo)自己的思路，一點(diǎn)一點(diǎn)的接近算法的核心。*需要注意的是，一定要寫代碼，光看沒有用的。對(duì)于經(jīng)典算法的學(xué)習(xí)，大體上分成幾個(gè)階段：*階段：對(duì)于某一個(gè)具體的算法，首先要搞清楚這個(gè)算法解決的問題是什么，可能是實(shí)現(xiàn)一個(gè)具體的功能，也可能是在某些方面，比如時(shí)間復(fù)雜度或者空間復(fù)雜度方面很卓越，總之搞清楚這個(gè)算法被研究出來的目的是什么。 第二階段：然后就要弄清楚這個(gè)算法的生存環(huán)境了，也就是看看你此時(shí)研究的東西是不是對(duì)別的知識(shí)有依賴，應(yīng)該先把底層依賴的知識(shí)理解并掌握。這些問題都解決之后，就進(jìn)入到算法本身的學(xué)習(xí)，理解一個(gè)算法是一件辛苦的事情，剛開始看必然會(huì)產(chǎn)生很多的困惑，比如經(jīng)常會(huì)懷疑作者講述的內(nèi)容的重要性？這些內(nèi)容和這個(gè)算法有什么聯(lián)系呢？經(jīng)常會(huì)有這種摸不著頭腦的感覺，其實(shí)作者做的鋪墊都是為了建立起描述算法主要內(nèi)容的基礎(chǔ)，只有接受和理解這些基礎(chǔ)，才能逐漸觸碰到算法的精髓，所以耐心是很重要的。 第三階段：算法的主要過程看完之后，往往還是會(huì)感到困惑，主要是不知道這個(gè)過程好在哪，這就進(jìn)入了下一個(gè)階段，理解作者對(duì)這個(gè)過程在功能性或者效率卓越這件事上的解釋和證明。這才真正觸碰到算法最精髓的部分，也就是深度的理解算法的主要過程所帶來的好處，這才是最鍛煉人理解能力的地方。 第四階段：上面幾點(diǎn)是算法學(xué)習(xí)階段的過程了，接下來就是研究算法的代碼實(shí)現(xiàn)，自己設(shè)計(jì)測(cè)試用例親自跑一下代碼，以及從代碼運(yùn)行時(shí)間的角度分析這個(gè)算法的優(yōu)勢(shì)，這也是加深對(duì)算法的理解的過程。 第五階段：*是配合相應(yīng)的題目練習(xí)，讓自己通過題目練習(xí)的方式，會(huì)用、善用學(xué)習(xí)到的算法，并對(duì)這個(gè)算法產(chǎn)生一定的敏感程度，具體是指看到某些題目時(shí)，能夠根據(jù)題目的特點(diǎn)，產(chǎn)生與該算法的對(duì)應(yīng)，也就是具備舉一反三的能力。 學(xué)習(xí)永無止境，不管是算法小白，還是有一定的算法基礎(chǔ)，提升算法永遠(yuǎn)都是剛需，我正好要在?？途W(wǎng)即將開一個(gè)算法班，針對(duì)算法小白的初級(jí)班和有一定算法基礎(chǔ)的進(jìn)階班，如果你想跟我一起學(xué)習(xí)，也歡迎你報(bào)名跟我一起探討算法，希望所有努力和上心的人都能成為大牛。課程報(bào)名： 初級(jí)班： 進(jìn)階班： 當(dāng)然，正值雙十一，正好?？途W(wǎng)上有個(gè)雙十一的活動(dòng)，這樣買會(huì)比較優(yōu)惠：

2.機(jī)器學(xué)習(xí)必學(xué)算法

本文介紹了 10 大常用機(jī)器學(xué)習(xí)算法，包括線性回歸、Logistic 回歸、線性判別分析、樸素貝葉斯、KNN、隨機(jī)森林等。選自Medium，作者：，機(jī)器之心編譯，參與：Geek AI、路。1. 線性回歸在統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，線性回歸可能是最廣為人知也最易理解的算法之一。預(yù)測(cè)建模主要關(guān)注的是在犧牲可解釋性的情況下，盡可能最小化模型誤差或做出最準(zhǔn)確的預(yù)測(cè)。我們將借鑒、重用來自許多其它領(lǐng)域的算法（包括統(tǒng)計(jì)學(xué)）來實(shí)現(xiàn)這些目標(biāo)。線性回歸模型被表示為一個(gè)方程式，它為輸入變量找到特定的權(quán)重（即系數(shù) B），進(jìn)而描述一條*擬合了輸入變量（x）和輸出變量（y）之間關(guān)系的直線。線性回歸例如： y = B0 + B1 * x我們將在給定輸入值 x 的條件下預(yù)測(cè) y，線性回歸學(xué)習(xí)算法的目的是找到系數(shù) B0 和 B1 的值。我們可以使用不同的技術(shù)來從數(shù)據(jù)中學(xué)習(xí)線性回歸模型，例如普通最小二乘法的線性代數(shù)解和梯度下降優(yōu)化。線性回歸大約有 200 多年的歷史，并已被廣泛地研究。在使用此類技術(shù)時(shí)，有一些很好的經(jīng)驗(yàn)規(guī)則：我們可以刪除非常類似（相關(guān)）的變量，并盡可能移除數(shù)據(jù)中的噪聲。線性回歸是一種運(yùn)算速度很快的簡(jiǎn)單技術(shù)，也是一種適合初學(xué)者嘗試的經(jīng)典算法。2. Logistic 回歸Logistic 回歸是機(jī)器學(xué)習(xí)從統(tǒng)計(jì)學(xué)領(lǐng)域借鑒過來的另一種技術(shù)。它是二分類問題的*方法。像線性回歸一樣，Logistic 回歸的目的也是找到每個(gè)輸入變量的權(quán)重系數(shù)值。但不同的是，Logistic 回歸的輸出預(yù)測(cè)結(jié)果是通過一個(gè)叫作「logistic 函數(shù)」的非線性函數(shù)變換而來的。logistic 函數(shù)的形狀看起來像一個(gè)大的「S」，它會(huì)把任何值轉(zhuǎn)換至 0-1 的區(qū)間內(nèi)。這十分有用，因?yàn)槲覀兛梢园岩粋€(gè)規(guī)則應(yīng)用于 logistic 函數(shù)的輸出，從而得到 0-1 區(qū)間內(nèi)的捕捉值（例如，將閾值設(shè)置為 0.5，則如果函數(shù)值小于 0.5，則輸出值為 1），并預(yù)測(cè)類別的值。Logistic 回歸由于模型的學(xué)習(xí)方式，Logistic 回歸的預(yù)測(cè)結(jié)果也可以用作給定數(shù)據(jù)實(shí)例屬于類 0 或類 1 的概率。這對(duì)于需要為預(yù)測(cè)結(jié)果提供更多理論依據(jù)的問題非常有用。與線性回歸類似，當(dāng)刪除與輸出變量無關(guān)以及彼此之間非常相似（相關(guān)）的屬性后，Logistic 回歸的效果更好。該模型學(xué)習(xí)速度快，對(duì)二分類問題十分有效。3. 線性判別分析Logistic 回歸是一種傳統(tǒng)的分類算法，它的使用場(chǎng)景僅限于二分類問題。如果你有兩個(gè)以上的類，那么線性判別分析算法（LDA）是*的線性分類技術(shù)。LDA 的表示方法非常直接。它包含為每個(gè)類計(jì)算的數(shù)據(jù)統(tǒng)計(jì)屬性。對(duì)于單個(gè)輸入變量而言，這些屬性包括：每個(gè)類的均值。所有類的方差。線性判別分析預(yù)測(cè)結(jié)果是通過計(jì)算每個(gè)類的判別值、并將類別預(yù)測(cè)為判別值*的類而得出的。該技術(shù)假設(shè)數(shù)據(jù)符合高斯分布（鐘形曲線），因此*預(yù)先從數(shù)據(jù)中刪除異常值。LDA 是一種簡(jiǎn)單而有效的分類預(yù)測(cè)建模方法。4. 分類和回歸樹決策樹是一類重要的機(jī)器學(xué)習(xí)預(yù)測(cè)建模算法。決策樹可以被表示為一棵二叉樹。這種二叉樹與算法設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)中的二叉樹是一樣的，沒有什么特別。每個(gè)節(jié)點(diǎn)都代表一個(gè)輸入變量（x）和一個(gè)基于該變量的分叉點(diǎn)（假設(shè)該變量是數(shù)值型的）。決策樹決策樹的葉子結(jié)點(diǎn)包含一個(gè)用于做出預(yù)測(cè)的輸出變量（y）。預(yù)測(cè)結(jié)果是通過在樹的各個(gè)分叉路徑上游走，直到到達(dá)一個(gè)葉子結(jié)點(diǎn)并輸出該葉子結(jié)點(diǎn)的類別值而得出。決策樹的學(xué)習(xí)速度很快，做出預(yù)測(cè)的速度也很快。它們?cè)诖罅繂栴}中往往都很準(zhǔn)確，而且不需要為數(shù)據(jù)做任何特殊的預(yù)處理準(zhǔn)備。5. 樸素貝葉斯樸素貝葉斯是一種簡(jiǎn)單而強(qiáng)大的預(yù)測(cè)建模算法。該模型由兩類可直接從訓(xùn)練數(shù)據(jù)中計(jì)算出來的概率組成：1）數(shù)據(jù)屬于每一類的概率；2）給定每個(gè) x 值，數(shù)據(jù)從屬于每個(gè)類的條件概率。一旦這兩個(gè)概率被計(jì)算出來，就可以使用貝葉斯定理，用概率模型對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。當(dāng)你的數(shù)據(jù)是實(shí)值的時(shí)候，通常假設(shè)數(shù)據(jù)符合高斯分布（鐘形曲線），這樣你就可以很容易地估計(jì)這些概率。貝葉斯定理樸素貝葉斯之所以被稱為「樸素」，是因?yàn)樗僭O(shè)每個(gè)輸入變量相互之間是獨(dú)立的。這是一種很強(qiáng)的、對(duì)于真實(shí)數(shù)據(jù)并不現(xiàn)實(shí)的假設(shè)。不過，該算法在大量的復(fù)雜問題中十分有效。6. K 最近鄰算法K 最近鄰（KNN）算法是非常簡(jiǎn)單而有效的。KNN 的模型表示就是整個(gè)訓(xùn)練數(shù)據(jù)集。這很簡(jiǎn)單吧？對(duì)新數(shù)據(jù)點(diǎn)的預(yù)測(cè)結(jié)果是通過在整個(gè)訓(xùn)練集上搜索與該數(shù)據(jù)點(diǎn)最相似的 K 個(gè)實(shí)例（近鄰）并且總結(jié)這 K 個(gè)實(shí)例的輸出變量而得出的。對(duì)于回歸問題來說，預(yù)測(cè)結(jié)果可能就是輸出變量的均值；而對(duì)于分類問題來說，預(yù)測(cè)結(jié)果可能是眾數(shù)（或最常見的）的類的值。關(guān)鍵之處在于如何判定數(shù)據(jù)實(shí)例之間的相似程度。如果你的數(shù)據(jù)特征尺度相同（例如，都以英寸為單位），那么最簡(jiǎn)單的度量技術(shù)就是使用歐幾里得距離，你可以根據(jù)輸入變量之間的差異直接計(jì)算出該值。K 最近鄰KNN 可能需要大量的內(nèi)存或空間來存儲(chǔ)所有數(shù)據(jù)，但只有在需要預(yù)測(cè)時(shí)才實(shí)時(shí)執(zhí)行計(jì)算（或?qū)W習(xí)）。隨著時(shí)間的推移，你還可以更新并管理訓(xùn)練實(shí)例，以保證預(yù)測(cè)的準(zhǔn)確率。使用距離或接近程度的度量方法可能會(huì)在維度非常高的情況下（有許多輸入變量）崩潰，這可能會(huì)對(duì)算法在你的問題上的性能產(chǎn)生負(fù)面影響。這就是所謂的維數(shù)災(zāi)難。這告訴我們，應(yīng)該僅僅使用那些與預(yù)測(cè)輸出變量最相關(guān)的輸入變量。7. 學(xué)習(xí)向量量化KNN 算法的一個(gè)缺點(diǎn)是，你需要處理整個(gè)訓(xùn)練數(shù)據(jù)集。而學(xué)習(xí)向量量化算法（LVQ）允許選擇所需訓(xùn)練實(shí)例數(shù)量，并確切地學(xué)習(xí)這些實(shí)例。學(xué)習(xí)向量量化LVQ 的表示是一組碼本向量。它們?cè)陂_始時(shí)是隨機(jī)選擇的，經(jīng)過多輪學(xué)習(xí)算法的迭代后，最終對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行*的總結(jié)。通過學(xué)習(xí)，碼本向量可被用來像 K 最近鄰那樣執(zhí)行預(yù)測(cè)。通過計(jì)算每個(gè)碼本向量與新數(shù)據(jù)實(shí)例之間的距離，可以找到最相似的鄰居（最匹配的碼本向量）。然后返回最匹配單元的類別值（分類）或?qū)嵵担ɑ貧w）作為預(yù)測(cè)結(jié)果。如果將數(shù)據(jù)重新放縮放到相同的范圍中（例如 0 到 1 之間），就可以獲得*的預(yù)測(cè)結(jié)果。如果你發(fā)現(xiàn) KNN 能夠在你的數(shù)據(jù)集上得到不錯(cuò)的預(yù)測(cè)結(jié)果，那么不妨試一試 LVQ 技術(shù)，它可以減少對(duì)內(nèi)存空間的需求，不需要像 KNN 那樣存儲(chǔ)整個(gè)訓(xùn)練數(shù)據(jù)集。8. 支持向量機(jī)支持向量機(jī)（SVM）可能是目前*、被討論地最多的機(jī)器學(xué)習(xí)算法之一。超平面是一條對(duì)輸入變量空間進(jìn)行劃分的「直線」。支持向量機(jī)會(huì)選出一個(gè)將輸入變量空間中的點(diǎn)按類（類 0 或類 1）進(jìn)行*分割的超平面。在二維空間中，你可以把他想象成一條直線，假設(shè)所有輸入點(diǎn)都可以被這條直線完全地劃分開來。SVM 學(xué)習(xí)算法旨在尋找最終通過超平面得到*類別分割的系數(shù)。支持向量機(jī)超平面與最近數(shù)據(jù)點(diǎn)之間的距離叫作間隔（margin）。能夠?qū)蓚€(gè)類分開的*超平面是具有*間隔的直線。只有這些點(diǎn)與超平面的定義和分類器的構(gòu)建有關(guān)，這些點(diǎn)叫作支持向量，它們支持或定義超平面。在實(shí)際應(yīng)用中，人們采用一種優(yōu)化算法來尋找使間隔*化的系數(shù)值。支持向量機(jī)可能是目前可以直接使用的最強(qiáng)大的分類器之一，值得你在自己的數(shù)據(jù)集上試一試。9. 袋裝法和隨機(jī)森林隨機(jī)森林是*也最強(qiáng)大的機(jī)器學(xué)習(xí)算法之一，它是一種集成機(jī)器學(xué)習(xí)算法。自助法是一種從數(shù)據(jù)樣本中估計(jì)某個(gè)量（例如平均值）的強(qiáng)大統(tǒng)計(jì)學(xué)方法。你需要在數(shù)據(jù)中取出大量的樣本，計(jì)算均值，然后對(duì)每次取樣計(jì)算出的均值再取平均，從而得到對(duì)所有數(shù)據(jù)的真實(shí)均值更好的估計(jì)。Bagging 使用了相同的方法。但是最常見的做法是使用決策樹，而不是對(duì)整個(gè)統(tǒng)計(jì)模型進(jìn)行估計(jì)。Bagging 會(huì)在訓(xùn)練數(shù)據(jù)中取多個(gè)樣本，然后為每個(gè)數(shù)據(jù)樣本構(gòu)建模型。當(dāng)你需要對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)，每個(gè)模型都會(huì)產(chǎn)生一個(gè)預(yù)測(cè)結(jié)果，Bagging 會(huì)對(duì)所有模型的預(yù)測(cè)結(jié)果取平均，以便更好地估計(jì)真實(shí)的輸出值。隨機(jī)森林隨機(jī)森林是這種方法的改進(jìn)，它會(huì)創(chuàng)建決策樹，這樣就不用選擇*分割點(diǎn)，而是通過引入隨機(jī)性來進(jìn)行次優(yōu)分割。因此，為每個(gè)數(shù)據(jù)樣本創(chuàng)建的模型比在其它情況下創(chuàng)建的模型更加獨(dú)特，但是這種獨(dú)特的方式仍能保證較高的準(zhǔn)確率。結(jié)合它們的預(yù)測(cè)結(jié)果可以更好地估計(jì)真實(shí)的輸出值。如果你使用具有高方差的算法（例如決策樹）獲得了良好的結(jié)果，那么你通?？梢酝ㄟ^對(duì)該算法執(zhí)行 Bagging 獲得更好的結(jié)果。10. Boosting 和 是一種試圖利用大量弱分類器創(chuàng)建一個(gè)強(qiáng)分類器的集成技術(shù)。要實(shí)現(xiàn) Boosting 方法，首先你需要利用訓(xùn)練數(shù)據(jù)構(gòu)建一個(gè)模型，然后創(chuàng)建第二個(gè)模型（它企圖修正*個(gè)模型的誤差）。直到*模型能夠?qū)τ?xùn)練集進(jìn)行完美地預(yù)測(cè)或加入的模型數(shù)量已達(dá)上限，我們才停止加入新的模型。AdaBoost 是*個(gè)為二分類問題開發(fā)的真正成功的 Boosting 算法。它是人們?nèi)腴T理解 Boosting 的*起點(diǎn)。當(dāng)下的 Boosting 方法建立在 AdaBoost 基礎(chǔ)之上，最著名的就是隨機(jī)梯度提升機(jī)。 使用淺層決策樹。在創(chuàng)建*棵樹之后，使用該樹在每個(gè)訓(xùn)練實(shí)例上的性能來衡量下一棵樹應(yīng)該對(duì)每個(gè)訓(xùn)練實(shí)例賦予多少權(quán)重。難以預(yù)測(cè)的訓(xùn)練數(shù)據(jù)權(quán)重會(huì)增大，而易于預(yù)測(cè)的實(shí)例權(quán)重會(huì)減小。模型是一個(gè)接一個(gè)依次創(chuàng)建的，每個(gè)模型都會(huì)更新訓(xùn)練實(shí)例權(quán)重，影響序列中下一棵樹的學(xué)習(xí)。在構(gòu)建所有的樹之后，我們就可以對(duì)新的數(shù)據(jù)執(zhí)行預(yù)測(cè)，并根據(jù)每棵樹在訓(xùn)練數(shù)據(jù)上的準(zhǔn)確率來對(duì)其性能進(jìn)行加權(quán)。由于算法在糾正錯(cuò)誤上投入了如此多的精力，因此刪除數(shù)據(jù)中的異常值在數(shù)據(jù)清洗過程中是非常重要的。原文鏈接：

如果以上內(nèi)容沒有幫到您，歡迎電話聯(lián)系我們，或者聯(lián)系在線客服咨詢