深度學(xué)習相關(guān)(深度學(xué)習需要哪些)
1.深度學(xué)習需要哪些基礎知識
數學(xué)基礎
如果你能夠順暢地讀懂深度學(xué)習論文中的數學(xué)公式，可以獨立地推導新方法，則表明你已經(jīng)具備了必要的數學(xué)基礎。
掌握數學(xué)分析、線(xiàn)性代數、概率論和凸優(yōu)化四門(mén)數學(xué)課程包含的數學(xué)知識，熟知機器學(xué)習的基本理論和方法，是入門(mén)深度學(xué)習技術(shù)的前提。因為無(wú)論是理解深度網(wǎng)絡(luò )中各個(gè)層的運算和梯度推導，還是進(jìn)行問(wèn)題的形式化或是推導損失函數，都離不開(kāi)扎實(shí)的數學(xué)與機器學(xué)習基礎。
數學(xué)分析
在工科專(zhuān)業(yè)所開(kāi)設的高等數學(xué)課程中，主要學(xué)習的內容為微積分。對于一般的深度學(xué)習研究和應用來(lái)說(shuō)，需要重點(diǎn)溫習函數與極限、導數（特別是復合函數求導）、微分、積分、冪級數展開(kāi)、微分方程等基礎知識。在深度學(xué)習的優(yōu)化過(guò)程中，求解函數的一階導數是最為基礎的工作。當提到微分中值定理、Taylor公式和拉格朗日乘子的時(shí)候，你不應該只是感到與它們似曾相識。
線(xiàn)性代數
深度學(xué)習中的運算常常被表示成向量和矩陣運算。線(xiàn)性代數正是這樣一門(mén)以向量和矩陣作為研究對象的數學(xué)分支。需要重點(diǎn)溫習的包括向量、線(xiàn)性空間、線(xiàn)性方程組、矩陣、矩陣運算及其性質(zhì)、向量微積分。當提到Jacobian矩陣和Hessian矩陣的時(shí)候，你需要知道確切的數學(xué)形式；當給出一個(gè)矩陣形式的損失函數時(shí)，你可以很輕松的求解梯度。
概率論
概率論是研究隨機現象數量規律的數學(xué)分支，隨機變量在深度學(xué)習中有很多應用，無(wú)論是隨機梯度下降、參數初始化方法（如Xavier），還是Dropout正則化算法，都離不開(kāi)概率論的理論支撐。除了掌握隨機現象的基本概念（如隨機試驗、樣本空間、概率、條件概率等）、隨機變量及其分布之外，還需要對大數定律及中心極限定理、參數估計、假設檢驗等內容有所了解，進(jìn)一步還可以深入學(xué)習一點(diǎn)隨機過(guò)程、馬爾可夫隨機鏈的內容。
凸優(yōu)化
結合以上三門(mén)基礎的數學(xué)課程，凸優(yōu)化可以說(shuō)是一門(mén)應用課程。但對于深度學(xué)習而言，由于常用的深度學(xué)習優(yōu)化方法往往只利用了一階的梯度信息進(jìn)行隨機梯度下降，因而從業(yè)者事實(shí)上并不需要多少“高深”的凸優(yōu)化知識。理解凸集、凸函數、凸優(yōu)化的基本概念，掌握對偶問(wèn)題的一般概念，掌握常見(jiàn)的無(wú)約束優(yōu)化方法如梯度下降方法、隨機梯度下降方法、Newton方法，了解一點(diǎn)等式約束優(yōu)化和不等式約束優(yōu)化方法，即可滿(mǎn)足理解深度學(xué)習中優(yōu)化方法的理論要求。
機器學(xué)習
歸根結底，深度學(xué)習只是機器學(xué)習方法的一種，而統計機器學(xué)習則是機器學(xué)習領(lǐng)域事實(shí)上的方法論。以監督學(xué)習為例，需要你掌握線(xiàn)性模型的回歸與分類(lèi)、支持向量機與核方法、隨機森林方法等具有代表性的機器學(xué)習技術(shù)，并了解模型選擇與模型推理、模型正則化技術(shù)、模型集成、Bootstrap方法、概率圖模型等。深入一步的話(huà)，還需要了解半監督學(xué)習、無(wú)監督學(xué)習和強化學(xué)習等專(zhuān)門(mén)技術(shù)。
2.深度學(xué)習的基礎概念
從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計算可以通過(guò)一個(gè)流向圖（flow graph）來(lái)表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個(gè)節點(diǎn)表示一個(gè)基本的計算并且一個(gè)計算的值（計算的結果被應用到這個(gè)節點(diǎn)的孩子節點(diǎn)的值）。考慮這樣一個(gè)計算集合，它可以被允許在每一個(gè)節點(diǎn)和可能的圖結構中，并定義了一個(gè)函數族。輸入節點(diǎn)沒(méi)有孩子，輸出節點(diǎn)沒(méi)有父親。
這種流向圖的一個(gè)特別屬性是深度（depth）：從一個(gè)輸入到一個(gè)輸出的最長(cháng)路徑的長(cháng)度。
傳統的前饋神經(jīng)網(wǎng)絡(luò )能夠被看做擁有等于層數的深度（比如對于輸出層為隱層數加1）。SVMs有深度2（一個(gè)對應于核輸出或者特征空間，另一個(gè)對應于所產(chǎn)生輸出的線(xiàn)性混合）。 需要使用深度學(xué)習解決的問(wèn)題有以下的特征：
深度不足會(huì )出現問(wèn)題。
人腦具有一個(gè)深度結構。
認知過(guò)程逐層進(jìn)行，逐步抽象。
深度不足會(huì )出現問(wèn)題
在許多情形中深度2就足夠表示任何一個(gè)帶有給定目標精度的函數。但是其代價(jià)是：圖中所需要的節點(diǎn)數（比如計算和參數數量）可能變的非常大。理論結果證實(shí)那些事實(shí)上所需要的節點(diǎn)數隨著(zhù)輸入的大小指數增長(cháng)的函數族是存在的。
我們可以將深度架構看做一種因子分解。大部分隨機選擇的函數不能被有效地表示，無(wú)論是用深的或者淺的架構。但是許多能夠有效地被深度架構表示的卻不能被用淺的架構高效表示。一個(gè)緊的和深度的表示的存在意味著(zhù)在潛在的可被表示的函數中存在某種結構。如果不存在任何結構，那將不可能很好地泛化。
大腦有一個(gè)深度架構
例如，視覺(jué)皮質(zhì)得到了很好的研究，并顯示出一系列的區域，在每一個(gè)這種區域中包含一個(gè)輸入的表示和從一個(gè)到另一個(gè)的信號流（這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復雜）。這個(gè)特征層次的每一層表示在一個(gè)不同的抽象層上的輸入，并在層次的更上層有著(zhù)更多的抽象特征，他們根據低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時(shí)活動(dòng)的。給定大量的神經(jīng)元，仍然有一個(gè)非常高效地（指數級高效）表示。
認知過(guò)程逐層進(jìn)行，逐步抽象
人類(lèi)層次化地組織思想和概念；
人類(lèi)首先學(xué)習簡(jiǎn)單的概念，然后用他們去表示更抽象的；
工程師將任務(wù)分解成多個(gè)抽象層次去處理；
學(xué)習/發(fā)現這些概念（知識工程由于沒(méi)有反省而失敗？）是很美好的。對語(yǔ)言可表達的概念的反省也建議我們一個(gè)稀疏的表示：僅所有可能單詞/概念中的一個(gè)小的部分是可被應用到一個(gè)特別的輸入（一個(gè)視覺(jué)場(chǎng)景）。
3.深度學(xué)習應該怎么入門(mén)
總是說(shuō)由淺入深，許多專(zhuān)業(yè)并不是專(zhuān)精一科就行，其中有許多的知識還涉及到別的專(zhuān)業(yè)知識。如果想要專(zhuān)精一科的話(huà)，由這一科聯(lián)系到的知識也應該多涉及一些；就像學(xué)計算機就要英語(yǔ)與數學(xué)兼顧，并不是只注重計算機一門(mén)課程就好；
那我們就要學(xué)習的面要廣，大致的知識面要都涉及一些；用的時(shí)候知道怎么可以找到。
基礎的知識是必備的，扎實(shí)的基礎是往后發(fā)展的前提，許多基礎知識的用處是很重要的！基礎扎實(shí)了可以避免走很多彎路。根基穩固則一路通途。
再就是理論與實(shí)際相結合，很多理論上的東西在實(shí)際操作時(shí)候并不能全部體現，所以可以借鑒，也要多實(shí)踐操作下，反復印證。
多問(wèn)多學(xué)多看，祝愿你可以走的更。
4.如何入門(mén)深度學(xué)習
1、先學(xué)會(huì )給自己定定目標（大、小、長(cháng)、短），這樣學(xué)習會(huì )有一個(gè)方向；然后梳理自身的學(xué)習情況，找出自己掌握的薄弱環(huán)節、存在的問(wèn)題、容易丟分的知識點(diǎn)；再者合理的分配時(shí)間，有針對性的制定學(xué)習任務(wù)，一一的去落實(shí)。
2、可以學(xué)習掌握速讀記憶的能力，提高學(xué)習復習效率。速讀記憶是一種高效的學(xué)習、復習方法，其訓練原理就在于激活“腦、眼”潛能，培養形成眼腦直映式的閱讀、學(xué)習方式。
速讀記憶的練習見(jiàn)《精英特全腦速讀記憶訓練》，用軟件練習，每天一個(gè)多小時(shí)，一個(gè)月的時(shí)間，可以把閱讀速度提高5、6倍，記憶力、理解力等也會(huì )得到相應的提高，最終提高學(xué)習、復習效率，取得好成績(jì)。如果你的閱讀、學(xué)習效率低的話(huà)，可以好好的去練習一下。
3、要學(xué)會(huì )整合知識點(diǎn)。把需要學(xué)習的信息、掌握的知識分類(lèi)，做成思維導圖或知識點(diǎn)卡片，會(huì )讓你的大腦、思維條理清醒，方便記憶、溫習、掌握。
同時(shí)，要學(xué)會(huì )把新知識和已學(xué)知識聯(lián)系起來(lái)，不斷糅合、完善你的知識體系。這樣能夠促進(jìn)理解，加深記憶。
4、做題的時(shí)候要學(xué)會(huì )反思、歸類(lèi)、整理出對應的解題思路。遇到錯的題（粗心做錯也好、不會(huì )做也罷），最好能把這些錯題收集起來(lái)，每個(gè)科目都建立一個(gè)獨立的錯題集（錯題集要歸類(lèi)），當我們進(jìn)行考前復習的時(shí)候，它們是重點(diǎn)復習對象，保證不再同樣的問(wèn)題上再出錯、再丟分。
5.深度學(xué)習現在有多火
深度學(xué)習需要有數學(xué)和計算機基礎。
深度學(xué)習（DL, Deep Learning）是機器學(xué)習（ML, Machine Learning）領(lǐng)域中一個(gè)新的研究方向，它被引入機器學(xué)習使其更接近于最初的目標——人工智能（AI, Artificial Intelligence）。
深度學(xué)習是學(xué)習樣本數據的內在規律和表示層次，這些學(xué)習過(guò)程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學(xué)習能力，能夠識別文字、圖像和聲音等數據。 深度學(xué)習是一個(gè)復雜的機器學(xué)習算法，在語(yǔ)音和圖像識別方面取得的效果，遠遠超過(guò)先前相關(guān)技術(shù)。
深度學(xué)習在搜索技術(shù)，數據挖掘，機器學(xué)習，機器翻譯，自然語(yǔ)言處理，多媒體學(xué)習，語(yǔ)音，推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習使機器模仿視聽(tīng)和思考等人類(lèi)的活動(dòng)，解決了很多復雜的模式識別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。
6.搞懂深度學(xué)習到底需要哪些數學(xué)知識
關(guān)于數學(xué)基礎有的同學(xué)有數學(xué)基礎，但是缺乏 C++/Python 編程語(yǔ)言；有的同學(xué)沒(méi)有數學(xué)基礎，是否可以學(xué)？數學(xué)基礎需要到什么程度？如果提前學(xué)習是否有資料推薦？【回答】首先學(xué)習本門(mén)課程并不需要特別高的數學(xué)基礎，只需要掌握大學(xué)本科階段學(xué)習的高等數學(xué)、線(xiàn)性代數和概率論等課程。
雖然從應用角度上來(lái)看：如果想要深入研究深度學(xué)習，比如完全自己實(shí)現不同結構的網(wǎng)絡(luò )，設計網(wǎng)絡(luò )的層與參數最好能夠熟練運用矩陣理論中的相關(guān)工具，但是我相信如果職業(yè)道路規劃不是算法工程師，一般并不會(huì )深入到這一層面。對應于不同應用領(lǐng)域，還需要不同的數學(xué)工具，比如和圖像、信號識別相關(guān)的領(lǐng)域，圖形學(xué)等相關(guān)的基礎功底是必須要有的，但這個(gè)已經(jīng)是復雜的現實(shí)應用問(wèn)題了，并不在本門(mén)課程的教學(xué)范圍之內，本門(mén)課程的應用領(lǐng)域還是相對較為簡(jiǎn)單的。
實(shí)際上，如果你是一個(gè)工科生，你會(huì )發(fā)現學(xué)習數學(xué)最難的地方就是不理解這些數學(xué)工具到底能幫助我們去解決什么問(wèn)題，因為大學(xué)老師大多數都是數學(xué)專(zhuān)業(yè)老師，并不會(huì )從學(xué)生各自專(zhuān)業(yè)的角度來(lái)講解數學(xué)問(wèn)題。但是當你知道你需要用數學(xué)工具做什么，有一個(gè)明確目標后，你會(huì )發(fā)現你的動(dòng)力和學(xué)習能力將會(huì )有一個(gè)突破，你不會(huì )覺(jué)得這些數學(xué)知識是枯燥乏味的。
因此哪怕你的數學(xué)基礎相對薄弱，有一個(gè)明確的目的，再去補充這些數學(xué)知識，相信學(xué)員自己一定能解決這個(gè)問(wèn)題。數學(xué)也絕對不是學(xué)習這門(mén)課的障礙，但是如果你想以其作為職業(yè)，去打好這個(gè)數學(xué)的底子是不可或缺的。
最后，如果你是數學(xué)專(zhuān)業(yè)，或者覺(jué)得自己數學(xué)很好的學(xué)生，你們也更不用擔心不會(huì ) 1、2 門(mén)語(yǔ)言，因為計算機語(yǔ)言只是一種工具，最關(guān)鍵的還是訓練自己的思維，這種思維的核心就是數學(xué)和算法。如果你數學(xué)很好，學(xué)習這些語(yǔ)言是很快的，而且本門(mén)課程中除了最后的 C++ 開(kāi)發(fā)，也不會(huì )應用到什么特別的語(yǔ)法特性。
但是另一方面也不要忽視學(xué)習好這些工具的重要性，只是希望學(xué)生自己能夠權衡。對數學(xué)好的同學(xué)來(lái)說(shuō)，可能最致命的是一個(gè)誤區，因為計算機的基礎是數學(xué)，所以完全使用數學(xué)思維去解決計算機問(wèn)題是沒(méi)問(wèn)題的，我這里只能說(shuō)計算機有自己的思維模式，哪怕是那些基于數學(xué)原理的算法問(wèn)題，所以數學(xué)專(zhuān)業(yè)的同學(xué)必須要學(xué)會(huì )認識到這種思維的差異并學(xué)會(huì )使用計算機的思維來(lái)解決問(wèn)題，而機器學(xué)習則是計算機思維的一個(gè)典型代表，這個(gè)將會(huì )在課程中具體討論。
至于需要的數學(xué)基礎，肯定是希望同學(xué)能夠學(xué)習高等數學(xué)中的微積分，線(xiàn)性代數和概率論的相關(guān)知識，對于沒(méi)有實(shí)際編程經(jīng)驗的學(xué)生則推薦深入學(xué)習一下離散數學(xué)（無(wú)關(guān)乎是否精于數學(xué)）。本門(mén)課程需要的數學(xué)基礎也就是這些了。
