神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)方法(神經(jīng)網(wǎng)絡(luò)是一種控制方式)
1.神經(jīng)網(wǎng)絡(luò)是一種控制方式
通常，神經(jīng)網(wǎng)絡(luò)都是通過編程實(shí)現(xiàn)的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)本質(zhì)上是種數(shù)學(xué)模型。但是，當(dāng)前已經(jīng)有硬件實(shí)現(xiàn)方案，即FPGA現(xiàn)場可編程門陣列來實(shí)現(xiàn)。
人工神經(jīng)網(wǎng)絡(luò)作為一種新型的信息處理系統(tǒng)，由于基于傳統(tǒng)軟件實(shí)現(xiàn)，存在并行程度低和速度慢的缺點(diǎn)，使神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)不能滿足實(shí)時(shí)性的要求，造成了理論研究與實(shí)際應(yīng)用脫節(jié)。另外，用軟件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)所需計(jì)算機(jī)體積龐大，不適合嵌入式場合的應(yīng)用。而神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)的最大特點(diǎn)就是體現(xiàn)了系統(tǒng)的并行性，處理速度快，易于滿足實(shí)時(shí)性要求。另外，算法的復(fù)雜程度以及在實(shí)際工程中應(yīng)用的可行性仍需要通過硬件的實(shí)現(xiàn)效果來檢驗(yàn)。因此，神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)意義重大。
FPGA 現(xiàn)場可編程門陣列是一個(gè)具有大量通用邏輯單元的器件，并且它的內(nèi)部邏輯可以根據(jù)實(shí)際需要進(jìn)行相應(yīng)的改變。這種可重新配置的結(jié)構(gòu)特征非常適合實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。
2.神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的實(shí)現(xiàn)技術(shù)
人工神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)是大量神經(jīng)元之間的加權(quán)互連。這就是神經(jīng)網(wǎng)絡(luò)與光學(xué)技術(shù)相結(jié)合的重要原因。電子技術(shù)與光學(xué)技術(shù)相比，精確度高，便于程序控制，抗噪聲能力強(qiáng)。但是，隨著計(jì)算機(jī)芯片集成度和速度的提高，計(jì)算機(jī)中的引線問題已成為一個(gè)嚴(yán)重的障礙。由于電子引線不能互相短路交叉，引線靠近時(shí)會(huì)發(fā)生耦合，高速電脈沖在引線上傳播時(shí)要發(fā)生色散和延遲，以及電子器件的扇入和扇出系數(shù)較低等問題，使得高密度的電子互連在技術(shù)上有很大困難。超大規(guī)模集成電路（VLSI）的引線問題造成的時(shí)鐘扭曲（clock skew），嚴(yán)重限制了諾依曼型計(jì)算機(jī)的速度。而另一方面，光學(xué)互連是高度并行的，光線在傳播時(shí)可以任意互相交叉而不會(huì)發(fā)生串?dāng)_，光傳播速度極快，其延時(shí)和色散可以忽略不計(jì)，加上光學(xué)元件的扇入和扇出系數(shù)都很高，因此光學(xué)互連具有明顯的優(yōu)勢(shì)。
正因如此，許多科學(xué)家早已開始研究采用光學(xué)互連來解決VLSI的引線問題，以及芯片之間、插板之間的連接問題。此外，光學(xué)運(yùn)算的高度并行性和快速實(shí)現(xiàn)大信息量線性運(yùn)算的能力，如矩陣相乘，二維線性變換，二維卷積、積分等，也是用光學(xué)手段實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的有利條件。光學(xué)信息處理雖有高速度及大信息量并行處理和優(yōu)點(diǎn)，但要滿足模糊運(yùn)算和隨機(jī)處理的要求還是遠(yuǎn)遠(yuǎn)不夠的。光學(xué)信息處理性能的改進(jìn)，要求在傳統(tǒng)的線性光學(xué)處理系統(tǒng)中引入非線性，而這些問題的解決與神經(jīng)網(wǎng)絡(luò)的光學(xué)實(shí)現(xiàn)恰好不謀而合。光學(xué)信息處理中的許多課題，如光計(jì)算、圖像變換、相關(guān)濾波、特征提取、邊緣增強(qiáng)、聯(lián)想存儲(chǔ)、噪聲消除等，都可以用神經(jīng)網(wǎng)絡(luò)的方法來完成。
關(guān)于光學(xué)神經(jīng)網(wǎng)絡(luò)的研究，國內(nèi)外已提出許多不同的硬件系統(tǒng)。例如，基于光學(xué)矢量矩陣相乘的Hopfield網(wǎng)絡(luò)的外積實(shí)現(xiàn)，采用全息存儲(chǔ)和共軛反射鏡（PCM）的全光學(xué)系統(tǒng)，采用液晶開關(guān)陣列、液晶光閥以及其它空間光調(diào)制器（SLM）的內(nèi)積型光學(xué)神經(jīng)網(wǎng)絡(luò)，光電混合全雙極“WTA”網(wǎng)絡(luò)等等。光學(xué)神經(jīng)網(wǎng)絡(luò)已成為人工神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要組成部分。
3.什么是人工神經(jīng)網(wǎng)絡(luò)及其算法實(shí)現(xiàn)方式
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，即ANN ），是20世紀(jì)80 年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)。它從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)（activation function）。每兩個(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。
最近十多年來，人工神經(jīng)網(wǎng)絡(luò)的研究工作不斷深入，已經(jīng)取得了很大的進(jìn)展，其在模式識(shí)別、智能機(jī)器人、自動(dòng)控制、預(yù)測(cè)估計(jì)、生物、醫(yī)學(xué)、經(jīng)濟(jì)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問題，表現(xiàn)出了良好的智能特性。
4.神經(jīng)網(wǎng)絡(luò)連接方式分為哪幾類
神經(jīng)網(wǎng)絡(luò)模型的分類
人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類。其中，常見的兩種分類方法是，按照網(wǎng)絡(luò)連接的拓樸結(jié)構(gòu)分類和按照網(wǎng)絡(luò)內(nèi)部的信息流向分類。
1 按照網(wǎng)絡(luò)拓樸結(jié)構(gòu)分類
網(wǎng)絡(luò)的拓樸結(jié)構(gòu)，即神經(jīng)元之間的連接方式。按此劃分，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類：層次型結(jié)構(gòu)和互聯(lián)型結(jié)構(gòu)。
層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能和順序的不同分為輸出層、中間層（隱層）、輸出層。輸出層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳給中間各隱層神經(jīng)元；隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層，負(fù)責(zé)信息變換。根據(jù)需要可設(shè)計(jì)為一層或多層；最后一個(gè)隱層將信息傳遞給輸出層神經(jīng)元經(jīng)進(jìn)一步處理后向外界輸出信息處理結(jié)果。
而互連型網(wǎng)絡(luò)結(jié)構(gòu)中，任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑，因此可以根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)的連接程度將互連型網(wǎng)絡(luò)細(xì)分為三種情況：全互連型、局部互連型和稀疏連接型
2 按照網(wǎng)絡(luò)信息流向分類
從神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來看，可以分為兩種類型：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。
單純前饋網(wǎng)絡(luò)的結(jié)構(gòu)與分層網(wǎng)絡(luò)結(jié)構(gòu)相同，前饋是因網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行而得名的。前饋型網(wǎng)絡(luò)中前一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路。因此這類網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。
反饋型網(wǎng)絡(luò)的結(jié)構(gòu)與單層全互連結(jié)構(gòu)網(wǎng)絡(luò)相同。在反饋型網(wǎng)絡(luò)中的所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接受輸入，同時(shí)又可以向外界輸出。
5.神經(jīng)網(wǎng)絡(luò)的應(yīng)用有哪些
神經(jīng)網(wǎng)絡(luò)的作用：（未盡之言參照百度百科）
{模擬人類實(shí)際神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)方法問世以來，人們已慢慢習(xí)慣了把這種人工神經(jīng)網(wǎng)絡(luò)直接稱為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)在系統(tǒng)辨識(shí).模式識(shí)別，智能控制等領(lǐng)域有著廣泛而吸引人的前景。特別在智能控制中，人們對(duì)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能尤其感興趣，并且把神經(jīng)網(wǎng)絡(luò)這一重要特點(diǎn)看作
是解決自動(dòng)控制中按制器適應(yīng)能力這個(gè)難題的關(guān)鍵鑰匙之一。 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元。 神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型。在人們對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，以探討人工智能的機(jī)制時(shí)，把神經(jīng)元數(shù)學(xué)化，從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型。 大量的形式相同的神經(jīng)元連結(jié)在—起就組成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一個(gè)高度非線性動(dòng)力學(xué)系統(tǒng)。雖然，每個(gè)神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜，但是神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)行為則是十分復(fù)雜的；因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)實(shí)際物理世界的各種現(xiàn)象。神經(jīng)網(wǎng)絡(luò)模型是以神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)來擁述的。神經(jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)拓?fù)?節(jié)點(diǎn)特點(diǎn)和學(xué)習(xí)規(guī)則來表示
主要使用的方面：
1.并行分布處理。 2.高度魯棒性和容錯(cuò)能力。 3.分布存儲(chǔ)及學(xué)習(xí)能力。 4.能充分逼近復(fù)雜的非線性關(guān)系。
6.Hopfield 神經(jīng)網(wǎng)絡(luò)有哪幾種訓(xùn)練方法
人工神經(jīng)網(wǎng)絡(luò)模型主要考慮網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征、學(xué)習(xí)規(guī)則等。目前，已有近40種神經(jīng)網(wǎng)絡(luò)模型，其中有反傳網(wǎng)絡(luò)、感知器、自組織映射、Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)、適應(yīng)諧振理論等。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可以分為：
(1)前向網(wǎng)絡(luò) 網(wǎng)絡(luò)中各個(gè)神經(jīng)元接受前一級(jí)的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中沒有反饋，可以用一個(gè)有向無環(huán)路圖表示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于實(shí)現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。
(2)反饋網(wǎng)絡(luò) 網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個(gè)無向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動(dòng)力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)均屬于這種類型。
學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要內(nèi)容，它的適應(yīng)性是通過學(xué)習(xí)實(shí)現(xiàn)的。根據(jù)環(huán)境的變化，對(duì)權(quán)值進(jìn)行調(diào)整，改善系統(tǒng)的行為。由Hebb提出的Hebb學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。Hebb規(guī)則認(rèn)為學(xué)習(xí)過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化。在此基礎(chǔ)上，人們提出了各種學(xué)習(xí)規(guī)則和算法，以適應(yīng)不同網(wǎng)絡(luò)模型的需要。有效的學(xué)習(xí)算法，使得神經(jīng)網(wǎng)絡(luò)能夠通過連接權(quán)值的調(diào)整，構(gòu)造客觀世界的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲(chǔ)和處理體現(xiàn)在網(wǎng)絡(luò)的連接中。
根據(jù)學(xué)習(xí)環(huán)境不同，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，將訓(xùn)練樣本的數(shù)據(jù)加到網(wǎng)絡(luò)輸入端，同時(shí)將相應(yīng)的期望輸出與網(wǎng)絡(luò)輸出相比較，得到誤差信號(hào)，以此控制權(quán)值連接強(qiáng)度的調(diào)整，經(jīng)多次訓(xùn)練后收斂到一個(gè)確定的權(quán)值。當(dāng)樣本情況發(fā)生變化時(shí)，經(jīng)學(xué)習(xí)可以修改權(quán)值以適應(yīng)新的環(huán)境。使用監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型有反傳網(wǎng)絡(luò)、感知器等。非監(jiān)督學(xué)習(xí)時(shí)，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于環(huán)境之中，學(xué)習(xí)階段與工作階段成為一體。此時(shí)，學(xué)習(xí)規(guī)律的變化服從連接權(quán)值的演變方程。非監(jiān)督學(xué)習(xí)最簡單的例子是Hebb學(xué)習(xí)規(guī)則。競爭學(xué)習(xí)規(guī)則是一個(gè)更復(fù)雜的非監(jiān)督學(xué)習(xí)的例子，它是根據(jù)已建立的聚類進(jìn)行權(quán)值調(diào)整。自組織映射、適應(yīng)諧振理論網(wǎng)絡(luò)等都是與競爭學(xué)習(xí)有關(guān)的典型模型。
研究神經(jīng)網(wǎng)絡(luò)的非線性動(dòng)力學(xué)性質(zhì)，主要采用動(dòng)力學(xué)系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計(jì)理論，來分析神經(jīng)網(wǎng)絡(luò)的演化過程和吸引子的性質(zhì)，探索神經(jīng)網(wǎng)絡(luò)的協(xié)同行為和集體計(jì)算功能，了解神經(jīng)信息處理機(jī)制。為了探討神經(jīng)網(wǎng)絡(luò)在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會(huì)發(fā)揮作用。混沌是一個(gè)相當(dāng)難以精確定義的數(shù)學(xué)概念。一般而言，“混沌”是指由確定性方程描述的動(dòng)力學(xué)系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機(jī)性?！按_定性”是因?yàn)樗蓛?nèi)在的原因而不是外來的噪聲或干擾所產(chǎn)生，而“隨機(jī)性”是指其不規(guī)則的、不能預(yù)測(cè)的行為，只可能用統(tǒng)計(jì)的方法描述。混沌動(dòng)力學(xué)系統(tǒng)的主要特征是其狀態(tài)對(duì)初始條件的靈敏依賴性，混沌反映其內(nèi)在的隨機(jī)性?；煦缋碚撌侵该枋鼍哂谢煦缧袨榈姆蔷€性動(dòng)力學(xué)系統(tǒng)的基本理論、概念、方法，它把動(dòng)力學(xué)系統(tǒng)的復(fù)雜行為理解為其自身與其在同外界進(jìn)行物質(zhì)、能量和信息交換過程中內(nèi)在的有結(jié)構(gòu)的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)?；煦鐒?dòng)力學(xué)系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準(zhǔn)同期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結(jié)合的結(jié)果，稱之為奇異吸引子。
7.神經(jīng)網(wǎng)絡(luò)算法是什么
Introduction 神經(jīng)網(wǎng)絡(luò)是新技術(shù)領(lǐng)域中的一個(gè)時(shí)尚詞匯。
很多人聽過這個(gè)詞，但很少人真正明白它是什么。本文的目的是介紹所有關(guān)于神經(jīng)網(wǎng)絡(luò)的基本包括它的功能、一般結(jié)構(gòu)、相關(guān)術(shù)語、類型及其應(yīng)用。
“神經(jīng)網(wǎng)絡(luò)”這個(gè)詞實(shí)際是來自于生物學(xué)，而我們所指的神經(jīng)網(wǎng)絡(luò)正確的名稱應(yīng)該是“人工神經(jīng)網(wǎng)絡(luò)（ANNs）”。在本文，我會(huì)同時(shí)使用這兩個(gè)互換的術(shù)語。
一個(gè)真正的神經(jīng)網(wǎng)絡(luò)是由數(shù)個(gè)至數(shù)十億個(gè)被稱為神經(jīng)元的細(xì)胞（組成我們大腦的微小細(xì)胞）所組成，它們以不同方式連接而型成網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)就是嘗試模擬這種生物學(xué)上的體系結(jié)構(gòu)及其操作。
在這里有一個(gè)難題：我們對(duì)生物學(xué)上的神經(jīng)網(wǎng)絡(luò)知道的不多！因此，不同類型之間的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有很大的不同，我們所知道的只是神經(jīng)元基本的結(jié)構(gòu)。 The neuron 雖然已經(jīng)確認(rèn)在我們的大腦中有大約50至500種不同的神經(jīng)元，但它們大部份都是基于基本神經(jīng)元的特別細(xì)胞。
基本神經(jīng)元包含有synapses、soma、axon及dendrites。Synapses負(fù)責(zé)神經(jīng)元之間的連接，它們不是直接物理上連接的，而是它們之間有一個(gè)很小的空隙允許電子訊號(hào)從一個(gè)神經(jīng)元跳到另一個(gè)神經(jīng)元。
然后這些電子訊號(hào)會(huì)交給soma處理及以其內(nèi)部電子訊號(hào)將處理結(jié)果傳遞給axon。而axon會(huì)將這些訊號(hào)分發(fā)給dendrites。
最后，dendrites帶著這些訊號(hào)再交給其它的synapses，再繼續(xù)下一個(gè)循環(huán)。 如同生物學(xué)上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡(luò)也有基本的神經(jīng)元。
每個(gè)神經(jīng)元有特定數(shù)量的輸入，也會(huì)為每個(gè)神經(jīng)元設(shè)定權(quán)重（weight）。權(quán)重是對(duì)所輸入的資料的重要性的一個(gè)指標(biāo)。
然后，神經(jīng)元會(huì)計(jì)算出權(quán)重合計(jì)值（net value），而權(quán)重合計(jì)值就是將所有輸入乘以它們的權(quán)重的合計(jì)。每個(gè)神經(jīng)元都有它們各自的臨界值（threshold），而當(dāng)權(quán)重合計(jì)值大于臨界值時(shí)，神經(jīng)元會(huì)輸出1。
相反，則輸出0。最后，輸出會(huì)被傳送給與該神經(jīng)元連接的其它神經(jīng)元繼續(xù)剩余的計(jì)算。
Learning 正如上述所寫，問題的核心是權(quán)重及臨界值是該如何設(shè)定的呢？世界上有很多不同的訓(xùn)練方式，就如網(wǎng)絡(luò)類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓(xùn)練模式。
由于結(jié)構(gòu)體系的不同，訓(xùn)練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別 - 監(jiān)管的及非監(jiān)管的。監(jiān)管方式的訓(xùn)練規(guī)則需要“教師”告訴他們特定的輸入應(yīng)該作出怎樣的輸出。
然后訓(xùn)練規(guī)則會(huì)調(diào)整所有需要的權(quán)重值（這是網(wǎng)絡(luò)中是非常復(fù)雜的），而整個(gè)過程會(huì)重頭開始直至數(shù)據(jù)可以被網(wǎng)絡(luò)正確的分析出來。監(jiān)管方式的訓(xùn)練模式包括有back-propagation及delta rule。
非監(jiān)管方式的規(guī)則無需教師，因?yàn)樗麄兯a(chǎn)生的輸出會(huì)被進(jìn)一步評(píng)估。 Architecture 在神經(jīng)網(wǎng)絡(luò)中，遵守明確的規(guī)則一詞是最“模糊不清”的。
因?yàn)橛刑嗖煌N類的網(wǎng)絡(luò)，由簡單的布爾網(wǎng)絡(luò)（Perceptrons），至復(fù)雜的自我調(diào)整網(wǎng)絡(luò)（Kohonen），至熱動(dòng)態(tài)性網(wǎng)絡(luò)模型（Boltzmann machines）！而這些，都遵守一個(gè)網(wǎng)絡(luò)體系結(jié)構(gòu)的標(biāo)準(zhǔn)。 一個(gè)網(wǎng)絡(luò)包括有多個(gè)神經(jīng)元“層”，輸入層、隱蔽層及輸出層。
輸入層負(fù)責(zé)接收輸入及分發(fā)到隱蔽層（因?yàn)橛脩艨床灰娺@些層，所以見做隱蔽層）。這些隱蔽層負(fù)責(zé)所需的計(jì)算及輸出結(jié)果給輸出層，而用戶則可以看到最終結(jié)果。
現(xiàn)在，為免混淆，不會(huì)在這里更深入的探討體系結(jié)構(gòu)這一話題。對(duì)于不同神經(jīng)網(wǎng)絡(luò)的更多詳細(xì)資料可以看Generation5 essays 盡管我們討論過神經(jīng)元、訓(xùn)練及體系結(jié)構(gòu)，但我們還不清楚神經(jīng)網(wǎng)絡(luò)實(shí)際做些什么。
The Function of ANNs 神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)為與圖案一起工作 - 它們可以被分為分類式或聯(lián)想式。分類式網(wǎng)絡(luò)可以接受一組數(shù)，然后將其分類。
例如ONR程序接受一個(gè)數(shù)字的影象而輸出這個(gè)數(shù)字?；蛘逷PDA32程序接受一個(gè)坐標(biāo)而將它分類成A類或B類（類別是由所提供的訓(xùn)練決定的）。
更多實(shí)際用途可以看Applications in the Military中的軍事雷達(dá)，該雷達(dá)可以分別出車輛或樹。 聯(lián)想模式接受一組數(shù)而輸出另一組。
例如HIR程序接受一個(gè)‘臟’圖像而輸出一個(gè)它所學(xué)過而最接近的一個(gè)圖像。聯(lián)想模式更可應(yīng)用于復(fù)雜的應(yīng)用程序，如簽名、面部、指紋識(shí)別等。
The Ups and Downs of Neural Networks 神經(jīng)網(wǎng)絡(luò)在這個(gè)領(lǐng)域中有很多優(yōu)點(diǎn)，使得它越來越流行。它在類型分類/識(shí)別方面非常出色。
神經(jīng)網(wǎng)絡(luò)可以處理例外及不正常的輸入數(shù)據(jù)，這對(duì)于很多系統(tǒng)都很重要（例如雷達(dá)及聲波定位系統(tǒng)）。很多神經(jīng)網(wǎng)絡(luò)都是模仿生物神經(jīng)網(wǎng)絡(luò)的，即是他們仿照大腦的運(yùn)作方式工作。
神經(jīng)網(wǎng)絡(luò)也得助于神經(jīng)系統(tǒng)科學(xué)的發(fā)展，使它可以像人類一樣準(zhǔn)確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在。 是的，神經(jīng)網(wǎng)絡(luò)也有些不好的地方。
這通常都是因?yàn)槿狈ψ銐驈?qiáng)大的硬件。神經(jīng)網(wǎng)絡(luò)的力量源自于以并行方式處理資訊，即是同時(shí)處理多項(xiàng)數(shù)據(jù)。
因此，要一個(gè)串行的機(jī)器模擬并行處理是非常耗時(shí)的。 神經(jīng)網(wǎng)絡(luò)的另一個(gè)問題是對(duì)某一個(gè)問題構(gòu)建網(wǎng)絡(luò)所定義的條件不足 - 有太多因素需要考慮：訓(xùn)練的算法、體系結(jié)構(gòu)、每層的神經(jīng)元個(gè)數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。
因此，隨著時(shí)間越來越重要，大部份公司不可能負(fù)擔(dān)重復(fù)的開發(fā)神經(jīng)網(wǎng)絡(luò)去有效地解決問題。 。
