我經(jīng)常聽到人們談?wù)撋窠?jīng)網(wǎng)絡(luò)，就像黑盒子一樣，您不了解它的作用或含義。實(shí)際上，許多人無(wú)法理解其含義。如果您了解反向傳播的工作原理，那么黑匣子又如何呢？我在人工神經(jīng)網(wǎng)絡(luò)的研究工作中遇到了黑匣子問(wèn)題。無(wú)論最終輸出的準(zhǔn)確性如何，人工神經(jīng)網(wǎng)絡(luò)盡管具有優(yōu)勢(shì)，但在相關(guān)領(lǐng)域仍缺乏模型的可解釋性。首先，讓我解釋一下黑匣子問(wèn)題。

　　人工神經(jīng)網(wǎng)絡(luò)中的黑匣子問(wèn)題是什么？

從某種意義上說(shuō)，神經(jīng)網(wǎng)絡(luò)雖然可以近似任何功能，但從其意義上講，它是一個(gè)黑匣子。研究其結(jié)構(gòu)不會(huì)對(duì)近似函數(shù)的結(jié)構(gòu)產(chǎn)生任何見解。

例如，神經(jīng)網(wǎng)絡(luò)在癌癥預(yù)測(cè)中的一種常見用途是將人們分為“病患者”和“非病患者”。您具有輸入特征C（性別，年齡，身高等）的矩陣和結(jié)果R（“乳腺癌”，“肺癌”等）的向量。當(dāng)使用神經(jīng)網(wǎng)絡(luò)對(duì)此建模時(shí)，您假設(shè)在數(shù)學(xué)函數(shù)的正確意義上存在函數(shù)f(C)= R。該函數(shù)f可以是任意復(fù)雜的，并且可能會(huì)隨著業(yè)務(wù)的發(fā)展而變化，因此您無(wú)法手動(dòng)獲得它。

然后，使用神經(jīng)網(wǎng)絡(luò)構(gòu)建函數(shù)f的近似值，該函數(shù)的錯(cuò)誤率對(duì)于您的應(yīng)用程序是可接受的。這行得通，精度可以任意降低-您可以擴(kuò)展網(wǎng)絡(luò)，微調(diào)其訓(xùn)練參數(shù)并獲取更多數(shù)據(jù)，直到精度達(dá)到您的目標(biāo)。

黑匣子問(wèn)題是：神經(jīng)網(wǎng)絡(luò)給出的逼近值不會(huì)讓您深入了解函數(shù)f的形式。權(quán)重與要近似的函數(shù)之間沒(méi)有簡(jiǎn)單的聯(lián)系。甚至分析哪個(gè)輸入特性都不相關(guān)也是一個(gè)未解決的問(wèn)題。

另外，從傳統(tǒng)的統(tǒng)計(jì)角度來(lái)看，神經(jīng)網(wǎng)絡(luò)是不可識(shí)別的模型：給定一個(gè)數(shù)據(jù)集和網(wǎng)絡(luò)拓?fù)?，可以存在兩個(gè)權(quán)重不同且結(jié)果相同的神經(jīng)網(wǎng)絡(luò)。這使得分析非常困難。

作為“非黑匣子模型”或“可解釋模型”的示例，您具有回歸方程式和決策樹。第一個(gè)為您提供函數(shù)f的閉式近似值，其中每個(gè)元素的重要性都明確，第二個(gè)為一些相對(duì)風(fēng)險(xiǎn)/幾率的圖形描述。

黑匣子里面

人工智能算法在人們的生活中越來(lái)越具有影響力，但其內(nèi)部運(yùn)作通常是不透明的。我們研究了原因，并探討了該措施。但是，沒(méi)有關(guān)于模型可解釋性的標(biāo)準(zhǔn)。

　　黑匣子之謎如何解決？

一個(gè)叫做“ 信息瓶頸 ”的新想法正在幫助解釋當(dāng)今的人工智能算法令人費(fèi)解的成功-也許還可以解釋人腦如何學(xué)習(xí)。

像大腦一樣，深層的神經(jīng)網(wǎng)絡(luò)具有神經(jīng)元層-人造的神經(jīng)元，是計(jì)算機(jī)內(nèi)存中的虛構(gòu)體。當(dāng)神經(jīng)元激發(fā)時(shí)，它將信號(hào)發(fā)送到上一層中連接的神經(jīng)元。在深度學(xué)習(xí)期間，網(wǎng)絡(luò)中的連接會(huì)根據(jù)需要進(jìn)行增強(qiáng)或減弱，以使系統(tǒng)更好地從輸入數(shù)據(jù)(例如，狗的照片的像素)通過(guò)各層向上到達(dá)與正確的高信號(hào)相關(guān)的神經(jīng)元發(fā)送信號(hào)。級(jí)別的概念，例如“狗”。深度神經(jīng)網(wǎng)絡(luò)從成千上萬(wàn)張狗的樣本照片中“學(xué)習(xí)”之后，它可以像人們一樣準(zhǔn)確地識(shí)別新照片中的狗。在學(xué)習(xí)過(guò)程中，從特殊情況到一般概念的神奇飛躍賦予了深度神經(jīng)網(wǎng)絡(luò)以強(qiáng)大的力量，正如它是人類推理，創(chuàng)造力和其他統(tǒng)稱為“智能”的基礎(chǔ)一樣。

耶路撒冷來(lái)大學(xué)的計(jì)算機(jī)科學(xué)家和神經(jīng)科學(xué)家提出了支持新理論的證據(jù)，該新理論解釋了深度學(xué)習(xí)的工作原理?？茖W(xué)家認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)是根據(jù)稱為“信息瓶頸”的過(guò)程進(jìn)行學(xué)習(xí)的，他和兩個(gè)合作者于1999年首次以純理論術(shù)語(yǔ)對(duì)其進(jìn)行了描述。這個(gè)想法是，網(wǎng)絡(luò)擺脫了多余細(xì)節(jié)的嘈雜輸入數(shù)據(jù)，就像通過(guò)瓶頸壓縮信息一樣，僅保留了與一般概念最相關(guān)的功能?？茖W(xué)家和他的學(xué)生進(jìn)行了令人震驚的新計(jì)算機(jī)實(shí)驗(yàn)，揭示了這種壓縮過(guò)程在深度學(xué)習(xí)期間如何發(fā)生，至少在他們研究的情況下如此。

科學(xué)家認(rèn)為，信息瓶頸是學(xué)習(xí)背后的基本原理，無(wú)論您是算法，家蠅，有意識(shí)的生物，還是對(duì)緊急行為的物理計(jì)算，都期待已久的答案“是最重要的部分。的學(xué)習(xí)實(shí)際上是在忘記?！?/p>

　　信息瓶頸

科學(xué)家在其他研究人員首次研究深度神經(jīng)網(wǎng)絡(luò)時(shí)就開始考慮信息瓶頸，盡管至今還沒(méi)有一個(gè)概念被命名。當(dāng)時(shí)是1980年代，科學(xué)家正在思考人類在語(yǔ)音識(shí)別方面的表現(xiàn)如何-當(dāng)時(shí)對(duì)于AI來(lái)說(shuō)是一項(xiàng)重大挑戰(zhàn)。科學(xué)家意識(shí)到問(wèn)題的癥結(jié)在于相關(guān)性問(wèn)題：一個(gè)口語(yǔ)單詞最相關(guān)的特征是什么？我們?nèi)绾螐陌殡S它們的變量中挑出來(lái)?通常，當(dāng)我們面對(duì)現(xiàn)實(shí)的數(shù)據(jù)之海時(shí)，我們會(huì)保留哪些信號(hào)？

從某種意義上說(shuō)，信息理論的創(chuàng)始人從1940年代開始就解放了對(duì)信息的研究，方法是抽象地將其視為具有純數(shù)學(xué)意義的1和0。香農(nóng)認(rèn)為，正如科學(xué)家所說(shuō)，“信息與語(yǔ)義無(wú)關(guān)”。但是，科學(xué)家認(rèn)為這不是事實(shí)。他意識(shí)到，利用信息理論，“您可以精確地定義'相關(guān)'。”

想象X是一個(gè)復(fù)雜的數(shù)據(jù)集，如狗照片的像素，而Y是一個(gè)由這些數(shù)據(jù)表示的簡(jiǎn)單變量，例如單詞“狗”。您可以通過(guò)盡可能多地壓縮X來(lái)捕獲X中有關(guān)Y的所有“相關(guān)”信息，而不會(huì)失去預(yù)測(cè)Y的能力。科學(xué)家和他的合著者，在其1999年的論文中將其表述為數(shù)學(xué)優(yōu)化問(wèn)題。這是沒(méi)有殺手級(jí)應(yīng)用的基本思想。

信息論的演變

盡管深度神經(jīng)網(wǎng)絡(luò)背后的概念已經(jīng)使用了數(shù)十年，但由于改進(jìn)了訓(xùn)練方法和功能更強(qiáng)大的計(jì)算機(jī)處理器，它們?cè)谡Z(yǔ)音和圖像識(shí)別等任務(wù)中的性能才在2010年代初才開始發(fā)揮作用。在閱讀了物理學(xué)家的令人驚訝的論文之后，科學(xué)家在2014年意識(shí)到了它們與信息瓶頸原理的潛在聯(lián)系。

他們二人發(fā)現(xiàn)，欣頓發(fā)明的一種名為“深層信念網(wǎng)”的深度學(xué)習(xí)算法在特定情況下的工作原理與重歸一化完全相同，重歸一化是物理學(xué)中用于通過(guò)粗粒度細(xì)化物理系統(tǒng)細(xì)節(jié)來(lái)縮小物理系統(tǒng)的一種技術(shù)，計(jì)算其總體狀態(tài)。物物理學(xué)家將深層置信網(wǎng)絡(luò)應(yīng)用于磁體的“臨界點(diǎn)”模型時(shí)，在該模型中系統(tǒng)是分形的，或者在各個(gè)尺度上都是自相似的，因此他們發(fā)現(xiàn)網(wǎng)絡(luò)會(huì)自動(dòng)使用類似于歸一化的過(guò)程來(lái)發(fā)現(xiàn)模型的狀態(tài)。這是一個(gè)令人震驚的跡象，作為生物物理學(xué)家當(dāng)時(shí)說(shuō)，“在統(tǒng)計(jì)物理學(xué)的背景下提取相關(guān)特征，在深度學(xué)習(xí)的背景下提取相關(guān)特征不僅是相似的詞，而且是相同的。”

唯一的問(wèn)題是，通常來(lái)說(shuō)，現(xiàn)實(shí)世界不是分形的?！白匀唤绮皇嵌渖系亩洌渖系亩?物理學(xué)家說(shuō)?！耙虼耍也粫?huì)說(shuō)[重歸一化過(guò)程]是對(duì)自然圖像進(jìn)行深度學(xué)習(xí)如此有效的原因?！? 但是當(dāng)時(shí)正在接受胰腺癌化療的科學(xué)家意識(shí)到，更廣泛的想法可以涵蓋深度學(xué)習(xí)和粗粒度過(guò)程。他說(shuō)：“思考科學(xué)以及我的舊觀念的作用是我康復(fù)和恢復(fù)的重要組成部分?！?/p>

在2015年，他和他的學(xué)生假設(shè)深度學(xué)習(xí)是一個(gè)信息瓶頸程序，該程序盡可能地壓縮嘈雜的數(shù)據(jù)，同時(shí)保留有關(guān)數(shù)據(jù)表示的信息。科學(xué)家用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行的新實(shí)驗(yàn)揭示了瓶頸程序?qū)嶋H上是如何發(fā)揮作用的。在一種情況下，研究人員使用了小型網(wǎng)絡(luò)，可以訓(xùn)練這些網(wǎng)絡(luò)使用1或0標(biāo)記輸入數(shù)據(jù)（認(rèn)為“狗”或“沒(méi)有狗”)，并為其282個(gè)神經(jīng)連接提供隨機(jī)的初始強(qiáng)度。然后，他們使用3,000個(gè)樣本輸入數(shù)據(jù)集跟蹤了網(wǎng)絡(luò)參與深度學(xué)習(xí)時(shí)發(fā)生的情況。

大多數(shù)深度學(xué)習(xí)程序中用于調(diào)整神經(jīng)連接以響應(yīng)數(shù)據(jù)的基本算法稱為“隨機(jī)梯度下降”：每次將訓(xùn)練數(shù)據(jù)輸入網(wǎng)絡(luò)時(shí)，一連串的觸發(fā)活動(dòng)會(huì)向上掃過(guò)各個(gè)層次人工神經(jīng)元。當(dāng)信號(hào)到達(dá)頂層時(shí)，可以將最終的發(fā)射模式與圖像的正確標(biāo)簽進(jìn)行比較-1或0，“狗”或“無(wú)狗”。觸發(fā)模式和正確模式之間的任何差異都會(huì)在各層之間“反向傳播”，這意味著，就像老師對(duì)考試進(jìn)行校正一樣，該算法會(huì)增強(qiáng)或削弱每個(gè)連接，從而使網(wǎng)絡(luò)層更好地產(chǎn)生正確的輸出信號(hào)。在培訓(xùn)過(guò)程中，培訓(xùn)數(shù)據(jù)中的常見模式會(huì)體現(xiàn)在聯(lián)系的優(yōu)勢(shì)上，

在他們的實(shí)驗(yàn)中，科學(xué)家跟蹤了深度神經(jīng)網(wǎng)絡(luò)的每一層保留了多少關(guān)于輸入數(shù)據(jù)的信息以及每一層保留了關(guān)于輸出標(biāo)簽的多少信息。科學(xué)家發(fā)現(xiàn)，網(wǎng)絡(luò)層層地收斂到了信息瓶頸的理論界限：原始論文得出的理論極限代表了系統(tǒng)在提取相關(guān)信息方面可以做到的絕對(duì)最佳。在極限時(shí)，網(wǎng)絡(luò)已盡可能地壓縮了輸入，而不會(huì)犧牲準(zhǔn)確預(yù)測(cè)其標(biāo)簽的能力。

科學(xué)家還做出了一個(gè)有趣的發(fā)現(xiàn)，即深度學(xué)習(xí)分兩個(gè)階段進(jìn)行：短暫的“擬合”階段和更長(zhǎng)的“壓縮”階段概括而言，由其在標(biāo)記新測(cè)試數(shù)據(jù)時(shí)的性能來(lái)衡量。

隨著深度神經(jīng)網(wǎng)絡(luò)通過(guò)隨機(jī)梯度下降來(lái)調(diào)整其連接，起初，它為輸入數(shù)據(jù)存儲(chǔ)的位數(shù)大致保持恒定或略有增加，因?yàn)檫B接會(huì)進(jìn)行調(diào)整以對(duì)輸入中的模式進(jìn)行編碼，并且網(wǎng)絡(luò)會(huì)很好地適應(yīng)標(biāo)簽它。一些專家將這一階段與記憶進(jìn)行了比較。

然后學(xué)習(xí)切換到壓縮階段。網(wǎng)絡(luò)開始散布有關(guān)輸入數(shù)據(jù)的信息，僅跟蹤最強(qiáng)的功能-與輸出標(biāo)簽最相關(guān)的那些關(guān)聯(lián)。發(fā)生這種情況的原因是，在隨機(jī)梯度下降的每次迭代中，訓(xùn)練數(shù)據(jù)中或多或少的偶然相關(guān)性告訴網(wǎng)絡(luò)要做不同的事情，在隨機(jī)行走中上下?lián)軇?dòng)其神經(jīng)連接的強(qiáng)度。。這種隨機(jī)有效地與壓縮輸入數(shù)據(jù)的系統(tǒng)表示相同。例如，有些狗的照片可能在背景中有房子，而另一些則沒(méi)有。當(dāng)網(wǎng)絡(luò)循環(huán)瀏覽這些訓(xùn)練照片時(shí)，它可能“忘記”某些照片中房屋和狗之間的相關(guān)性，而其他照片則抵消了它們。科學(xué)家認(rèn)為，正是這些細(xì)節(jié)的遺忘使系統(tǒng)能夠形成一般概念。確實(shí)，他們的實(shí)驗(yàn)表明，深度神經(jīng)網(wǎng)絡(luò)在壓縮階段提高了其泛化性能，在標(biāo)記測(cè)試數(shù)據(jù)方面變得更好。

信息瓶頸是否支配著所有的深度學(xué)習(xí)機(jī)制還有待觀察，或者除了壓縮之外，是否還有其他推廣途徑還有待觀察。一些AI專家認(rèn)為科學(xué)家的想法是最近出現(xiàn)的許多有關(guān)深度學(xué)習(xí)的重要理論見解之一。哈佛大學(xué)的AI研究人員和理論神經(jīng)科學(xué)家指出，某些非常大的深度神經(jīng)網(wǎng)絡(luò)似乎不需要抽出壓縮階段就能很好地概括。取而代之的是，研究人員采用稱為“提前停止”的程序進(jìn)行編程，這可以縮短培訓(xùn)時(shí)間，以防止網(wǎng)絡(luò)首先對(duì)過(guò)多的相關(guān)性進(jìn)行編碼。

科學(xué)家認(rèn)為，同事分析的網(wǎng)絡(luò)模型與標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有所不同，但盡管如此，信息瓶頸的理論界限比其他方法更好地定義了這些網(wǎng)絡(luò)的泛化性能。科學(xué)家的最新實(shí)驗(yàn)部分解決了有關(guān)瓶頸是否支持更大的神經(jīng)網(wǎng)絡(luò)的問(wèn)題，在該實(shí)驗(yàn)中，他們訓(xùn)練了更大的，330,000個(gè)連接深的神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別手寫體中的數(shù)字。擁有60,000幅圖像的美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)研究院數(shù)據(jù)庫(kù)，這是衡量深度學(xué)習(xí)算法性能的著名基準(zhǔn)?？茖W(xué)家們看到了網(wǎng)絡(luò)到信息瓶頸理論界限的相同收斂。他們還觀察到了深度學(xué)習(xí)的兩個(gè)截然不同的階段，相較于較小的網(wǎng)絡(luò)，它們之間的過(guò)渡更加尖銳。提什比說(shuō)：“我現(xiàn)在已經(jīng)完全確信這是普遍現(xiàn)象?！?/p>

人與機(jī)器

大腦如何從感官中篩選信號(hào)并將其提升到意識(shí)意識(shí)水平的奧秘，促使AI先驅(qū)者開始對(duì)深度神經(jīng)網(wǎng)絡(luò)產(chǎn)生了很多早期興趣，他們希望逆向工程大腦的學(xué)習(xí)規(guī)則。從那以后，人工智能從業(yè)者已經(jīng)在瘋狂的發(fā)展中為技術(shù)進(jìn)步而放棄了這條道路，而不是像敲響鐘聲那樣鼓吹而沒(méi)有考慮生物學(xué)上的合理性。盡管如此，隨著他們的思維機(jī)器取得更大的成就-甚至引發(fā)人們對(duì)AI可能在某天構(gòu)成生存威脅的恐懼?-許多研究人員希望這些探索能夠發(fā)現(xiàn)關(guān)于學(xué)習(xí)和智力的一般見解。

紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)的助理教授研究了人與機(jī)器學(xué)習(xí)方式的異同，他表示，提斯比的發(fā)現(xiàn)代表“邁向打開神經(jīng)網(wǎng)絡(luò)黑匣子的重要一步，”但他強(qiáng)調(diào)說(shuō)大腦代表了更大，更黑的黑匣子。我們的成年大腦在860億個(gè)神經(jīng)元之間擁有數(shù)百萬(wàn)億個(gè)連接，很可能會(huì)使用一整套技巧來(lái)增強(qiáng)泛化能力，這超出了嬰兒期發(fā)生的基本圖像和聲音識(shí)別學(xué)習(xí)過(guò)程，并且在許多方面可能類似于深度學(xué)習(xí)。

萊克說(shuō)，例如，蒂什比確定的擬合和壓縮階段似乎與孩子學(xué)習(xí)手寫字符的方式?jīng)]有類似之處，他研究了這一階段。孩子們無(wú)需看成千上萬(wàn)個(gè)角色的例子，并在很長(zhǎng)一段時(shí)間內(nèi)壓縮他們的思維方式，便可以識(shí)別該字母的其他實(shí)例并自己編寫。實(shí)際上，他們可以從一個(gè)示例中學(xué)習(xí)。萊克和他的同事們的模型暗示大腦可能將新字母分解為一系列筆畫-以前存在的心理構(gòu)造-允許將字母的概念添加到先驗(yàn)知識(shí)的體系中。教授解釋說(shuō)：“與標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)算法一樣，教授解釋說(shuō)，“與其將字母的圖像視為像素的圖案，而沒(méi)有將其視為映射這些特征的概念，”而是解釋道，“相反，我旨在建立一個(gè)簡(jiǎn)單的字母因果模型，”概括的更短路徑。

這種機(jī)智的想法可能會(huì)為AI社區(qū)提供經(jīng)驗(yàn)教訓(xùn)，促進(jìn)這兩個(gè)領(lǐng)域之間的來(lái)回交流?？茖W(xué)家相信，他的信息瓶頸理論最終將在這兩個(gè)領(lǐng)域中都被證明是有用的，即使它在人類學(xué)習(xí)中比在AI中更普遍?？梢詮脑摾碚撝蝎@得的直接見解是，可以更好地了解可以通過(guò)實(shí)際和人工神經(jīng)網(wǎng)絡(luò)解決哪些類型的問(wèn)題。提什比說(shuō)：“它完全描述了可以學(xué)習(xí)的問(wèn)題。” 這些是“我可以消除輸入中的噪聲而又不影響分類能力的問(wèn)題。這是自然視覺(jué)問(wèn)題，語(yǔ)音識(shí)別。這些正是我們的大腦可以應(yīng)付的問(wèn)題?！?/p>

同時(shí)，無(wú)論是真實(shí)的還是人工的神經(jīng)網(wǎng)絡(luò)，都碰到了每個(gè)細(xì)節(jié)都很重要的問(wèn)題，而微小的差異可能會(huì)抵消整個(gè)結(jié)果。例如，大多數(shù)人無(wú)法快速將兩個(gè)大數(shù)相乘。蒂什比說(shuō)：“我們遇到了這類問(wèn)題，這些邏輯問(wèn)題對(duì)一個(gè)變量的變化非常敏感?！? “可分類性，離散問(wèn)題，密碼問(wèn)題。我認(rèn)為深度學(xué)習(xí)永遠(yuǎn)不會(huì)幫助我破解密碼。”

泛化意味著留下一些細(xì)節(jié)。這對(duì)于快速進(jìn)行代數(shù)運(yùn)算不是很好，但是這不是大腦的主要業(yè)務(wù)。我們正在尋找人群中熟悉的面孔，嘈雜世界中混亂的秩序，明顯的信號(hào)。

以上即是關(guān)于深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)如何解決黑盒子問(wèn)題的全部?jī)?nèi)容，想了解更多關(guān)于人工智能的信息，請(qǐng)繼續(xù)關(guān)注中培偉業(yè)。