2024年諾貝爾物理學獎首次授予人工智能領域的領軍科學家，人工智能應用于科學研究被提到更加重要的位置。至頂智庫將從2024年諾貝爾物理學獎說起，進而展現(xiàn)全球人工智能杰出科學家Geoffrey Hinton的傳奇人生。

圖片來源：https://x.com/NobelPrize/status/1843589140455272810

約翰·霍普菲爾德 (John Hopfield)和杰弗里·辛頓（Geoffrey Hinton）因其在神經(jīng)網(wǎng)絡領域的開創(chuàng)性貢獻榮獲2024年諾貝爾物理學獎。2024年12月8日，在瑞典斯德哥爾摩的頒獎典禮上，被稱為"人工智能之父"的Geoffrey Hinton講述Hopfield網(wǎng)絡和玻爾茲曼機的原理與發(fā)展。至頂智庫將Geoffrey Hinton演講的主要內(nèi)容總結如下：

霍普菲爾德網(wǎng)絡（Hopfield Network）

霍普菲爾德網(wǎng)絡使用二進制神經(jīng)元，這些神經(jīng)元的狀態(tài)為1或0。右邊可以看到一個霍普菲爾德網(wǎng)絡，這些神經(jīng)元之間有對稱的加權連接。整個網(wǎng)絡的全局狀態(tài)被稱為一個“構型”（configuration）。每個構型都有一個“優(yōu)度”（goodness），構型的優(yōu)度就是所有“同時開啟”的神經(jīng)元對之間權重的總和。把紅色框中的權重加起來是 4，這就是該網(wǎng)絡構型的優(yōu)度。而“能量”（energy）就是優(yōu)度的負數(shù)。這些網(wǎng)絡會穩(wěn)定到能量的最小值。圖片來源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024. https://www.nobelprize.org/prizes/physics/2024/hinton/lecture/

霍普菲爾德網(wǎng)絡的關鍵在于，每個神經(jīng)元都可以局部地計算出需要做什么來降低能量?！澳芰俊笨梢岳斫鉃椤皦亩取保˙adness）。如果來自其他激活神經(jīng)元的總加權輸入為正，則該神經(jīng)元應該開啟；如果為負，則應該關閉。如果每個神經(jīng)元都持續(xù)使用這個規(guī)則，并且隨機選擇神經(jīng)元并不斷應用這個規(guī)則，網(wǎng)絡最終會穩(wěn)定到一個能量最小值。

右邊的構型實際上是能量最小值，其能量為-4。如果選擇其中任何一個神經(jīng)元，在得到總的正輸入情況下，開啟的神經(jīng)元會傾向于保持開啟；在得到總的負輸入情況下，關閉的神經(jīng)元會傾向于保持關閉。一個霍普菲爾德網(wǎng)絡可以有許多能量最小值，最終穩(wěn)定在哪個狀態(tài)取決于起始狀態(tài)，也取決于做出隨機決定的順序，也就是更新哪個神經(jīng)元的順序?，F(xiàn)在這個構型是一個更好的能量最小值，打開右邊三角形的神經(jīng)元，優(yōu)度是 3 + 3 - 1 = 5，所以能量是 -5，這是一個更好的最小值。

圖片來源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024. https://www.nobelprize.org/prizes/physics/2024/hinton/lecture/

通過使用關于神經(jīng)元是否應該開啟或關閉的二進制決策規(guī)則，可以“清理”不完整的記憶。從一個部分記憶開始，然后不斷應用這個決策規(guī)則就會把記憶補全。穩(wěn)定到能量最小值是一種內(nèi)容尋址記憶（Content Addressable Memory）的方式。可以通過激活記憶中的一部分來訪問整個記憶，然后使用這個規(guī)則，會把記憶補全。

引入隨機性解決搜索問題

搜索問題：通過使神經(jīng)元具有“噪聲”來解決。如果有像標準霍普菲爾德網(wǎng)絡那樣的確定性神經(jīng)元，如果系統(tǒng)穩(wěn)定到一個能量最小值，比如 A 點——那里的球代表整個系統(tǒng)的狀態(tài)，也就是整個系統(tǒng)的構型—無法從 A 點到達 B 點，因為神經(jīng)元的決策規(guī)則只允許能量下降。右邊的圖表是決策規(guī)則：如果輸入為正，則開啟；如果輸入為負，則關閉。希望能夠從A點到達B點，但這意味著必須在能量上“爬坡”。解決這個問題的方法是使用帶有噪聲的神經(jīng)元，也就是隨機二進制神經(jīng)元（stochastic binary neurons）。仍然只有二進制狀態(tài)，狀態(tài)要么是 1，要么是 0。

圖片來源：Geoffrey Hinton– Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024. https://www.nobelprize.org/prizes/physics/2024/hinton/lecture/

如果得到一個很大的正輸入，幾乎總是開啟；如果得到一個很大的負輸入，幾乎總是關閉。但如果輸入是“軟性”的，如果接近于 0，那么行為就是概率性的。如果輸入是正的，通常會開啟，但偶爾也會關閉；如果輸入是小的負值，通常會關閉，但偶爾也會開啟。但沒有實數(shù)值，始終是二進制的，如果想用這些隱藏神經(jīng)元來解釋二進制圖像，需要將二進制圖像固定在可見單元上。將二進制圖像“固定”（clamp）在可見單元上，這指定了輸入內(nèi)容。然后我們隨機選擇一個隱藏神經(jīng)元，查看它從其他激活的隱藏神經(jīng)元獲得的總輸入——把它們都初始化為隨機狀態(tài)—如果獲得總的正輸入，我們很可能會開啟它，但也可能關閉它，尤其當正輸入很小的時候。我們持續(xù)執(zhí)行這個規(guī)則：如果輸入為大的正值則開啟，如果輸入為大的負值則關閉，如果是“軟性”的輸入則做出概率性的決策。如果我們持續(xù)這樣做，并持續(xù)隨機選擇隱藏神經(jīng)元，系統(tǒng)最終會達到所謂的“熱平衡”（thermal equilibrium）。一旦達到熱平衡，隱藏神經(jīng)元的狀態(tài)就是對輸入的一種解釋。

玻爾茲曼機（Boltzmann Machine）

玻爾茲曼機包含“清醒”階段和“睡眠”階段。

“清醒”階段（wake phase）：網(wǎng)絡接收圖像的階段。將一個圖像“固定”在可見神經(jīng)元上，讓隱藏神經(jīng)元來回“震蕩”并穩(wěn)定到熱平衡。然后，一旦隱藏神經(jīng)元與可見神經(jīng)元達到熱平衡，對于每一對相連的神經(jīng)元——要么是兩個隱藏神經(jīng)元，要么是一個可見神經(jīng)元和一個隱藏神經(jīng)元——如果都處于開啟狀態(tài)，就給神經(jīng)元之間的權重增加一個小量。

“睡眠”階段（sleep phase）：如果只運行“清醒”階段，權重只會越來越大，很快就都會變成正值，所有的神經(jīng)元都會一直開啟。你需要將“清醒”階段與“睡眠”階段結合起來。在“睡眠”階段，可以把網(wǎng)絡想象成在做夢，通過更新所有神經(jīng)元（隱藏和可見）的狀態(tài)來達到熱平衡。一旦達到熱平衡，對于每一對相連的神經(jīng)元，如果都處于開啟狀態(tài)，就從神經(jīng)元之間的權重中減去一個小量。

受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）及應用

圖片來源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024. https://www.nobelprize.org/prizes/physics/2024/hinton/lecture/

如果對玻爾茲曼機進行限制，就可以得到更快的學習算法。如果隱藏神經(jīng)元之間沒有連接，那么“清醒”階段就變得非常簡單。將輸入固定在可見神經(jīng)元上來表示圖像，然后并行地更新所有隱藏神經(jīng)元，這樣就可以達到熱平衡狀態(tài)。這樣你就已經(jīng)達到熱平衡了。只需要用很短的路徑更新一次，就可以很快達到熱平衡。這對隱藏神經(jīng)元來說很好，但在“睡眠”階段仍然有問題。將網(wǎng)絡置于某種隨機狀態(tài)，不斷更新隱藏神經(jīng)元和可見神經(jīng)元，持續(xù)很長時間才能達到熱平衡。目前存在一個快捷方法：將數(shù)據(jù)放在可見單元，然后并行更新所有隱藏神經(jīng)元，之后達到熱平衡狀態(tài)?，F(xiàn)在你更新所有的可見單元，稱之為“重構”（reconstruction）。當網(wǎng)絡展示重構并且已經(jīng)與重構達到平衡時，測量同時開啟的頻率，這兩者之間的差異就是學習算法，之后只需要根據(jù)差異來按比例改變權重。這種做法的實際效果相當好，速度很快，快到足以使玻爾茲曼機變得更加實用。

Netflix推薦系統(tǒng)：Netflix實際上使用受限玻爾茲曼機，并結合其他方法，根據(jù)所有與你類似的其他用戶喜好，決定向你推薦哪些新電影。這種玻爾茲曼機和其他方法的組合達到預期效果。

接下來，回顧下2024年10月諾獎委員會發(fā)布諾貝爾物理學獎提到的相關內(nèi)容：

赫布定律（Hebbian theory）：20世紀40年代，研究人員已開始探索大腦神經(jīng)元和突觸網(wǎng)絡背后的數(shù)學原理。心理學領域也為這一領域提供重要線索，神經(jīng)科學家Donald Hebb指出，學習之所以發(fā)生，是因為當神經(jīng)元共同工作時，之間的連接得到加強?？茖W家循著這樣的想法，通過計算機模擬構建人工神經(jīng)網(wǎng)絡，從而重現(xiàn)大腦網(wǎng)絡的功能。在這些模擬中，節(jié)點構成大腦的神經(jīng)元，每個節(jié)點被賦予不同的值，而突觸則由節(jié)點之間的連接表示，赫布定律至今仍作為更新人工神經(jīng)網(wǎng)絡的基本規(guī)則之一。

圖片來源：https://x.com/NobelPrize/status/1843597151848272258

霍普菲爾德網(wǎng)絡（Hopfield Network）：Hopfield網(wǎng)絡聯(lián)想記憶通過所有節(jié)點彼此相連來構建，信息可以從所有節(jié)點輸入和讀取。

玻爾茲曼機（Boltzmann Machine）：玻爾茲曼機由兩個部分構建，一種節(jié)點接受信息，被稱為可見節(jié)點；另一種節(jié)點構成隱藏層，隱藏節(jié)點的值及其連接也會影響整個網(wǎng)絡的能量。機器通過逐一更新節(jié)點值的規(guī)則運行。最終，玻爾茲曼機將進入這樣一種狀態(tài)：節(jié)點的模式可以變化，但網(wǎng)絡的整體性質保持不變。

受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）：受限玻爾茲曼機在同一層的節(jié)點不會相互連接。機器通常是一個接一個地串聯(lián)使用。在訓練完一臺機器后，隱藏節(jié)點的內(nèi)容會用于訓練下一臺機器。

圖片來源：https://x.com/NobelPrize/status/1843589599215370484

Geoffrey Hinton傳奇人生

杰弗里·辛頓（Geoffrey Hinton），1947年出生于英國溫布爾登，2018年圖靈獎得主，英國皇家學會院士，加拿大皇家學會院士，美國國家科學院外籍院士，多倫多大學名譽教授。辛頓于1970年獲得劍橋大學（University of Cambridge）實驗心理學學士學位，于1978年獲得愛丁堡大學（University of Edinburgh）人工智能博士學位。20世紀80年代，辛頓將反向傳播（Backpropagation）算法引入多層神經(jīng)網(wǎng)絡訓練做出重要貢獻，并發(fā)明“玻爾茲曼機”。Geoffrey Hinton與Yoshua Bengio和Yann LeCun并稱為“深度學習三巨頭”，并共同獲得2018年圖靈獎（Turing Award）。

辛頓出生于學術世家，他是19世紀英國數(shù)學家和哲學家喬治?布爾（George Boole）和19世紀書寫美國歷史的外科醫(yī)生詹姆斯?辛頓（James Hinton）的玄孫。喬治?布爾提出的“布爾邏輯”（是一種使用布爾運算符連接各個檢索詞，然后由計算機進行相應邏輯運算，以找出所需信息的方法）為現(xiàn)代計算機提供了數(shù)學基礎。辛頓的堂姐核物理學家瓊安?辛頓（Joan Hinton）是“曼哈頓計劃”（Manhattan Project，20世紀40年代美國為制造原子彈而實施的一項秘密軍事工程）中為數(shù)不多的女性成員之一。其父親是英國皇家學會會員、昆蟲學家霍華德?埃佛勒斯?辛頓（Howard Everest Hinton）。

Geoffrey Hinton家族

在辛頓十幾歲的時候，他對大腦的研究產(chǎn)生了興趣。進入劍橋大學國王學院（King's College, Cambridge）學習后，辛頓很快意識到當時的科學家對大腦的了解并沒有他先前認為的那樣超前?？茖W家了解大腦的某些部分，但他們對所有這些部分如何結合并最終提供視覺、聽覺、記憶和學習思考的能力知之甚少。辛頓嘗試過研究生理學、化學、物理學和心理學，但是都找不到想要的答案。直到畢業(yè)后的那一年，辛頓閱讀了加拿大心理學家唐納德·赫布（Donald Hebb）的《行為組織》(The Organization Of Behavior)一書，該書解釋了讓大腦進行學習的基本生物過程。赫布認為，學習是沿著一系列神經(jīng)元發(fā)射微小電信號的結果，這些電信號引起了物理變化，以一種新的方式將這些神經(jīng)元連接在一起。受此書啟發(fā)，每周辛頓都會在赫布想法提出的基礎上去補充關于大腦工作的見解，這些內(nèi)容恰好與英國政府對人工智能的第一波投資和愛丁堡大學研究生項目的興起相吻合。

赫布（Donald Hebb）與《行為組織》

辛頓畢業(yè)后，先是在倫敦做了一年木匠，之后在父親任教的布里斯托大學（University of Bristol）接受了一份心理學方面的短期工作，并以此為跳板進入愛丁堡大學（The University of Edinburgh）的人工智能項目。在愛丁堡大學期間，辛頓在一間實驗室里贏得一個學習機會，這間實驗室由研究員克里斯托弗·郎吉特-希金斯(Christopher Longest-Higgins)負責。他提出的連接主義（Connectionism）方法與辛頓在伊斯靈頓圖書館（Islington Central Library）記錄在筆記本中的理論相吻合。此時的辛頓在計算機科學方面幾乎沒有經(jīng)驗，對數(shù)學也不感興趣，但是他對于大腦如何工作以及機器如何模仿大腦有著明確的信念。

在辛頓進入愛丁堡大學的第一年，即1971年，英國政府進行一項關于人工智能進展的研究。報告稱，“迄今為止，在該領域任何地方取得的成果都沒有實現(xiàn)當初承諾的重大影響?！币虼?，英國政府對該領域的資金投入被削減，該領域迎來“人工智能的寒冬”，以至于到辛頓完成其論文時，他的研究已經(jīng)處于不斷縮小的邊緣。完成論文后，辛頓尋找工作的過程也十分艱難—只有一所大學為他提供了面試機會。于是辛頓放眼國外，發(fā)現(xiàn)美國的人工智能研究也在減少，因為美國政府也得出與英國相同的結論，并因此減少對大學的資助。

在美國加利福尼亞州南部，辛頓發(fā)現(xiàn)了和他一樣對人工智能發(fā)展感到樂觀的人，他們被稱為PDP小組。PDP是“并行分布式處理”（parallel distributed processing）的縮寫，是“感知機”“神經(jīng)網(wǎng)絡”或“連接主義”的另一種說法。這個小組里有加州大學圣迭戈分校（University of California, San Diego）心理學系的幾位學者，以及神經(jīng)科學家弗朗西斯·克里克（Francis Crick），此人因為發(fā)現(xiàn)了DNA（脫氧核糖核酸）分子結構而獲得諾貝爾獎。在PDP小組中，戴維·魯梅爾哈特（David Rumelhart）教授是核心成員之一，他致力于打造一個多層的神經(jīng)網(wǎng)絡。然而確定每個神經(jīng)元對整體計算的相對重要性（權重）是一個需要攻克的難題。此時尋找將每個權重的設定與其他權重結合的途徑成為必要。魯梅爾哈特認為這個途徑是一個叫“反向傳播（Backpropagation）”的過程，本質上是一種基于微分的算法，當神經(jīng)元能夠分析更多數(shù)據(jù)并更好的理解每個權重含義就會發(fā)送一種數(shù)學反饋，沿著神經(jīng)元的層次結構向下傳遞。

PDP小組核心成員

在隨后的幾年里，辛頓與特里·謝諾夫斯基（普林斯頓大學生物系博士后）建立合作關系，他們通過第二個連接主義者小組會面，這個小組每年在全美各地召開一次會議，討論的話題如玻爾茲曼機以及反向傳播等。而辛頓這種對邊緣想法的重視也給他帶來了新的工作機會。斯科特·法爾曼（Scott Fahlman）與辛頓和謝諾夫斯基一起參加了年度連接主義者大會，法爾曼開始認識到招募辛頓可以成為該大學對沖其在人工智能領域押注的一種方式。1981年，在法爾曼的保薦下，辛頓去卡內(nèi)基梅隆大學面試，并做了兩場講座：一場在心理學系，一場在計算機科學系。他在講座中并沒有刻意強調(diào)數(shù)學和計算機科學，而是更多的鼓勵想法，這讓那些有興趣并且能跟上他思路的人感到莫名的興奮。在卡內(nèi)基梅隆大學（Carnegie Mellon University）辛頓接觸到一臺 Lisp 機器，從而開始編寫程序。在卡耐基梅隆大學工作6年后，辛頓和妻子離開美國前往加拿大。1987年，辛頓被任命為加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）的研究員，參與其首個研究項目 “人工智能、機器人與社會（Artificial Intelligence, Robotics Society）”。1987年至今，辛頓在多倫多大學（University of Toronto）任計算機科學系教授。

2004 年，辛頓及其合作者成功提議在 CIFAR 啟動新項目—神經(jīng)計算與自適應感知（Neural Computation and Adaptive Perception,NCAP），辛頓領導該項目長達十年。2007年，辛頓與他人合作共同撰寫題為《圖像變換的無監(jiān)督學習》（Unsupervised learning of image transformations）論文。2008年，辛頓與勞倫斯?范德馬滕（Laurens van der Maaten）共同開發(fā)可視化方法 t - SNE。

OpenAI前首席科學家、聯(lián)合創(chuàng)始人伊爾亞·蘇茨克維（Ilya Sutskever）就曾師從辛頓，他仍記得2000年前后在辛頓的實驗室工作的時光。當時還是人工智能的“冬季”，辛頓的實驗室只有10個學生，該領域的工作和資金都很匱乏，來自行業(yè)的資助也少得可憐。然而，就像辛頓堅信自己的研究終有用武之地一樣，這群“局外人”堅信自己有一種罕見的洞察力，堅信自己是與眾不同的破局者。2012年，Ilya Sutskever與辛頓在ImageNet競賽中首次引入深度卷積神經(jīng)網(wǎng)絡（AlexNet），標志著深度學習在圖像分類領域實現(xiàn)重大突破。

圖片來源：https://www.wired.com/2013/03/google-hinton/

2013年3月，在辛頓的公司DNNresearch Inc.被谷歌Google收購后，辛頓正式加入谷歌，繼續(xù)進行AI研究。2015年，深度學習三巨頭Yann LeCun、Yoshua Bengio、Geoffrey Hinton在Nature上共同發(fā)表一篇名為Deep Learning的綜述文章，講述深度學習為傳統(tǒng)機器學習帶來的變革。

圖片來源：https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

辛頓在2017年和兩位谷歌工程師取得研究突破—“膠囊神經(jīng)網(wǎng)絡”（Capsule neural networks），與傳統(tǒng)卷積神經(jīng)網(wǎng)絡（CNN）相比，膠囊神經(jīng)網(wǎng)絡在處理圖像識別任務時，能夠更好地捕捉物體的空間關系和姿態(tài)信息。核心思想是使用膠囊來表示圖像中的不同部分，每個膠囊可以包含多個神經(jīng)元，并且能夠學習到物體的特定屬性，如位置、大小、方向等），在業(yè)界再次引起轟動。2022 年，在神經(jīng)信息處理系統(tǒng)會議（NeurIPS）上，辛頓介紹名為“前向-前向” 算法（Forward-Forward，該算法的思路是用兩次前向傳遞過程替代傳統(tǒng)反向傳播的前向-后向傳遞過程，一次使用正（即真實）數(shù)據(jù)，另一次使用可由網(wǎng)絡單獨生成的負數(shù)據(jù)）的神經(jīng)網(wǎng)絡算法。2023 年5月，辛頓從谷歌辭職。同年10月，辛頓加入VayuRobotics顧問委員會，加入該委員會的原因是“將人工智能用于機器人技術的巨大潛力，特別是在機器學習和視覺傳感器的協(xié)同工程方面”。

圖片來源：https://x.com/geoffreyhinton/status/17121715996364351052024年10月，辛頓（Geoffrey Hinton）與約翰?霍普菲爾德（John Hopfield）由于“使機器學習能夠利用人工神經(jīng)網(wǎng)絡所做出的開創(chuàng)性貢獻”共同被授予諾貝爾物理學獎（The Nobel Prize in Physics）。

Geoffrey Hinton十大經(jīng)典文獻

圖片來源：根據(jù)Google Scholar選取Geoffrey Hinton十大經(jīng)典文獻，根據(jù)文獻被引次數(shù)進行排序，至頂智庫整理繪制

參考資料：

[1]凱德?梅茨（Cade Metz）.深度學習革命.北京：中信出版集團，2023-1.

[2]Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024. https://www.nobelprize.org/prizes/physics/2024/hinton/lecture/

[3]https://en.wikipedia.org/wiki/Geoffrey_Hinton

[4]https://discover.research.utoronto.ca/26059-geoffrey-e-hinton

[5]How Canada has emerged as a leader in artificial intelligence. University Affairs,2017-12.

[6]Geoffrey Hinton Biography. CIFAR.

[7]Geoffrey E Hinton-A.M.Turing Award Laureate. amturing.acm.org.

[8]CIFAR - Learning in Machines Brains. CIFAR.

[9]U of T neural networks start-up acquired by Google. Toronto, ON. 2013-3.

[10]https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

[11]Svabour, Sara; Frosst, Nicholas; Hinton, Geoffrey E. Dynamic Routing Between Capsules.2017.

[12]https://www.vayurobotics.com/press-releases/godfather-of-ai-geoffrey-hinton-joins-vayu-robotics-advisory-board.