——一場關(guān)于AI未來的路線之爭正在上演

五年內(nèi)，JEPA會統(tǒng)治大模型。

這是圖靈獎得主楊立昆最近在一個(gè)播客訪談里說的話。

說完后他自己都笑了，有點(diǎn)像在開玩笑。

但其實(shí)，在技術(shù)問題方面這位AI泰斗很少開玩笑。

這期播客他還說了很多讓人震驚的話，而且還把矛頭指向了另一位圖靈獎得主辛頓

從GPT-4開始

事情要從2023年說起。

那年GPT-4橫空出世，整個(gè)行業(yè)都沸騰了。

在此之前，辛頓對LLM的關(guān)注度其實(shí)不高。

但GPT-4出來之后，他的態(tài)度發(fā)生了明顯轉(zhuǎn)變。

他驚訝的說：“天呢，大模型已經(jīng)非常接近人類智能了，未來它們很可能有主觀體驗(yàn)~”

辛頓開始頻繁接受采訪，不斷警告未來AI對人類可能構(gòu)成威脅。

但楊立昆卻不這么認(rèn)為~

他在播客里說的很直白：

“我感覺他就是想擺爛，，然后退休，到處去做關(guān)于AI危險(xiǎn)的演講。”

“其實(shí)很多事情我早在幾年前就說過，辛頓最近才意識到”。

楊立昆、辛頓和本吉奧三人被稱為深度學(xué)習(xí)三巨頭，2018年共同獲得了圖靈獎。

現(xiàn)在，楊立昆認(rèn)為兩位老朋友都變了。

硅谷的“羊群效應(yīng)”

楊立昆不僅對辛頓不認(rèn)可，對整個(gè)AI行業(yè)也同樣存在質(zhì)疑。

他認(rèn)為現(xiàn)在無論大小公司，都在All in AI,大家拼命追逐參數(shù)規(guī)模，應(yīng)用體驗(yàn)，很少有人去研究新的技術(shù)方向。

楊立昆把這種扎堆競爭稱為羊群效應(yīng)。

大家都害怕落后，就算現(xiàn)在有更高效的路線，但企業(yè)們也很難跳出主流方向。

他用了一個(gè)比喻：

現(xiàn)在的OpenAI、Anthropic這些公司，就相當(dāng)于當(dāng)年的Sun Microsystems。

Sun曾經(jīng)是一家很火的技術(shù)公司，但后來被市場淘汰了。

楊立昆認(rèn)為，大模型的局限是內(nèi)生的，隨著規(guī)模擴(kuò)張會逐漸觸達(dá)天花板，平臺最終會往開源和開放化的方向發(fā)展。

JEPA：不預(yù)測像素，預(yù)測規(guī)律

既然楊立昆不認(rèn)可現(xiàn)在的LLM，那么他認(rèn)可的方向是什么？

答案就是他主推的JEPA架構(gòu)。

我來解釋一下這個(gè)概念~

目前大模型的邏輯是“預(yù)測下一個(gè)詞兒”。

例如：輸入一段話后，它會計(jì)算下一個(gè)詞是啥，并以此類推。

但楊立昆認(rèn)為這做不到真正的智能。

他認(rèn)為AI可以把“蘋果會從樹上落下來”這句話背得非常熟，但要是你不給他講重力的概念，他理解不了為啥蘋果會掉下來。

在這方面JEPA的邏輯則有些不同~

它先把信息壓縮成抽象的數(shù)學(xué)表征，然后在這個(gè)抽象空間里預(yù)測事物的運(yùn)動規(guī)律和發(fā)展趨勢。

可以這樣理解：

傳統(tǒng)的邏輯像一個(gè)記憶力很強(qiáng)的人，能記住所有文章。

而JEPA則是一個(gè)能通過觀察自己領(lǐng)悟物理規(guī)律的天才。

不用告訴它具體細(xì)節(jié)，自己看幾次就可以總結(jié)出規(guī)律~

一場誰也不想輸?shù)馁€注

今年年初，楊立昆從工作了12年的Meta離職，創(chuàng)立了AMI實(shí)驗(yàn)室，專門研究世界模型。

目前實(shí)驗(yàn)室已經(jīng)完成了10.3億美元的種子輪，投資方包括多家知名基金和科技大廠。

楊立昆說，AMI不會急著商業(yè)化，計(jì)劃用至少一年的時(shí)間來研究基礎(chǔ)理論，而且承諾大部分研究成果會開源。

對于離開Meta的原因，他表示是公司的重心已經(jīng)向商業(yè)化競爭傾斜，而他認(rèn)為研究應(yīng)該回歸本質(zhì)。

其實(shí)

楊立昆與辛頓的分歧本質(zhì)上是對“什么是智能”的概念有分歧。

一位認(rèn)為通過海量數(shù)據(jù)訓(xùn)練出來的大語言模型已經(jīng)邁出了通往AGI的關(guān)鍵一步，所以需要警惕其風(fēng)險(xiǎn)。

另一位則認(rèn)為這條路根本走不通，真正的智能需要具備對物理世界的理解能力。

至于JEPA能不能在五年內(nèi)統(tǒng)治世界，其實(shí)誰也預(yù)判不了。

如果楊立昆的判斷是對的，那么今天的大模型狂熱，也許真的只是AI歷史上一段不算長的小插曲。

創(chuàng)作：Omni實(shí)驗(yàn)室

哇，你竟然看到了最后，如果文章對您有幫助，歡迎點(diǎn)贊哦~