這些表情符號描述的是什么電影？

該提示是 2022 年選擇用于測試各種大型語言模型（LLMs）能力的 204 個任務之一——ChatGPT 等 AI 聊天機器人背后的計算引擎。最簡單的 LLMs 產生了超現實的反應。

(資料圖片僅供參考)

「這部電影是一部關于一個男人的電影?！挂粋€簡單模型開始說道。中等復雜度的模型的答案接近了，猜測表情符號電影。但最復雜的模型在一次猜測中就成功了：《海底總動員》。

「盡管試圖期待驚喜，但我對這些模型可以做的事情感到驚訝?！箮椭M織測試的谷歌研究院計算機科學家 Ethan Dyer 說。令人驚訝的是，這些模型應該有一個指令：接受一串文本作為輸入，并預測接下來會發生什么，一遍又一遍，完全基于統計數據。計算機科學家預計，擴大規模會提高已知任務的性能，但他們沒想到這些模型會突然處理這么多新的、不可預測的任務。

Dyer 所做的一項近期調查表明，LLMs 可以產生數百種「涌現」能力——大型模型可以完成而小型模型無法完成的任務，其中許多似乎與文本分析無關。它們的范圍從乘法到生成可執行的計算機代碼，再到顯然是基于表情符號解碼電影。

新的分析表明，對于某些任務和某些模型，存在一個復雜性閾值，超過該閾值，模型的功能就會猛增。（他們還提出了一個黑暗的反面：隨著復雜性的增加，一些模型在他們的反應中揭示了新的偏見和不準確之處。）

斯坦福大學計算機科學家 Rishi Bommasani 說：「在我所知道的任何文獻中，從未討論過語言模型可以做這些事情?！谷ツ?，他幫助編制了一份包含數十種突發行為的清單，其中包括 Dyer 項目中確定的幾種行為。該列表繼續增長。

現在，研究人員不僅競相確定額外的突發能力，而且還想弄清楚它們發生的原因和方式——本質上是試圖預測不可預測性。理解涌現可以揭示圍繞人工智能和機器學習的深層問題的答案，比如復雜模型是否真的在做一些新的事情，或者只是變得非常擅長統計。它還可以幫助研究人員利用潛在的好處并減少緊急風險。

AI 初創公司 Anthropic 的計算機科學家 Deep Ganguli 說：「我們不知道如何判斷哪種應用程序會產生危害，是順利發生還是不可預測?！?/p>

The Emergence of Emergence

生物學家、物理學家、生態學家以及其他科學家使用「涌現（Emergence）」一詞來描述當大量事物作為一個整體行動時出現的自組織集體行為。無生命原子的組合產生了活細胞；水分子產生波浪；八哥的低語以不斷變化但可識別的模式掠過天空；細胞使肌肉運動和心臟跳動。

至關重要的是，涌現能力出現在涉及許多獨立部分的系統中。但研究人員直到最近才能夠在 LLMs 中記錄這些能力，因為這些模型已經發展到巨大的規模。

語言模型已經存在了幾十年。直到大約五年前，最強大的還是基于所謂的循環神經網絡。這些基本上采用一串文本并預測下一個單詞是什么。使模型「循環」的原因在于它從自己的輸出中學習：它的預測反饋到網絡中以提高未來的性能。

2017 年，Google Brain 的研究人員推出了一種稱為 Transformer 的新型架構。當循環網絡逐字分析句子時，Transformer 會同時處理所有單詞。這意味著 Transformer 可以并行處理大量文本。

通過增加模型中的參數數量以及其他因素，Transformers 能夠快速擴大語言模型的復雜性。這些參數可以被認為是單詞之間的連接，并且模型通過在訓練期間通過文本攪動時調整這些連接來改進。模型中的參數越多，它就能越準確地建立聯系，它就越接近于模仿人類語言。正如預期的那樣，OpenAI 研究人員在 2020 年進行的一項分析發現，模型隨著規模的擴大而提高了準確性和能力。

但 LLMs 的首次亮相也帶來了一些真正意想不到的東西。隨著具有 1750 億個參數的 GPT-3 或可擴展到 5400 億個參數的 Google PaLM 等模型的出現，用戶開始描述越來越多的緊急行為。一位 DeepMind 工程師甚至報告說能夠說服 ChatGPT 它是一個 Linux 終端，并讓它運行一些簡單的數學代碼來計算前 10 個素數。值得注意的是，它可以比在真正的 Linux 機器上運行相同的代碼更快地完成任務。

與電影表情符號任務一樣，研究人員沒有理由認為為預測文本而構建的語言模型會令人信服地模仿計算機終端。這些突發行為中的許多都說明了「零樣本」或「少量樣本」學習，這描述了 LLMs 解決以前從未（或很少）遇到的問題的能力。Ganguli 說，這一直是人工智能研究的長期目標。他說，證明 GPT-3 可以在零樣本設置中無需任何明確訓練數據的情況下解決問題，「這讓我放棄了我正在做的事情，更多地參與其中?！?/p>

他并不孤單。大量研究人員發現了 LLMs 可以超越其訓練數據限制的第一個跡象，他們正在努力更好地了解涌現是什么樣子以及它是如何發生的。第一步是徹底記錄它。

超越模仿

2020 年，Dyer 和谷歌研究院的其他人預測 LLMs 將產生變革性影響——但這些影響是什么仍然是一個懸而未決的問題。因此，他們要求研究界提供困難和多樣化任務的示例，以繪制 LLMs 可以做什么的外部限制。這項工作被稱為 Beyond the Imitation Game Benchmark (BIG-bench) 項目，借用了 Alan Turing 的「模仿游戲」的名稱，測試計算機是否能夠以令人信服的人類方式回答問題。（這后來被稱為圖靈測試。）該小組對 LLMs 突然獲得以前完全沒有的新能力的例子特別感興趣。

「我們如何理解這些急劇轉變是一個重要的研究問題。」Dyer說。

正如人們所預料的那樣，在某些任務中，隨著復雜性的增加，模型的性能會平穩且可預測地提高。而在其他任務上，擴大參數數量并沒有產生任何改善。但對于大約 5% 的任務，研究人員發現了他們所謂的「突破」——在某個閾值范圍內，性能出現了快速、戲劇性的跳躍。該閾值因任務和模型而異。

例如，參數相對較少（只有幾百萬）的模型無法成功完成三位數的加法或兩位數的乘法問題，但對于數百億參數，某些模型的準確性會飆升。其他任務也發生了類似的跳躍，包括解碼國際音標、解讀單詞的字母、識別印地語（印地語和英語的組合）段落中的冒犯性內容，以及生成與斯瓦希里語諺語類似的英語等價物。

但研究人員很快意識到，模型的復雜性并不是唯一的驅動因素。如果數據質量足夠高，一些意想不到的能力可以從參數較少的較小模型中獲得——或者在較小的數據集上訓練。此外，查詢的措辭方式會影響模型響應的準確性。例如，當 Dyer 和他的同事使用多項選擇格式來安排電影表情符號任務時，準確性的提高不是突然的跳躍，而是隨著復雜性的增加而逐漸增加。2022 年，在該領域的旗艦會議 NeurIPS 上發表的一篇論文中，Google Brain 的研究人員展示了一個模型提示自我解釋（一種稱為鏈式思維推理的能力）如何正確解決數學單詞問題，而沒有提示的相同模型則不能。

Google Brain 的科學家 Yi Tay 致力于突破的系統研究，他指出最近的研究表明，思維鏈提示改變了縮放曲線，從而改變了出現的點。在他們的 NeurIPS 論文中，谷歌研究人員表明，使用思維鏈提示可以引發 BIG-bench 研究中未發現的緊急行為。此類要求模型解釋其推理的提示可能有助于研究人員開始調查出現的原因。

布朗大學研究語言計算模型的計算機科學家 Ellie Pavlick 說，最近的這些發現至少表明了出現出現的兩種可能性。一是，正如與生物系統的比較所表明的那樣，更大的模型確實會自發地獲得新的能力?！负芸赡苁窃撃Ｐ蛯W到了一些根本上新的和不同的東西，而這些東西在較小的尺寸上是沒有的。」她說，「這就是我們都希望的情況，當模型按比例放大時會發生一些根本性的轉變。」

她說，另一種不那么聳人聽聞的可能性是，看似突發的事情可能反而是內部統計驅動過程的頂點，該過程通過思維鏈式推理起作用。大型 LLMs 可能只是在學習啟發式方法，而這些啟發式方法對于那些參數較少或數據質量較低的人來說是遙不可及的。

但是，她說，找出這些解釋中的哪一個更有可能取決于更好地理解 LLMs 的工作原理?！赣捎谖覀儾恢浪鼈冊谝嫔w下是如何工作的，所以我們無法說出其中發生了哪些事情?！?/p>

不可預測的能力和陷阱

要求這些模型自我解釋存在一個明顯的問題：他們是臭名昭著的騙子?！肝覀冊絹碓揭蕾囘@些模型來完成基礎工作?！笹anguli 說，「但我不僅僅相信這些。我檢查他們的工作?！?作為許多有趣的例子之一，谷歌在二月份推出了它的人工智能聊天機器人 Bard。宣布新工具的博客文章顯示 Bard 犯了一個事實錯誤。

出現導致不可預測性，而不可預測性——似乎隨著規模擴大而增加——使研究人員難以預測廣泛使用的后果。

「很難提前知道這些模型將如何使用或部署?！笹anguli 說，「要研究突發現象，你必須考慮一個案例，在研究規模的影響之前，你不會知道可能會出現什么能力或限制。」

在 2022 年 6 月發布的 LLMs 分析中，Anthropic 的研究人員研究了這些模型是否會表現出某些類型的種族或社會偏見，與之前在非基于 LLMs 的算法中報告的那些不同，這些算法用于預測哪些前罪犯可能會再次犯罪。該研究的靈感來自一個與涌現直接相關的明顯悖論：隨著模型在擴大規模時提高性能，它們也可能增加不可預測現象的可能性，包括那些可能導致偏見或傷害的現象。

「某些有害行為會在某些模型中突然出現?！笹anguli 說。他指出了最近對 LLMs 的分析，稱為 BBQ 基準，該分析表明社會偏見隨著大量參數的出現而出現?！父蟮哪Ｐ屯蝗蛔兊酶衅??！顾f，如果不能解決這一風險，可能會危及這些模型的主題。

但他提出了一個相反的觀點：當研究人員簡單地告訴模型不要依賴刻板印象或社會偏見時——實際上是通過輸入這些指令——模型在其預測和反應中的偏見較小。這表明一些涌現的特性也可用于減少偏差。在今年 2 月份發布的一篇論文中，Anthropic 團隊報告了一種新的「道德自我修正」模式，在這種模式下，用戶提示程序是有幫助的、誠實的和無害的。

Ganguli 說，出現既揭示了驚人的潛力，也揭示了不可預測的風險。這些大型 LLMs 的應用已經激增，因此更好地理解這種相互作用將有助于利用語言模型能力的多樣性。

「我們正在研究人們實際上是如何使用這些系統的?！笹anguli 說， 但這些用戶也在不斷地修補，「我們花了很多時間與我們的模型聊天。這實際上是你開始獲得關于信任或缺乏信任的良好直覺的地方?！?/p>

作者：人工智能學家，來源：人工智能學家，原文標題：《AI大模型出現了人們不可預測的能力》

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

關鍵詞：