台山饰良建材有限公司

【世界新視野】GPT會是AI算法模型的終極答案嗎?

過去十年來,人工智能領域經歷了從小模型到以Transformer為代表的大模型的百花齊放。直到ChatGPT橫空出世,才終于將簡潔、易用的“通用人工智能”帶入了大眾視野。英偉達CEO黃仁勛曾多次表示,他相信ChatGPT的誕生,意味著人工智能的iPhone時刻。這款革命性產品的背后,是OpenAI十年磨一劍的GPT系列大模型。


【資料圖】

AI算法模型作為產業的核心環節,其本身的技術路線,將直接決定AI產業鏈最終形態,以及各產業環節的分工協作方式、價值分配結構等。

那么,GPT系列大模型會成為AI算法模型的終極答案嗎?

通過對AI發展技術路線的梳理,中信證券分析師陳俊云、許英博等指出,GPT模型在交互邏輯、內容生成和理解上具備獨特優勢,AI算法模型最終會普遍朝GPT方向靠攏。

AI技術路徑四階段

從人工智能這個概念在1950年被提出開始,已經經歷了從規則學習到機器學習再到神經網絡的關鍵轉變。分析師強調,本輪人工智能的技術突破都是基于在神經網絡技術上的不斷進步。過去10年里,AI模型經歷了從小模型到以Transformer為代表的大模型的轉變。

而細分近十年來模型發展的進步,分析師觀察到了從以CNN、DNN為代表的傳統神經網絡小模型到以Transformer為代表的神經網絡大模型轉變的趨勢。

具體來看,全球AI行業最近10年的發展歷史,可以總結為4個階段:

1)2017年前:

以深度學習為核心的小模型占據主流:這類模型以LSTM及CNN模型作為典型的特征抽取器,根據特定領域標注數據訓練,在一些任務上可以達到接近人類的水準。但是硬件算力不夠導致針對其他領域重新訓練成本過高,讓其通用型任務的完成情況較差。

2)2017年到2020年:

以谷歌Bert為代表的雙向預訓練+FineTuning(微調)的Transformer模型橫空出世成為了人工智能的主流方向。

谷歌研究團隊發表的《Attention is all you need》論文(作者:Ashish Vaswani,Noam Shazeer,Niki Parmar等)開創了Transformer模型,重新統一了自然語言模型 (NLP) 的研究范式。

這類模型以預訓練的方式學習語言學特征,大幅簡化了過去NLP繁瑣的研究種類。Transformer作為特征提取器效果好于CNN、LSTM模型等,在信息容納能力、并行計算等方面明顯占優,讓AI首次能在語言任務的部分場景中追平人類。

3)2020年到2022年:

產業界與學術界繼續沿著Transformer的道路前景,但開始嘗試不同于Bert的其他Transformer架構,通過預訓練無監督學習的方法不斷增加模型體積成為了這一時段的主流。

以1750億參數的GPT-3為代表,各大互聯網巨頭不斷嘗試增加模型體積以獲得更好的效果。

GPT-3為代表的自回歸+Prompting的方法開始展現產品化能力的優越性,與Fine-tuning方法的Bert模型成為兩條道路。

相比于Bert,GPT-3的自回歸+Prompting在產品化能力展現出了兩個優點:

Fine-tuning對于小公司更難部署,從產品化的角度上更加困難;Prompting的方法更符合我們對以人類的方式使用AI的愿望,并實現了人、模型之間的自然交互。

谷歌等巨頭在這一階段也意識到了Prompting方法的重要性,逐漸開始轉向。

國內AI研究在這一段時間內出現了明顯落后,仍然沿著Bert模型的方向繼續前進,對GPT-3的研究很少;同時受制于中文優質語料的缺乏,模型大小也較難提升。

4)2022年至今:

ChatGPT的成功證明了GPT模型的Prompting道路的正確性,同時也強調了數據質量的重要性。

ChatGPT最重要的成功是在產品化上更進一步:ChatGPT在模型精度上并沒有飛躍性的突破,但從Few Shot prompt(需要輸入少量范例示范)轉換到Instruct(用人類語言描述想做什么)更加貼合用戶的習慣。

GPT更接近“通用人工智能”

分析師總結稱,盡管Prompting雖然犧牲了部分精度,但無需用任務區分器區別不同的任務,更接近于大眾所理解的“通用人工智能”。

此前大眾此前接觸的人工智能如·Siri、小愛、小度音箱等,通過以任務分類的形式運行,準備不同任務的標注數據分別進行訓練,是傳統的Bert類模型。

簡單來說,將預先設置好的任務類型放于模型背后,使用者通過描述任務類型系統來匹配對應的模塊,缺點是使用者的指令需要清晰且無法執行沒有預先設置的任務類型。

而GPT類模型面對用戶不同的輸入,模型可以自行判斷給了用戶更好的體驗,這也更接近于大眾理解的“通用人工智能”。

華爾街見聞此前多次提及,除了文字領域,LLM(大語言模型)已經被應用于圖像、音視頻等場景的問題求解中,并不斷取得理想的效果。

而在LLM模型的技術路線上,GPT在內容生成、理解上的良好表現,以及更為可行的人、模型交互方式(prompt提示詞),讓GPT有望成為算法模型的終極答案。

本文主要觀點來自中信證券陳俊云(執業:S1010517080001)等發布的報告《GPT 會是 AI 算法模型的終極答案嗎?》,有刪節

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞: