最近，關(guān)于Scaling Law是否失效的討論居高不下。 

起因是The Information、路透社和彭博社接連爆出LLM進(jìn)展放緩，Scaling Law撞墻。

The Information表示，據(jù)OpneAI內(nèi)部人員透露，GPT系列模型更新緩慢，即將推出的下一代旗艦?zāi)Ｐ蚈rion并沒有實(shí)現(xiàn)質(zhì)的飛躍，雖然性能上超過了以往模型，但相較于從GPT-3到GPT-4的迭代，改進(jìn)幅度縮小，OpenAI正在轉(zhuǎn)變策略。

路透社也發(fā)文表示，由于當(dāng)前方法受到限制，OpenAI和其他公司正在尋求通向更智能AI的新途徑。

隨后，彭博社也出來拱火，認(rèn)為OpenAI、谷歌、Anthropic三家AI公司，在新模型開發(fā)上的付出與回報(bào)的差額正在逐漸擴(kuò)大。

報(bào)道稱，谷歌即將推出的新版Gemini并未達(dá)到內(nèi)部預(yù)期，Anthropic也推遲了備受期待的Claude 3.5「超大杯」Opus的發(fā)布時(shí)間。

盡管，后面山姆.奧特曼親自下場辟謠：沒有墻。微軟AI主管Mustafa Suleyman也表示，不會(huì)有任何放緩。

但不爭的事實(shí)是，模型界“三巨頭”在預(yù)訓(xùn)練方面接連碰壁，模型發(fā)展遇到瓶頸。Scaling Law的邊界真的已經(jīng)到來了嗎？

一、暴力美學(xué)失效

Scaling Law也稱尺度定律，被業(yè)界認(rèn)為是大模型預(yù)訓(xùn)練第一性原理。

2020年，OpenAI發(fā)布論文“Scaling Laws for Neural Language Models”，首次發(fā)現(xiàn)模型參數(shù)量、數(shù)據(jù)集大小、訓(xùn)練計(jì)算量的關(guān)系，即三者中任何一個(gè)因素受限時(shí)，Loss與其之間存在冪律關(guān)系，其中一些趨勢跨越了超過七個(gè)數(shù)量級。

也就是說，模型能力會(huì)隨著參數(shù)量的增加而不斷提升。OpenAI沿著這個(gè)思路也確實(shí)大獲成功，在論文發(fā)布四個(gè)月后，GPT3問世，再到2022年ChatGPT上線，后面的故事大家都已經(jīng)清楚。

從GPT3到GPT4，從Gemini到Claude，Scaling Law的暴力美學(xué)被一次次證明其正確性。

不過，隨著模型參數(shù)不斷增加，對數(shù)據(jù)量的需求也是指數(shù)級增長，人類互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)遲早有一天會(huì)被大模型“吞噬”，只是這一天來得如此之快。

The Information指出，OpenAI下一代ChatGPT 5的訓(xùn)練出現(xiàn)了重大瓶頸，原因之一是高質(zhì)量文本數(shù)據(jù)越來越少。

下一代要發(fā)布的旗艦?zāi)Ｐ蚈rion，在預(yù)訓(xùn)練階段只用了20%的訓(xùn)練量，就達(dá)到了GPT4的水平，能力上升的很快，但OpenAI的研究者發(fā)現(xiàn)，后邊增加訓(xùn)練量，Orion的水平提升卻很慢很微小，沒有實(shí)現(xiàn)從GPT3到GPT4的質(zhì)得飛躍，這或許也是OpenAI并沒有將Orion命名為GPT5的原因。

谷歌和Anthropic也面臨著相同的問題，谷歌的下一代Gemini 模型表現(xiàn)低于內(nèi)部預(yù)期，Anthropic Claude 3.5 Opus 的發(fā)布也將推遲。

國內(nèi)，10月初，就有消息傳出，“AI六小虎”中已經(jīng)有兩家公司已經(jīng)決定逐步放棄預(yù)訓(xùn)練模型，近期又有消息指出，仍在繼續(xù)預(yù)訓(xùn)練的公司只剩下智譜AI和MiniMAX，其他包括月之暗面、百川只能在內(nèi)的公司都已經(jīng)放棄預(yù)訓(xùn)練。

除了這些AI初創(chuàng)公司，國內(nèi)的BAT包括字節(jié)這些大廠對預(yù)訓(xùn)練的進(jìn)展并沒有披露過多，都在卷向應(yīng)用層。

實(shí)際上，國內(nèi)模型廠商轉(zhuǎn)向應(yīng)用也從側(cè)面印證了大模型Scaling Law目前存在的困境。

LLM除了吞噬了大量的數(shù)據(jù)外，在訓(xùn)練過程中所消耗的大量算力、電力等能源也成為嚴(yán)重阻礙，此外更為重要的是，超大規(guī)模的前期投入與收益無法匹配，ROI過低。

OpenAI研究者Noam Brown前段時(shí)間曾公開表示，更先進(jìn)的模型可能在經(jīng)濟(jì)上不可行?！爱吘梗覀冋娴囊ㄙM(fèi)數(shù)千億美元或數(shù)萬億美元訓(xùn)練模型嗎？”Brown 說，“在某個(gè)時(shí)候，scaling 范式會(huì)崩潰?！?/p>

超大規(guī)模語言模型的預(yù)訓(xùn)練過程極其耗費(fèi)資源，通常需要數(shù)十萬張GPU并行運(yùn)行數(shù)月之久，單次訓(xùn)練成本可達(dá)數(shù)千萬至數(shù)億美元。例如，擁有1.8萬億參數(shù)的ChatGPT 4模型，其單次訓(xùn)練費(fèi)用大約為6300萬美元。

然而盡管投入巨大，這些新模型在性能上的提升卻與之前的模型性能所差無幾，這種情況下，大模型公司下一輪的融資故事恐怕難以講下去。

目前，以O(shè)penAI為代表的初創(chuàng)企業(yè)，現(xiàn)在并沒有跑通商業(yè)模式，投資人的錢也不是大風(fēng)刮來的，如果長時(shí)間看不到回報(bào)，他們對繼續(xù)投資的態(tài)度肯定會(huì)更加謹(jǐn)慎。畢竟，沒有那個(gè)投資人原意一直當(dāng)“冤大頭”。在這種情況下，國內(nèi)大模型行業(yè)整體轉(zhuǎn)向了更符合商業(yè)利益的做法——做AI應(yīng)用。

另外從技術(shù)角度看，整個(gè)AI行業(yè)還有另一個(gè)轉(zhuǎn)向——從預(yù)訓(xùn)練向推理轉(zhuǎn)向。

Scaling Law的忠實(shí)追隨者OpenAI前首席科學(xué)家Ilya Sutskever，在最近接受路透社采訪時(shí)表示，擴(kuò)大預(yù)訓(xùn)練的結(jié)果已經(jīng)達(dá)到了平臺(tái)期。

“現(xiàn)在重要的是「擴(kuò)大正確的規(guī)?！埂彼硎?，“2010年代是scaling的時(shí)代，現(xiàn)在，我們再次回到了奇跡和發(fā)現(xiàn)的時(shí)代。每個(gè)人都在尋找下一個(gè)奇跡。”

二、大廠轉(zhuǎn)向推理層，尋找新的Scaling Law

面對大模型Scaling Law降速的事實(shí)，各巨頭紛紛尋找新的擴(kuò)展定律。

事實(shí)上，目前討論的Scaling Law撞墻更多的是指預(yù)訓(xùn)練擴(kuò)展定律（Pre-training Scaling Law），也就是上文討論的大模型暴力美學(xué)。

但是有關(guān)后訓(xùn)練和推理的Scaling Law還未被充分挖掘，這也是諸多大佬認(rèn)為Scaling Law沒有失效的重要原因。

后訓(xùn)練擴(kuò)展定律（Post-training Scaling Law）與傳統(tǒng)的預(yù)訓(xùn)練擴(kuò)展定律不同，關(guān)注的是在模型訓(xùn)練完成后，如何通過增加推理階段的計(jì)算量來提升模型性能。

后訓(xùn)練擴(kuò)展定律表明，即使模型參數(shù)保持不變，通過增加推理階段的計(jì)算量，也可以顯著提升模型的性能

而推理擴(kuò)展定律（Inference Scaling Law）則強(qiáng)調(diào)在推理階段通過增加計(jì)算資源來提升模型性能的原則。

提到這兩個(gè)定律，不得不提到測試時(shí)計(jì)算（test-timi compute ），測試時(shí)計(jì)算可以被看做是實(shí)現(xiàn)后訓(xùn)練擴(kuò)展定律和推理擴(kuò)展定律的關(guān)鍵手段。

那么什么是測試時(shí)計(jì)算？

測試時(shí)計(jì)算是一種在模型推理階段通過優(yōu)化計(jì)算資源分配來提高模型性能的方法。與預(yù)訓(xùn)練相比，測試時(shí)計(jì)算借助強(qiáng)化學(xué)習(xí)、原生思維鏈和更長的推理時(shí)間，能夠在面對復(fù)雜問題時(shí)，能夠智能地分配計(jì)算資源，用最經(jīng)濟(jì)的成本提供更高效和準(zhǔn)確的答案。

OpenAI推出的O1推理模型正是靠測試時(shí)計(jì)算實(shí)現(xiàn)的。即在訓(xùn)練好的O1模型回答問題時(shí)，也就是在推理階段，給他更多時(shí)間和算力，讓它自己從自己的回復(fù)中得到更好的答案。

在OpenAI提供的O1模型后訓(xùn)練階段的縮放定律圖標(biāo)顯示，隨著強(qiáng)化學(xué)習(xí)時(shí)間和推理思考時(shí)間的增長，O1模型性能得到顯著提升。

不僅OpenAI，微軟CEO Satya Nadella在微軟Ignite大會(huì)上也直言，看到了“測試時(shí)計(jì)算”新的擴(kuò)展規(guī)律的出現(xiàn)，并表示微軟Copilot的 "深入思考"功能也是利用這一規(guī)律來解決更難的問題。

實(shí)際上，OpenAI O1模型的推出將預(yù)訓(xùn)練Scaling Law范式帶向了推理層的Scaling Law，國內(nèi)企業(yè)也紛紛追隨OpenAI腳步上線推理模型。

這兩天，國內(nèi)DeepSeek扔出重磅炸彈，上線了全新的推理模型 DeepSeek-R1-Lite-Preview，性能直逼O1。背后也同樣是推理層的Scaling Law在發(fā)揮作用。

DeepSeek-R1在數(shù)學(xué)和編程方面與O1-preview相當(dāng)，甚至在一些競賽中已經(jīng)領(lǐng)先O1。

DeepSeek之所以能有如此強(qiáng)勢的推理能力，很重要的一點(diǎn)就是他們采用了超長推理時(shí)間。官方表示，DeepSeek R1 系列模型推理過程包含大量反思和驗(yàn)證，思維鏈長度可達(dá)數(shù)萬字。隨著思考長度的增加，模型性能在穩(wěn)步提升。

最近，一反常態(tài)的月之暗面，也在成立一周年之際，向外界公布了其數(shù)學(xué)模型k0-math的進(jìn)展情況，要知道此前月之暗面的唯一核心在C端產(chǎn)品Kimi身上。

據(jù)了解，k0-math采用了強(qiáng)化學(xué)習(xí)和思維鏈推理技術(shù)，也是Open AI o1系列背后的關(guān)鍵技術(shù)。

楊植麟早已預(yù)見，隨著訓(xùn)練數(shù)據(jù)達(dá)到上限，推理層的Scaling Law想象空間更大，也因此在推理模型上早早準(zhǔn)備并上線。他表示，Open AI o1的變化其實(shí)可以預(yù)測，接下來會(huì)越來越關(guān)注基于強(qiáng)化學(xué)習(xí)（RL）的方法去“Scale”。

國內(nèi)還有阿里、昆侖萬維等也都上線了相關(guān)的推理大模型產(chǎn)品，無論從技術(shù)實(shí)現(xiàn)角度還是可落地性角度，Scaling Law已經(jīng)從預(yù)訓(xùn)練向推理層轉(zhuǎn)向。

結(jié)尾

大模型預(yù)訓(xùn)練的Scaling Law之所以能跑出來，是因?yàn)樵诋?dāng)時(shí)的條件下，這是投入與回報(bào)最佳的Scale up路線。 

然而，站在歷史角度上看，每個(gè)技術(shù)曲線的Scaling law都有其壽命，不存在一招吃遍天下的情況。

正如摩爾定律最初定義的是集成電路中晶體管數(shù)量每兩年翻一番，但隨著時(shí)間的推移，這一規(guī)律在新技術(shù)的推動(dòng)下不斷擴(kuò)展，成為廣義摩爾定律，甚至超越之前的發(fā)展速度一樣。

在AI領(lǐng)域，雖然短期內(nèi)可能會(huì)遇到技術(shù)瓶頸或成本效益比下降的問題，但從長遠(yuǎn)來看，AI的軟硬件能力仍然會(huì)以每十年六個(gè)數(shù)量級的速度呈指數(shù)增長。

這種增長將通過多種創(chuàng)新路徑得以實(shí)現(xiàn)，包括但不限于算法優(yōu)化、硬件加速、新型計(jì)算架構(gòu)等，共同維持AI技術(shù)的快速發(fā)展趨勢。

即使Scaling Law真的撞墻，前代技術(shù)的商業(yè)化應(yīng)用紅利依然會(huì)持續(xù)很久。