“
??全世界不會(huì)只有OpenAI一個(gè)大模型，大模型的成本還將進(jìn)一步的降低，使得科技平權(quán)能真正地普惠給每一個(gè)人、每一個(gè)企業(yè)和政府機(jī)構(gòu)，真正的實(shí)現(xiàn)大模型的工業(yè)革命。
??專、小、廉、強(qiáng)正在成為大模型的四大發(fā)展趨勢(shì)。
最近大模型行業(yè)發(fā)生了4件事情，代表了我預(yù)言的四大方向和趨勢(shì)。
第一，Llama3.1發(fā)布最強(qiáng)開(kāi)源模型，超過(guò)了GPT-4、谷歌的Gemini等閉源模型，這說(shuō)明開(kāi)源已經(jīng)開(kāi)始和閉源并駕齊驅(qū)。
第二，Llama3.1發(fā)布不到一天，歐洲的Mistral Large2開(kāi)源模型也發(fā)布了，而且號(hào)稱在幾個(gè)指標(biāo)上都超過(guò)了Llama3.1，同樣也超過(guò)了GPT-4o 。Mistral 開(kāi)源模型的大小連Llama3.1的1/3都不到，它使用的是MOE架構(gòu)，就是一個(gè)大模型，由多個(gè)專家模型組合而成。這說(shuō)明通過(guò)多個(gè)專家模型的聯(lián)合工作，它的能力超過(guò)了規(guī)模比它大很多的大模型，這是第二個(gè)趨勢(shì)，就是專。
第三，GPT-4o上了一個(gè)mini版本，模型更小、性能更強(qiáng)，所以價(jià)格大幅度降低、性價(jià)比超高。跟當(dāng)年的GPT-3相比，兩年內(nèi)模型的成本已經(jīng)降低了99%，這個(gè)模型的能力是從哪里來(lái)的？它實(shí)際上應(yīng)該是對(duì)GPT-4o的能力進(jìn)行了蒸餾和壓縮，使得能力上可以和GPT4相匹敵，但是因?yàn)槟Ｐ偷囊?guī)?？s小了，所以成本就降低了。
這證明了我的第三個(gè)觀點(diǎn)——模型并不是越大越好，還要把模型的成本降下來(lái)，才能真正實(shí)現(xiàn)讓人們更廣泛地接觸AI。如果我們希望AI惠及世界每一個(gè)角落、每個(gè)行業(yè)、每個(gè)應(yīng)用程序，我們就必須讓AI變得更便宜，所以這個(gè)趨勢(shì)代表的是便宜和低成本。
第四件事是蘋(píng)果剛剛發(fā)布了一個(gè)DCLM-7B版本的大模型，把模型權(quán)重訓(xùn)練的數(shù)據(jù)集和訓(xùn)練代碼全都開(kāi)源了，在性能測(cè)試中和Llama3一樣，但計(jì)算量只有Llama3 8B的1/6，這個(gè)模型之所以小，是為了能在筆記本、iPad等終端設(shè)備本地運(yùn)行。看起來(lái)PC和手機(jī)上的端側(cè)大模型要正式開(kāi)戰(zhàn)了。
我們綜合這四個(gè)趨勢(shì)來(lái)看，可以做一個(gè)總結(jié)，就像我這半年的預(yù)言一直鼓吹的那樣，要引發(fā)大模型的工業(yè)革命，必須要讓它從原子彈變成茶葉蛋，把它拉下神壇，如果都像OpenAI那樣搞越做越大的模型，卷越來(lái)越大的算力，誰(shuí)也做不起，最后掙錢(qián)的只有英偉達(dá)。
事實(shí)上這幾個(gè)趨勢(shì)——專、小、廉、強(qiáng)正在成為大模型的四大發(fā)展趨勢(shì)，包括OpenAI都開(kāi)始做小規(guī)模的大模型，降低大模型的使用門(mén)檻，加速工業(yè)革命的到來(lái)。加速工業(yè)革命絕不是做一個(gè)大模型，讓全世界人干什么都用，而是兩條路徑。
一個(gè)是模型進(jìn)入千家萬(wàn)戶，離用戶越來(lái)越近。大模型越做越小、功能越來(lái)越強(qiáng)，上電腦、上手機(jī)、上車(chē)、上機(jī)器人，變得無(wú)處不在。
另一條路就是大模型走入百行千業(yè)。和傳統(tǒng)制造業(yè)、傳統(tǒng)企業(yè)的業(yè)務(wù)緊密地結(jié)合，這個(gè)需要把大模型參數(shù)做小，功能做專、變成專家模型，同時(shí)提高企業(yè)的知識(shí)密度和知識(shí)含量，讓模型的能力不會(huì)因?yàn)樾《档?，反而因?yàn)橛辛烁鼘I(yè)的企業(yè)高純度數(shù)據(jù)、知識(shí)而變得功能更加強(qiáng)大。
同時(shí)在面向消費(fèi)者的公有大模型方面，也出現(xiàn)了把模型做小，把成本降低的趨勢(shì)。這樣使得很多第三方開(kāi)發(fā)者和普通用戶，能夠以普惠的價(jià)格獲得大模型使用的基本體驗(yàn)，實(shí)現(xiàn)大模型的科技平權(quán)。
從各個(gè)方面來(lái)講，我們可以樂(lè)觀地看到大模型的成本還將進(jìn)一步的降低，使得科技平權(quán)能真正的普惠給每一個(gè)人、每一個(gè)企業(yè)和政府機(jī)構(gòu)，真正的實(shí)現(xiàn)大模型的工業(yè)革命。
最后補(bǔ)充一點(diǎn)，扎克伯格最近見(jiàn)了彭博社的記者，在專訪中扎克伯格也表達(dá)了他對(duì)開(kāi)源的信心和對(duì)開(kāi)源生態(tài)的信仰。
他有一個(gè)觀點(diǎn)也支持我的看法，就是全世界不會(huì)只有OpenAI一個(gè)大模型，每個(gè)企業(yè)、每個(gè)政府機(jī)構(gòu)都會(huì)擁有自己大小不一樣的、各種各樣定制的專業(yè)大模型，所以他們發(fā)布的Llama3.1 4000億參數(shù)這個(gè)版本，不僅僅可以讓人免費(fèi)的使用GPT-4同樣的能力，還可以作為一個(gè)教師模型，把它的能力蒸餾提純到客戶自己的小模型上，成為眾多專業(yè)小模型的母體。
中國(guó)要搞自己的大模型發(fā)展之路，我覺(jué)得應(yīng)該扣緊這四個(gè)趨勢(shì)和方向，而不要被OpenAI牽著鼻子轉(zhuǎn)。事實(shí)上OpenAI今天也在痛苦的反思和轉(zhuǎn)型，因?yàn)槿斯ぶ悄苤返降自趺醋?，大家都在摸石頭過(guò)河。
