最近在許多美國(guó)開(kāi)發(fā)者的口中，一個(gè)開(kāi)源模型經(jīng)常被提及，它的發(fā)音聽(tīng)起來(lái)是“困”。乍一聽(tīng)到總讓人一頭霧水。哪個(gè)開(kāi)發(fā)者天天用中文說(shuō)困啊。
其實(shí)，這就是阿里的開(kāi)源模型通義千問(wèn)，這個(gè)取自拼音縮寫的名字Qwen，被老外自成一體給了一個(gè)新發(fā)音。
除了Qwen，還有好幾個(gè)國(guó)產(chǎn)開(kāi)源大模型在海外激戰(zhàn)正酣，并且頻繁刷新各項(xiàng)benchmarks，呼聲和反響甚至比在國(guó)內(nèi)還高。這些來(lái)自中國(guó)團(tuán)隊(duì)的開(kāi)源模型們不僅不“困”還進(jìn)展飛速。
Stability AI研究主管Tanishq Mathew Abraham干脆發(fā)文提醒道：“許多最具競(jìng)爭(zhēng)力的開(kāi)源大模型，包括Owen、Yi、InternLM、Deepseek、BGE、CogVLM 等正是來(lái)自中國(guó)。關(guān)于中國(guó)在人工智能領(lǐng)域落后的說(shuō)法完全不屬實(shí)。相反，他們正在為生態(tài)系統(tǒng)和社區(qū)做出重大貢獻(xiàn)?！?/p>
那到底現(xiàn)如今，中國(guó)的開(kāi)源大模型們厲害到什么程度？下面逐一來(lái)看。
5月9日，阿里云正式發(fā)布地表最強(qiáng)中文開(kāi)源大模型通義千問(wèn)2.5。相較上一版本，2.5版模型的理解能力、邏輯推理、指令遵循、代碼能力分別提升9%、16%、19%、10%，中文語(yǔ)境下性能“全面趕超 GPT-4”。
上月底，團(tuán)隊(duì)剛開(kāi)源了Qwen1.5系列首個(gè)千億參數(shù)級(jí)別模型Qwen1.5-110B，能處理 32K tokens 上下文長(zhǎng)度，支持英、中、法、西、德等多種語(yǔ)言。技術(shù)上采用Transformer架構(gòu)，并具有高效的分組查詢注意力機(jī)制?；A(chǔ)能力可逼近Meta-Llama3-70B和Mixtral-8x22B，在MT-Bench和AlpacaEval 2.0的聊天場(chǎng)景評(píng)估中也表現(xiàn)出色。
Liquid AI高級(jí)機(jī)器學(xué)習(xí)科學(xué)家Maxime Labonne看了表示：“太瘋狂了。Qwen1.5-110B在 MMLU 上的得分竟然高于'性能野獸’ Llama 3 70B的instruct版本。 微調(diào)后它將有可能成為最強(qiáng)開(kāi)源SOTA模型，至少能和Llama 3媲美?！?/p>
Qwen1.5-110B還曾憑實(shí)力登頂Hugging Face 開(kāi)源大模型榜首。
實(shí)際上，自從通義千問(wèn)去年8月宣布“全模態(tài)、全尺寸”開(kāi)源路線以來(lái)，就開(kāi)始馬不停蹄地迭代狂飆，強(qiáng)勢(shì)闖入海外AI開(kāi)發(fā)者社區(qū)的視野。
為滿足不同場(chǎng)景需求，通義一共推出橫跨5億到1100億參數(shù)規(guī)模的八款大模型，小尺寸如0.5B、1.8B、4B、7B、14B可以在端側(cè)設(shè)備便捷部署；大尺寸如72B、110B能支持企業(yè)和科研級(jí)應(yīng)用；而32B的中等尺寸則力求在性能、效率和內(nèi)存之間找到最佳性價(jià)比。
在各種尺寸的靈活選擇下，通義千問(wèn)其它參數(shù)的模型性能也好評(píng)如潮。
其中Qwen-1.5 72B曾在業(yè)界兵家必爭(zhēng)之地：LMSYS Org推出的基準(zhǔn)測(cè)試平臺(tái)Chatbot Arena上奪冠，Qwen-72B也多次進(jìn)入“盲測(cè)”對(duì)戰(zhàn)排行榜全球前十。
推特大V 、Abacus.AI公司創(chuàng)始人和首席執(zhí)行官Bindu Reddy直接掛出Qwen-72B的基準(zhǔn)測(cè)試成績(jī)興奮地說(shuō)：“開(kāi)源的 Qwen-72B 在一些benchmarks上擊敗了 GPT-4！中國(guó)正在回?fù)衾_美國(guó)的AI公司壟斷！加入全球開(kāi)源革命吧！”
另有網(wǎng)友指出Qwen-72B基礎(chǔ)模型在VMLU ，也就是越南語(yǔ)版本的MMLU上無(wú)需微調(diào)、開(kāi)箱即用，即可達(dá)到與 GPT-4 相同分?jǐn)?shù)的最先進(jìn)水平。
較小參數(shù)的Qwen家族成員更是備受歡迎。
在Hugging Face平臺(tái)上，Qwen1.5-0.5B-Chat和CodeQwen1.5-7B-Chat- GGUF上月分別獲得22.6萬(wàn)次和20萬(wàn)次下載量。包括Qwen1.5-1.8B和Qwen1.5-32B在內(nèi)的5個(gè)模型上月下載量都在10萬(wàn)次以上。（總共發(fā)布76個(gè)模型版本，也真的堪稱行業(yè)勞模。）
我們還注意到，在今天很多的對(duì)模型性能進(jìn)行分析的論文中，Qwen也幾乎成為必選的分析標(biāo)的，成為開(kāi)發(fā)者和研究者默認(rèn)的最有代表性的模型之一。
5月6日，私募巨頭幻方量化旗下的AI公司深度求索發(fā)布全新第二代MoE大模型DeepSeek-V2，模型論文雙開(kāi)源。
其性能在AlignBench排行榜中位列前三，超過(guò)GPT-4且接近GPT-4-Turbo。MT-Bench中屬于頂尖級(jí)別，與LLaMA3-70B比肩，遠(yuǎn)勝M(fèi)ixtral 8x22B。支持 128K 的上下文窗口，專精于數(shù)學(xué)、代碼和推理任務(wù)。
除了采用MoE架構(gòu)，DeepSeek V2還創(chuàng)新了Multi-Head Latent Attention機(jī)制。在總共 236B 參數(shù)中，僅激活21B 用于計(jì)算。計(jì)算資源消耗僅為L(zhǎng)lama 3 70B 的五分之一，GPT-4 的二十之一。
除了高效推理，最炸裂的是，它實(shí)在太物美價(jià)廉了。
DeepSeek V2在能力直逼第一梯隊(duì)閉源模型的前提下， API定價(jià)降到每百萬(wàn)tokens輸入1元、輸出2元（32K上下文），僅為L(zhǎng)lama3 70B七分之一，GPT-4 Turbo的近百分之一，完全就是價(jià)格屠夫。
便宜歸便宜，DeepSeek卻并不賠錢。 它在 8 x H800 GPU 的機(jī)器上可以實(shí)現(xiàn)每秒5萬(wàn)tokens峰值吞吐。按輸出API 價(jià)格計(jì)算，相當(dāng)于每個(gè)節(jié)點(diǎn)每小時(shí)收入50.4 美元。國(guó)內(nèi) 8xH800 節(jié)點(diǎn)的成本約 15 美元/小時(shí)，因此假設(shè)利用率完美，DeepSeek 每臺(tái)服務(wù)器每小時(shí)的利潤(rùn)高達(dá) 35.4 美元，毛利率可達(dá) 70% 以上。
另外DeepSeek平臺(tái)還提供與OpenAI兼容的 API，注冊(cè)就送500萬(wàn)tokens。
——高效、好用、擊穿地板的價(jià)位，不正是開(kāi)源社區(qū)迫切需要的嗎？
這直接引起權(quán)威半導(dǎo)體研究和咨詢公司SemiAnalysis高度關(guān)注，5月7日發(fā)長(zhǎng)文點(diǎn)名DeepSeek V2是“東方崛起的神秘力量”，憑超高性價(jià)比對(duì)其它模型實(shí)現(xiàn)“經(jīng)濟(jì)學(xué)碾壓”，指出“OpenAI和微軟的行業(yè)挑戰(zhàn)可能不只來(lái)自美國(guó)?！?/p>
Hugging Face技術(shù)主管Philipp Schmid在X發(fā)文，列出DeepSeek V2各項(xiàng)技能點(diǎn)向社區(qū)隆重推薦。上線僅四天，Hugging Face上的下載量已達(dá)3522次，在GitHub也瞬間收獲1200顆星星。
在通往 AGI 的路上，有的像DeepSeek這樣面對(duì)算力為王，主攻經(jīng)濟(jì)高效；也有像通義千問(wèn)那樣全面開(kāi)花，布局各種模型規(guī)模；但絕大多數(shù)公司的路線是遵循Scaling Law，狂卷大參數(shù)。
而面壁智能卻在走一條相反的路線：盡可能把參數(shù)做小。以更低的部署門檻、更低的使用成本讓模型效率最大化，“以小博大”。
今年2 月 1 日，面壁智能推出只有24億參數(shù)量的 MiniCPM-2B模型，不僅整體領(lǐng)先于同級(jí)別Google Gemma 2B，還超越了性能標(biāo)桿之作 Mistral-7B，且部分勝過(guò)大參數(shù)的Llama2-13B、Llama2-70B-Chat等。
在海外社區(qū)開(kāi)源后，Hugging Face聯(lián)合創(chuàng)始人Thomas Wolf緊接著發(fā)文說(shuō)，“中國(guó)出現(xiàn)了一系列令人驚嘆的技術(shù)報(bào)告和開(kāi)源模型，比如 DeepSeek、MiniCPM、UltraFeedback...它們的數(shù)據(jù)和實(shí)驗(yàn)結(jié)果都被公開(kāi)分享，這種對(duì)知識(shí)的坦誠(chéng)分享在最近的西方科技模型發(fā)布中已經(jīng)丟失了?！?/p>
網(wǎng)友轉(zhuǎn)發(fā)贊同：“MiniCPM 實(shí)在令人印象深刻，擁有 20 億參數(shù)，并從這么微小的模型中獲得了最佳結(jié)果?！?/p>
另一位同讀過(guò)MiniCPM模型論文的網(wǎng)友更是激動(dòng)盛贊，“面壁智能正掀起一場(chǎng)改變游戲規(guī)則的革命?！?/p>
“想象一下，在你口袋里擁有強(qiáng)大的人工智能，而不僅僅是云端。MiniCPM-2B 不是普通的模型。它只擁有 24 億參數(shù)，卻超越了自己 5 倍大的巨人！尺寸并不是唯一標(biāo)準(zhǔn)，關(guān)鍵在于如何利用它。這就是邊緣人工智能未來(lái)的愿景，可能重新定義我們與技術(shù)的互動(dòng)?！?/p>
70天后，面壁智能乘勝追擊，繼續(xù)發(fā)布了新一代“能跑在手機(jī)上的最強(qiáng)端側(cè)多模態(tài)大模型”MiniCPM-V 2.0，參數(shù)規(guī)模 2.8B。
據(jù)其在Hugging Face上介紹，MiniCPM-V 2.0 在包括 OCRBench、TextVQA、MME在內(nèi)的多個(gè)基準(zhǔn)測(cè)試中都達(dá)到了開(kāi)源社區(qū)最佳水平。在覆蓋 11 個(gè)流行基準(zhǔn)測(cè)試的OpenCompass 綜合評(píng)估上，它的性能超過(guò)Qwen-VL-Chat 9.6B、CogVLM-Chat 17.4B 和 Yi-VL 34B。甚至在場(chǎng)景文字理解方面已接近 Gemini Pro 的性能。
除了以上提到的DeepSeek、Qwen和MiniCPM，上海人工智能實(shí)驗(yàn)室和商湯聯(lián)合研發(fā)的InternLM、零一萬(wàn)物的Yi系列、智譜AI的多模態(tài)大模型CogVLM等等中國(guó)的開(kāi)源模型也在開(kāi)發(fā)者社區(qū)里備受歡迎。
人們?cè)谕铺剡€特別討論到，由于中英文間的語(yǔ)言障礙，海外通常能看到中國(guó)大模型也只是發(fā)布的一部分，太多AI應(yīng)用和集成沒(méi)有被完全展現(xiàn)。推測(cè)這些模型在中文上表現(xiàn)應(yīng)該比英文更好。但即便如此，它們?cè)谟⑽幕鶞?zhǔn)測(cè)試上已具備相當(dāng)?shù)挠懈?jìng)爭(zhēng)力。
還有人提出，自己屬實(shí)被過(guò)去一年中Arxiv上AI論文里中文署名作者的龐大數(shù)量震驚到了。
前斯坦福兼職講師、Claypot AI聯(lián)合創(chuàng)始人Chip Huyen在調(diào)研過(guò)900個(gè)流行開(kāi)源AI工具后，在個(gè)人博客中分享自己的發(fā)現(xiàn)：“在GitHub排名前20的賬戶中，有6個(gè)源自中國(guó)。
開(kāi)源的一個(gè)好處就是讓陰謀論無(wú)法繼續(xù)。
OpenAI早期投資人Vinod Khosla曾在X發(fā)文稱，美國(guó)的開(kāi)源模型都會(huì)被中國(guó)抄去。
但這番言論馬上被Meta的AI教父Yann LeCun反駁：“AI不是武器。無(wú)論我們是否把技術(shù)開(kāi)源，中國(guó)都不會(huì)落后。他們會(huì)掌控自己的人工智能，開(kāi)發(fā)自己的本土技術(shù)堆棧?！?/p>
而且，在開(kāi)源的誠(chéng)意上，中國(guó)模型也開(kāi)始被開(kāi)發(fā)者認(rèn)可。有在斯坦福讀書的同學(xué)也分享到，教授在課堂上大力稱贊中國(guó)開(kāi)源模型，特別是開(kāi)誠(chéng)布公地與社區(qū)積極分享成果，跟歐美一些頭頂“開(kāi)源”名號(hào)的明星公司不同。有網(wǎng)友也表達(dá)了和這個(gè)教授相似的觀點(diǎn)，“美國(guó)最該尷尬的，是今天中國(guó)開(kāi)源模型們重大的貢獻(xiàn)”。
大模型技術(shù)的發(fā)展中開(kāi)源注定將繼續(xù)扮演重要的推動(dòng)角色，而且這也是首次有開(kāi)源和閉源技術(shù)幾乎齊頭并進(jìn)的景象出現(xiàn)。在這股浪潮里，中國(guó)的開(kāi)源貢獻(xiàn)者正在通過(guò)一個(gè)個(gè)更有誠(chéng)意的開(kāi)源產(chǎn)品給全球社區(qū)做著貢獻(xiàn)。
聯(lián)系客服
