垂類大模型技術(shù)落地，ZMO.AI推動(dòng)營銷內(nèi)容生產(chǎn)力變革
近段時(shí)間，當(dāng)紅炸子雞 chatGPT 僅憑一己之力，讓大模型這個(gè)概念深入人心。無數(shù)網(wǎng)友在網(wǎng)上問到：“chatGPT 來了，失業(yè)還會(huì)遠(yuǎn)嗎？” 毫無疑問，所有人都被大模型及其引發(fā)的世界范圍的科技熱潮挾裹著一路向前。不過同時(shí)也有人提出，模型的規(guī)模是否一定要做得越來越大？細(xì)分行業(yè)是否一定是使用通用大模型？垂類大模型是否有機(jī)會(huì)？對此大家意見不一。 前不久海外一款名為 ZMO.AI 的生成式營銷軟件，B 端用戶月活迅速突破百萬，營收 3 個(gè)月內(nèi) ARR 增長至 300 萬美金的消息，讓小編看到垂直領(lǐng)域中，從大模型變異、優(yōu)化后得到的領(lǐng)域?qū)＜夷Ｐ蜁?huì)有更優(yōu)的表現(xiàn)。 和大家喜聞樂見的藝術(shù)風(fēng)，動(dòng)漫風(fēng)的 AIGC 內(nèi)容不同，營銷領(lǐng)域更強(qiáng)調(diào)內(nèi)容的真實(shí)性和可控性。ZMO.AI 針對營銷產(chǎn)品的真實(shí)場景生成，不僅可以 100% 完全可控的保留產(chǎn)品的細(xì)節(jié)，依據(jù)指令生成成千上萬不同風(fēng)格的背景，其逼真度更是堪比大片的商用場景圖，無論是光影還是清晰度，都完勝超過 10 年經(jīng)驗(yàn)的 PS 大師。在這項(xiàng) Marketing Copilot 產(chǎn)品中，用戶只需上傳一張產(chǎn)品圖，便可從拍攝，到海報(bào)制作，到后期投放優(yōu)化全部嵌入 AI workflow 的自動(dòng)化流程，利用 AI 強(qiáng)大的創(chuàng)造力和分析能力實(shí)現(xiàn)運(yùn)營秒秒鐘優(yōu)化。ZMO 用多年在營銷領(lǐng)域的 Know how 和專業(yè)場景數(shù)據(jù)，讓垂類大模型去更好的適應(yīng)營銷用戶，并實(shí)現(xiàn)了飛速增長。
Marketing Copilot 網(wǎng)址：https://www.zmo.ai/marketing-copilot/ ZMO.AI 在營銷生成領(lǐng)域扎根已久，在行業(yè)內(nèi)收集了大批高質(zhì)量的業(yè)內(nèi)數(shù)據(jù)集，其原生內(nèi)容生成平臺將營銷人群作為主要服務(wù)對象，強(qiáng)化產(chǎn)品中背景生成，海報(bào)生成和數(shù)據(jù)優(yōu)化的 AI 能力并為 B 端用戶提供 Marketing Copliot，此舉為 ZMO 贏得超過百萬月活的高價(jià)值小 B 端用戶并在開啟商業(yè)化后達(dá)到 3 個(gè)月達(dá)到 300 萬美金 ARR 的增長。 和其他純玩目的的 AI 繪畫用戶不同，B 端的用戶面對的是非常專業(yè)的場景，無論是對質(zhì)量的要求，還是對可控性，準(zhǔn)確性的要求和 C 端用戶相比都極高，這也許也是類似于 ZMO 這樣專業(yè)化的 AI 內(nèi)容產(chǎn)品能獲得成功的原因。 Rowdy 是英國創(chuàng)業(yè)公司 e-Bike 的 CEO, 他們是一個(gè)不到 10 人的小團(tuán)隊(duì)，旗下產(chǎn)品 e-bike 主打電動(dòng)自行車防盜系統(tǒng)。據(jù) Rowdy 介紹，對于小公司，網(wǎng)站搭建和博客撰寫所需要的大量素材非常昂貴，AIGC 的出現(xiàn)大大解放了他們的生產(chǎn)力。不過 Rowdy 發(fā)現(xiàn)大量的 AIGC 網(wǎng)站往往是藝術(shù)美學(xué)風(fēng)格，和他所需要的真實(shí)照片風(fēng)格相去甚遠(yuǎn)，而 ZMO.AI 的真實(shí)照片風(fēng)格逼真度非常高，并且分辨率可以達(dá)到 4-8k, 已經(jīng)完全看不出來是 AI 生成的圖片了。 這半年來，Rowdy 的團(tuán)隊(duì)一直在用 zmo 的產(chǎn)品為網(wǎng)站設(shè)計(jì)和公司博客配圖，每周能生成 200 多張照片。據(jù) Rowdy 描述，“相比于價(jià)格高昂的拍攝來說，二十幾英鎊的軟件費(fèi)用簡直太劃算了?！?/span>
圖為 Rowdy 使用 ZMO.AI 生成素材后的公司網(wǎng)頁 Nila 是一家跨境電商的負(fù)責(zé)人，他們的戶外沙發(fā)在歐美地區(qū)增長非常迅速，不過她也遇到了營銷的難點(diǎn)。'對于沙發(fā)這種大件拍攝是一件非常痛苦的事情，因?yàn)椴粌H運(yùn)輸成本很高，搭建拍攝場景同樣又慢又貴。' 在使用 ZMO.AI 的產(chǎn)品前，Nila 每一次的拍攝都會(huì)花十幾萬到幾十萬的成本，前前后后折騰一個(gè)多月才能上線。“萬一內(nèi)容表現(xiàn)不好，還需要重新拍攝，這里的時(shí)間和金錢損失都非常大?！?然而 Nila 發(fā)現(xiàn)網(wǎng)上盛傳的 Midjourney 或者很多其他的 AIGC 產(chǎn)品完全滿足不了她的需求，因?yàn)樯傻膱D片中產(chǎn)品的細(xì)節(jié)會(huì)變化，無法 100% 保持原樣。Nila 說到 “乍一眼看是差不多的，但仔細(xì)比對發(fā)現(xiàn)花紋，logo, 材質(zhì)都不完全一致，貨不對板商家是肯定不會(huì)使用的?！?/span> Nila 在 twitter 上發(fā)現(xiàn) ZMO.AI 這款軟件不僅可以完全保持產(chǎn)品的所有細(xì)節(jié)，還可以逼真的生成光影，無論從分辨率還是真實(shí)度上都能完全滿足運(yùn)營人員的需求，這是其他 AIGC 軟件所無法達(dá)到的。自從 Nila 團(tuán)隊(duì)工作流用上 ZMO.AI 后，每一個(gè) SKU 的出圖量從原來的不到 10 張瞬間暴漲到 200 張，并且開始借助 Marketing Copliot 大量進(jìn)行 AB 測試和迭代，將原來三四個(gè)月的優(yōu)化周期縮短到了 2-3 周，銷售額更是增長了 3 倍。 和 Rowdy 不同，Nick 是美國一家專業(yè)營銷代理的營銷經(jīng)理，負(fù)責(zé)幫助廣告主搭建官方社媒賬號和設(shè)計(jì)廣告素材，Nick 的客戶既有線上電商客戶，也有傳統(tǒng)實(shí)業(yè)甚至餐飲行業(yè)的用戶。” 尤其是疫情之后，所有商家都離不開線上營銷，但高質(zhì)量素材確實(shí)是一個(gè)難題 “ Nick 如是說到。 “大多數(shù)人根本請不起攝影師或者設(shè)計(jì)師，都是自己 P 圖，或者用 canva 搞定模板。” AIGC 的確能很大程度上解決大家的痛點(diǎn)，但 Nick 發(fā)現(xiàn)大多數(shù) AIGC 產(chǎn)品生成的圖片中，產(chǎn)品的細(xì)節(jié)無法保持一致，并且風(fēng)格和商家想要的風(fēng)格相去甚遠(yuǎn)。Nick 提到 “我在 twitter 上看到 ZMO.AI 的場景生成不僅可以完全保持產(chǎn)品的所有細(xì)節(jié)，還可以生成 4k 以上的光影逼真的真實(shí)大片效果，很適合用作產(chǎn)品圖?！?/span>
不僅如此，讓 Nick 最為驚嘆的是 ZMO 的 Marketing Copilot 功能完全重新定義的營銷人的工作流。“只需要上傳產(chǎn)品圖，從拍攝，到海報(bào)，到內(nèi)容優(yōu)化，全能自動(dòng)化搞定！真實(shí)一個(gè)成熟的 AI, 能自己做營銷了，哈哈” Nick 將客戶以前數(shù)據(jù)表現(xiàn)良好的素材上傳到了 Marketing Copilot 訓(xùn)練了自己的專有化生成模型，這樣模型的輸出就能更符合自己客戶的受眾喜好和品牌調(diào)性。Marketing Copilot 的模型往往會(huì)先需要 1-2 周的內(nèi)容方向自適應(yīng)調(diào)教，反復(fù)進(jìn)行生成素材 -- 數(shù)據(jù)反饋 -- 素材優(yōu)化的流程，之后便能生成針對特定產(chǎn)品、特定用戶人群瀏覽量和轉(zhuǎn)化率更高的內(nèi)容，在這個(gè)過程中來自高質(zhì)量營銷數(shù)據(jù)的反饋功不可沒，并且這些數(shù)據(jù)是私密的，商家完全有控制權(quán)。 在 Nick 看來 Marketing Copilot 不再是一個(gè)簡單的內(nèi)容生成工具，而是改變營銷流程的一整套解決方案，通過 AI 更強(qiáng)的分析能力和生成能力，極大的縮短營銷各個(gè)環(huán)節(jié)的消耗和協(xié)作生產(chǎn)，并以最終數(shù)據(jù)為導(dǎo)向 24 小時(shí)不停歇的優(yōu)化整個(gè)營銷內(nèi)容。Nick 表示團(tuán)隊(duì)確實(shí) AI 出現(xiàn)后在考慮縮減一部分營銷人員。
Marketing Copilot 網(wǎng)址：https://www.zmo.ai/marketing-copilot/ 終極的 AI workflow 到底應(yīng)該是什么樣的，當(dāng)下下結(jié)論為時(shí)尚早，但很可能不只是一個(gè)空白文本框，后面還連著一個(gè)不屬于你的 API。當(dāng)下對于創(chuàng)業(yè)公司更重要的是做出能解決商家痛點(diǎn)的產(chǎn)品和用戶一起不斷迭代，而非空談和迭代 demo 視頻。 ChatGPT 能取得如此出色的效果，離不開 RLHF（Reinforcement Learning from Human Feedback）的訓(xùn)練框架。實(shí)際上，RLHF 的概念早在 2017 年就由 OpenAI 聯(lián)合 DeepMind 提出 【1】。其核心思想是在大型預(yù)訓(xùn)練模型的基礎(chǔ)上，通過人類標(biāo)注的反饋信息來對模型進(jìn)行優(yōu)化，從而進(jìn)一步提高模型的表現(xiàn)，使之更接近人類認(rèn)知水平。ChatGPT 的顯著提升證明了 RLHF 的有效性。
傳統(tǒng)的 RL（Reinforcement Learning）假設(shè)智能體通過采取行動(dòng)與環(huán)境交互獲得反饋，通常通過模擬仿真軟件來實(shí)現(xiàn)環(huán)境。而 RLHF 通過人類反饋信息來優(yōu)化模型，因此更適用于人機(jī)交互場景，如 ChatGPT。但由于需要人工參與，RLHF 的數(shù)據(jù)標(biāo)注成本非常高。考慮到數(shù)據(jù)質(zhì)量對模型表現(xiàn)的關(guān)鍵影響，RLHF 的數(shù)據(jù)標(biāo)注人員必須是專業(yè)化的，并且數(shù)據(jù)集也必須經(jīng)過精細(xì)設(shè)計(jì)，兼顧多樣性和質(zhì)量。因此，ChatGPT 的高質(zhì)量數(shù)據(jù)集，結(jié)合 GPT3.5 的先驗(yàn)知識（1750 億個(gè)參數(shù)）和 RLHF 的訓(xùn)練框架，才使其能夠與人類同頻道進(jìn)行交流。 在 RLHF 中，最關(guān)鍵的兩個(gè)問題是如何設(shè)計(jì)獎(jiǎng)勵(lì)模型（RM）和如何利用 RM 的反饋來優(yōu)化模型。OpenAI 提供了一個(gè)非常好的先例，首先通過人工標(biāo)注高度一致的偏序數(shù)據(jù)來訓(xùn)練一個(gè)打分模型作為 RM（例如使用 ELO rating 或其他 learn to rank 方法），然后結(jié)合 OpenAI 在 2017 年提出的 PPO（Proximal Policy Optimization）【2】方法對模型進(jìn)行優(yōu)化。為了更好地保留模型的先驗(yàn)知識并防止模型過度擬合獎(jiǎng)勵(lì)，還需要在優(yōu)化目標(biāo)中添加梯度約束（例如 KL 散度）。此外，RM 和模型兩者可以互相迭代優(yōu)化。在 OpenAI 的競爭對手 Anthropic 的論文中【3】，提出可以在模型優(yōu)化后的版本上繼續(xù)優(yōu)化 RM 來平衡無害性和有效性。 目前許多新出爐的垂類大模型，也都嘗試了將這一方法拓展到不同領(lǐng)域中。 論文 1：“Deep reinforcement learning from human preferences” by OpenAI (2017) 鏈接：https://arxiv.org/abs/1706.03741 論文 2：“Proximal Policy Optimization Algorithms” by OpenAI (2017) 鏈接：https://arxiv.org/abs/1707.06347 論文 3：“Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback”,by Anthropic 2022 鏈接：https://arxiv.org/pdf/2204.05862.pdf 目前大模型參數(shù)規(guī)模已超千億，數(shù)量級還在不斷上升，這樣巨大的算力需求量，讓算力和芯片的緊缺問題引起國內(nèi)的重視和焦慮。是否所有領(lǐng)域最后都會(huì)被大模型 take all, 在垂直領(lǐng)域中大模型是否是最優(yōu)解，一些垂類大模型公司給出了不同的看法。 Character.AI 專注于 UGC 的個(gè)性化聊天機(jī)器人，中期月活用戶數(shù)量達(dá)到千萬量級，估值達(dá)到 10 億美金。Charater.AI 搭建了端到端的全工程棧，從模型的開發(fā)，訓(xùn)練，到數(shù)據(jù)的收集，終端應(yīng)用整條價(jià)值鏈。值得關(guān)注的是，Character.AI 開發(fā)了自己的類似于 GPT 的 Pre-trained 模型，這種 Pre-trained 模型擁有高效的 LLM 推理算法，推理成本遠(yuǎn)遠(yuǎn)低于 ChatGPT。 相比于其他純應(yīng)用型公司，垂類大模型公司在成本上具有明顯的競爭優(yōu)勢。 Character.AI 的底層模型基于神經(jīng)語言模型（神經(jīng)網(wǎng)絡(luò)語言模型）包含解碼器，類似于 GPT 和 LaMDA，并且使用了八位整型來做計(jì)算，比平時(shí)大家用 16 或 32 位浮點(diǎn)數(shù)，效率有 4 倍 - 2 倍的提升，與 GPT3 相比，對話質(zhì)量更好。八位整形是一種數(shù)據(jù)類型，它表示一個(gè)整數(shù)占用 8 個(gè)二進(jìn)制位（bit），也就是一個(gè)字節(jié)（byte）。八位整形在大模型訓(xùn)練上可以減少內(nèi)存消耗、提高計(jì)算速度，因?yàn)樗?16 位、32 位或 64 位的浮點(diǎn)數(shù)占用更少的空間。 除此之外，和通用大模型相比，Character.AI 的模型更強(qiáng)調(diào) customized 和 RLHF (反饋優(yōu)化). 不同形象的聊天的機(jī)器人會(huì)針對特定人設(shè)，比如 Lady Gaga 或 Trump 進(jìn)行基于大量對話、文章、新聞報(bào)道或其他數(shù)據(jù)的 Finetune, 讓這個(gè)角色輸出內(nèi)容更有個(gè)性化。同時(shí)，將 RLHF 深刻的嵌入到模型中，通過用戶和形象的對話交互來不斷迭代優(yōu)化模型風(fēng)格。ZMO.AI 的創(chuàng)始人張?jiān)姮撘矎?qiáng)調(diào)了這種用戶反饋，“ZMO 模型的內(nèi)容生成方向受到營銷類用戶的大量反饋后，確實(shí)表現(xiàn)出更傾向于 Instagram 風(fēng)格的生成的內(nèi)容方向，類似于模型具有了不同的審美?！?/span>
毫末智行專注于自動(dòng)駕駛認(rèn)知大模型，旗下的 DriveGPT 模型參數(shù)達(dá)到了 1200 億，通過引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過引入駕駛接管 Clips 數(shù)據(jù)完成反饋模型 (Reward Model) 的訓(xùn)練，然后再通過強(qiáng)化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對自動(dòng)駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。為了將駕駛場景變?yōu)楹妥匀徽Z言一樣的 token, DriveGPT 基于毫末智行的 CSS 場景庫理論基礎(chǔ)上，使用 BEV 網(wǎng)格將整個(gè)空間離散化，同時(shí)將每個(gè)網(wǎng)格定義為一個(gè)固定大小的詞表。這樣，輸入就可以表示已發(fā)生場景的 Token 序列，并根據(jù)歷史生成未來的 Token 序列。 同時(shí)，毫末也提到了在自動(dòng)駕駛這個(gè)垂類場景中獨(dú)特的反饋模型。和通用場景的用戶反饋不同，DriveGPT 的反饋模型使用帶有偏序關(guān)系的 Pair 樣本對來訓(xùn)練，這些樣本對來自于接管 Case，毫末將與人類駕駛結(jié)果相似的模型結(jié)果作為正樣本，與被接管軌跡相似的作為負(fù)樣本，這樣來構(gòu)建偏序?qū)?，再利?LTR (Learning To Rank) 的思路去訓(xùn)練 Reward Model，進(jìn)而得到一個(gè)打分模型。自動(dòng)駕駛是一個(gè)龐大而復(fù)雜由多個(gè) AI 組件組成的系統(tǒng)，用通用大模型來替代從規(guī)劃組件，檢測組件到數(shù)據(jù)標(biāo)注組件，極可能使得準(zhǔn)確性和質(zhì)量大打折扣。
就在前段時(shí)間，大名鼎鼎的 Bloomberg 也加入了垂類大模型的戰(zhàn)局，推出了 Bloomgberg GPT. 和 to C 場景不同，金融領(lǐng)域需要更高的準(zhǔn)確性和可靠性，所以 Bloomberg GPT 在模型層數(shù)和參數(shù)量上會(huì)有明顯增加，并采用混合精度的訓(xùn)練策略。
BloombergGPT 將 Context Attention 引入解碼器，以生成連貫且與輸入文本高度相關(guān)的輸出。而在編碼器部分，B 采用了 Self-Attention 來捕捉輸入文本的全局依賴關(guān)系。這使得模型能夠更好地理解金融領(lǐng)域的長距離依賴和復(fù)雜結(jié)構(gòu)。同時(shí)在模型的預(yù)訓(xùn)練階段，除了使用通用的大規(guī)模文本數(shù)據(jù)，還會(huì)特意加入大量金融領(lǐng)域的數(shù)據(jù)，如金融新聞、報(bào)告、研究論文等。這種 Domain Adaptation 有助于模型在預(yù)訓(xùn)練階段就學(xué)習(xí)到豐富的金融知識。相比于 chatGPT 這種通用大模型，BloombergGPT 在金融相關(guān)任務(wù)重表現(xiàn)出較高的性能和專業(yè)性，比如實(shí)時(shí)金融數(shù)據(jù)處理，能更好的服務(wù)于金融領(lǐng)域的需求。
在 ZMO.AI 的場景中，營銷場景的專業(yè)數(shù)據(jù)同樣重要，真實(shí)照片的質(zhì)量和分辨率能達(dá)到目前的高度，很大程度上歸功于 ZMO 自有的 6000 萬高清營銷照片數(shù)據(jù)集。在 ZMO.AI 的聯(lián)和創(chuàng)始人馬里千看來，雖然基礎(chǔ)大模型在許多任務(wù)上可以表現(xiàn)出平均人類的水平，但它們在特定垂直領(lǐng)域中表現(xiàn)不佳。這是因?yàn)檫@些領(lǐng)域的領(lǐng)域知識不是常識，相關(guān)數(shù)據(jù)也不容易從互聯(lián)網(wǎng)上獲取。例如，ZMO 為了完整的保留產(chǎn)品細(xì)節(jié)會(huì)需要用到自研的高精度 Matting 算法，Matting 是一項(xiàng)復(fù)雜的視覺任務(wù)，它涉及準(zhǔn)確估計(jì)每個(gè)像素的 alpha 值，以從圖像和視頻中提取前景對象。這可能會(huì)因?yàn)閺?fù)雜的背景、光照條件和物體透明度等因素而具有挑戰(zhàn)性。此外，這項(xiàng)任務(wù)的標(biāo)注是困難、特定和昂貴的，ZMO 花費(fèi)了一年的時(shí)間和高昂的成本才獲得這些高精度的標(biāo)注數(shù)據(jù)?！?在我們的使用案例中，我們可能會(huì)專注于摳圖特定對象（例如產(chǎn)品），這可能不是通用大模型的優(yōu)勢所在?！榜R里千如是說到。 AIGC 概念爆火，成千上萬的創(chuàng)業(yè)者紛紛入局，不過目前許多 AIGC 的產(chǎn)品大多面向靈感觸發(fā)和可玩性層面，像 ZMO 這樣直接面向商用落地的較為少見。和 to C 的 App 不同，商用用戶需要更精準(zhǔn)的控制、對結(jié)果可預(yù)期、以及文字排布等場景，并且不同行業(yè)除了對質(zhì)量要求不同，對于輸入和輸出方式都有維度上的不同，如何構(gòu)架更符合行業(yè)需求的垂類大模型結(jié)構(gòu)，讓模型去適應(yīng)用戶，ZMO 在營銷場景給出了自己的答案。比如 ZMO 搭建了自有的模型框架來適應(yīng)營銷中互動(dòng)率點(diǎn)擊率這種特別的反饋機(jī)制，可以從龐大的數(shù)據(jù)中抽取真正有價(jià)值的監(jiān)督信號，迭代調(diào)整模型參數(shù)。這種反饋機(jī)制可以將包含了用戶對內(nèi)容質(zhì)量、潮流、美學(xué)等方面的偏好信息，通過基于 RLHF（人類反饋強(qiáng)化學(xué)習(xí)）的方式糾正模型偏見，生成更符合用戶期望的內(nèi)容，搭建自己更高的護(hù)城河。 同樣在另一個(gè)營銷人必用的領(lǐng)域海報(bào)生成，ZMO 也自研了獨(dú)特的模型框架。不同于一般的圖像生成，海報(bào)生成需要考慮多種元素的協(xié)調(diào)和信息的傳達(dá)。目前主流的文生圖大模型是通過整圖生成的方式直接輸出最終結(jié)果，這種方式不可避免地存在兩大缺陷：生成的圖像缺乏可編輯性，容易缺失細(xì)節(jié)質(zhì)量。為了解決這個(gè)問題，ZMO 基于 LLMs 自研了一套 top-down 的可編輯海報(bào)圖像生成技術(shù)，它能夠根據(jù)用戶的偏好和需求，先統(tǒng)一規(guī)劃各個(gè)元素的風(fēng)格與內(nèi)容，再通過 layer-wise 的方式逐層生成，再通過美學(xué)反饋機(jī)制微調(diào)得到最終結(jié)果，從而生成風(fēng)格、布局、文字等方面都符合要求的海報(bào)。 誠然，Character.AI, 毫末智行，BloombergGPT 和 ZMO 都在驗(yàn)證一件事情，大模型終究是需要細(xì)分場景的數(shù)據(jù)和規(guī)則的，在特定場景中需要大量專門優(yōu)化通用大模型來提升生成質(zhì)量，并且符合這個(gè)專業(yè)場景的可控輸入和輸出才能真正的落地使用。
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報(bào) 。
