商湯甩出大模型豪華全家桶！秀拳皇暴打GPT-4，首曬“文生視頻”，WPS小米現(xiàn)場(chǎng)助陣

liuaqbb 2024-04-24 發(fā)布于北京

展開全文

“大模型+大算力”雙輪驅(qū)動(dòng)，運(yùn)營算力達(dá)12000P。

作者 | ZeR0

編輯 | 漠影

智東西4月23日?qǐng)?bào)道，今日，商湯科技全新升級(jí)“日日新SenseNova 5.0”大模型體系，綜合能力全面對(duì)標(biāo)GPT-4 Turbo。

同時(shí)，商湯在業(yè)界首次推出“云、邊、端”全棧大模型產(chǎn)品矩陣，包括商湯端側(cè)大模型、端云協(xié)同解決方案，以及面向金融、代碼、醫(yī)療、政務(wù)等領(lǐng)域的邊緣產(chǎn)品“商湯企業(yè)級(jí)大模型一體機(jī)”。

“日日新SenseNova 5.0”采用混合專家架構(gòu)，基于超過10TB tokens訓(xùn)練、覆蓋大量合成數(shù)據(jù)，推理時(shí)上下文窗口可支持200K，主要增強(qiáng)了知識(shí)、數(shù)學(xué)、推理、代碼能力，在主流客觀評(píng)測(cè)上達(dá)到或超越GPT-4 Turbo性能。

現(xiàn)場(chǎng)演示了“日日新5.0”與GPT-4多項(xiàng)功能對(duì)比，包括創(chuàng)意寫作、邏輯推理、文生圖、圖像理解、根據(jù)圖片計(jì)算食物熱量等。

為了秀端側(cè)大模型的肌肉，商湯科技還“玩”起拳皇。一開始綠衣玩家GPT-4略占上風(fēng)，但很快就被紅衣玩家SenseChat-lite各種連招打得反應(yīng)不過來，最終紅方取勝。

商湯董事長兼CEO徐立說，不是模型能力有多強(qiáng)，是在不同的適用場(chǎng)景下，小模型的決策速度快，當(dāng)大模型還在計(jì)算，小模型已經(jīng)完成了判斷并出拳，不管它的拳是不是最優(yōu)的，都實(shí)實(shí)在在地打到了對(duì)手的身上。

其端側(cè)大模型實(shí)現(xiàn)業(yè)內(nèi)最快推理速度，旗艦平臺(tái)最高達(dá)109.5字/秒，而人眼最快閱讀速度僅為20字/秒，現(xiàn)場(chǎng)演示的處理對(duì)話、圖像處理速度快過云端。商湯還正式發(fā)布端側(cè)業(yè)務(wù)SDK，可適配多款高通驍龍、聯(lián)發(fā)科天璣芯片。

企業(yè)級(jí)大模型一體機(jī)支持千億模型加速和知識(shí)檢索硬件加速，相比行業(yè)同類產(chǎn)品，千億大模型推理成本可節(jié)約80%。小浣熊·代碼大模型一體機(jī)輕量版每臺(tái)售價(jià)35萬元起，單臺(tái)支持100人團(tuán)隊(duì)使用，每日使用成本低至每人4.5元。

同時(shí)，商湯發(fā)布了基于昇騰原生的行業(yè)大模型，與華為共同打造面向金融、醫(yī)療、政務(wù)、代碼等大模型產(chǎn)業(yè)生態(tài)。

在自身應(yīng)用方面，商湯“日日新SenseNova 5.0”在秒畫、如影、格物、瓊宇、大醫(yī)、小浣熊家族等產(chǎn)品均有重要更新。

還有One More Thing——文生視頻生成平臺(tái)，徐立帶來了三段完全由大模型生成的視頻，并著重強(qiáng)調(diào)對(duì)人物、動(dòng)作、場(chǎng)景的可控性。

未來，通過輸入一段文字描述即可生成一段視頻，而且人物的服飾、發(fā)型、場(chǎng)景都能根據(jù)預(yù)先設(shè)定，保持視頻內(nèi)容的連貫性和一致性。

金山辦公CEO章慶元、海通證券副總經(jīng)理兼首席信息官毛宇星、小米集團(tuán)小愛總經(jīng)理王剛、閱文集團(tuán)筑夢(mèng)島總經(jīng)理葛文兵均來到現(xiàn)場(chǎng)，分別作為辦公、金融、出行、IP角色等行業(yè)的代表進(jìn)行分享。幾位客戶代表的發(fā)言都很有料，或連爆金句，或干貨頻出，對(duì)行業(yè)發(fā)展很有參考性。

01.

文科數(shù)理能力均顯著提升，

全面對(duì)標(biāo)GPT-4 Turbo

商湯董事長兼CEO徐立首先提到Scaling Law尺度定律，即隨著模型參數(shù)變大、數(shù)據(jù)量變大、訓(xùn)練時(shí)長加長，算法性能會(huì)越來越好。

還有兩條隱藏假設(shè)，一是可預(yù)測(cè)性，在小尺度上做很多實(shí)驗(yàn)，跨越5~7個(gè)數(shù)量級(jí)尺度依然保持性能的準(zhǔn)確預(yù)測(cè)；二是保序性，在小尺度上驗(yàn)證的性能優(yōu)劣，在大尺度上依然保持著優(yōu)劣。

這可以指導(dǎo)在有限的研發(fā)資源上找到最優(yōu)模型架構(gòu)和數(shù)據(jù)配方，讓大模型能最高效地學(xué)習(xí)。

基于實(shí)驗(yàn)結(jié)果，小模型在優(yōu)化數(shù)據(jù)的情況下，性能可逼近甚至超越跨數(shù)據(jù)級(jí)的大模型。

“商湯在尺度定律的指導(dǎo)下，會(huì)持續(xù)探索大模型能力的KRE三層架構(gòu)（知識(shí)-推理-執(zhí)行），不斷突破大模型能力邊界?！毙炝⒄f。

為了解決數(shù)據(jù)集質(zhì)量的瓶頸，日日新5.0訓(xùn)練用到10T+ tokens的中英文預(yù)訓(xùn)練數(shù)據(jù)，進(jìn)行了精細(xì)設(shè)計(jì)的清洗處理，形成高質(zhì)量基礎(chǔ)數(shù)據(jù)。

此外，合成思維鏈數(shù)據(jù)，是激活大模型的強(qiáng)理解推理能力的關(guān)鍵。商湯在預(yù)訓(xùn)練過程中大規(guī)模采用數(shù)千億tokens量級(jí)的邏輯型合成數(shù)據(jù)。

“日日新5.0”在中文理解、知識(shí)儲(chǔ)備、數(shù)理邏輯、代碼編程等方面的能力明顯提升，在主流客觀評(píng)測(cè)上達(dá)到或超越GPT-4 Turbo。

在文科能力方面，“日日新5.0”的創(chuàng)意寫作、推理、總結(jié)能力均大幅優(yōu)化，相同的中文知識(shí)注入后，可獲得更好的理解總結(jié)及問答。

基于大量中文語料的構(gòu)建，在開放式寫作，比如讓它寫2022年基于《紅樓夢(mèng)》給匾額題名來探討創(chuàng)新的高考作文，可以看到GPT-4寫作風(fēng)格比較生硬，“在學(xué)習(xí)上……在工作中，……”；“日日新5.0”則寫得更加發(fā)散，從詩經(jīng)楚辭到文化革古鼎新，再到互聯(lián)網(wǎng)新知識(shí)的融合。

在理科能力方面，“日日新5.0”的數(shù)理、代碼及推理能力達(dá)到業(yè)內(nèi)領(lǐng)先水平。

商湯展示了一個(gè)數(shù)學(xué)題示例：媽媽給圓圓沖了一杯咖啡，圓圓喝了半杯后，加滿水，她又喝了半杯后，再加滿水，最后全部喝完，問圓圓總共喝掉多少咖啡和水。如果理解成總共加了兩次半杯水即一杯水，那么答案是一杯咖啡一杯水。如果從每次喝掉多少水來算，計(jì)算則比較復(fù)雜。

“日日新5.0”理解完后，得出跟剛才解讀一致的答案。而GPT-4把事情搞復(fù)雜了，得出的答案是喝了19/20杯咖啡和1+4/5杯水。

還有一個(gè)簡單的邏輯情景題，13個(gè)小朋友玩老鷹抓小雞，抓了5只小雞，問還剩幾只。GPT-4不理解老鷹抓小雞游戲中有1人要當(dāng)老鷹，給出的答案是8只?！叭杖招?.0”則給出正確答案。

在多模態(tài)能力方面，其在多模態(tài)大模型權(quán)威綜合基準(zhǔn)測(cè)試MMBench中綜合得分排名首位，在多個(gè)知名多模態(tài)榜單中取得領(lǐng)先成績。

商湯將“日日新5.0”的文生圖能力與幾個(gè)業(yè)界最好的模型做直觀對(duì)比。

徐立說，文生圖的一個(gè)難點(diǎn)是如何將真正的理解與合成放在一起。其他主流文生圖模型對(duì)于文字嵌入到圖像中都有一定缺失，日日新5.0則能表現(xiàn)得非常好，有比較完整的指令跟隨生成效果。

在應(yīng)用產(chǎn)品層面，“日日新5.0”支持高清長圖的解析和理解以及文生圖交互式生成，還可以實(shí)現(xiàn)復(fù)雜的跨文檔知識(shí)抽取及總結(jié)問答展示。

長圖上會(huì)有很多信息點(diǎn)，但推到多模態(tài)窗口中，往往圖像分辨率過高，上傳不了。對(duì)此，商湯給出了非常大的分辨率接口，支持用戶對(duì)長圖等級(jí)性提問，包括描述圖片細(xì)節(jié)、總結(jié)標(biāo)題內(nèi)容等。

再比如打車應(yīng)用界面截圖，它可以識(shí)別捕捉到其中的時(shí)間、車輛距離、文字提示、車輛信息、功能按鈕、推廣活動(dòng)等核心信息。

它也可以化身卡路里助手，拍一張?jiān)绮驼眨屗闼阋还捕嗌贌崃俊?/span>

相比GPT-4，日日新5.0在理解中式餐飲內(nèi)容中表現(xiàn)更好。

小浣熊家族是基于商湯大語言模型打造的AI原生生產(chǎn)力系列工具，覆蓋軟件開發(fā)、數(shù)據(jù)分析、編程教育等多個(gè)場(chǎng)景，旨在提升工作效率，已推出代碼小浣熊、辦公小浣熊等成員。輸入商湯小浣熊網(wǎng)頁截圖，“日日新5.0”可以進(jìn)行詳細(xì)描述。

再讓它根據(jù)前兩個(gè)小浣熊，來生成一張新的小浣熊形象，它會(huì)先解釋自己的設(shè)計(jì)思路，然后生成對(duì)應(yīng)形象。而對(duì)GPT-4進(jìn)行完全相同的輸入，GPT-4生出的形象毫不相關(guān)，并沒有將前兩個(gè)小浣熊形象融入到它的設(shè)計(jì)理念中。

通過用戶的自然語言輸入，辦公小浣熊可自動(dòng)將數(shù)據(jù)轉(zhuǎn)化為有意義的分析和可視化結(jié)果。比如導(dǎo)入數(shù)據(jù)庫文件，數(shù)據(jù)庫里只有英文名，而用戶輸入查找的是中文名，第一波輸入后沒查到，接著告訴辦公小浣熊“肯定有的你再找找”，它就會(huì)進(jìn)行思考，再度檢查和篩選，找出模糊匹配的信息。

它還可以檢查數(shù)據(jù)庫中多個(gè)表格的交叉信息來匯總計(jì)算，并生成直觀的可視化圖表乃至雷達(dá)圖。

02.

端側(cè)模型跨級(jí)領(lǐng)先，

端云協(xié)同方案大降推理成本

天下武功，唯快不破。

商湯推出SenseChat-Lite版本端側(cè)?模型，可落地手機(jī)、平板、VR眼鏡、智能汽車等端側(cè)。

商湯日日新·端側(cè)大語言模型的推理速度更快，首次加載低于0.4秒，解碼?于30tokens/秒，號(hào)稱“同等尺度性能最優(yōu)，跨級(jí)尺度全面領(lǐng)先”。

人眼最快閱讀速度為20字/秒，而該模型在中端平臺(tái)實(shí)現(xiàn)18.3字/秒的平均生成速度，旗艦平臺(tái)更是達(dá)到78.3字/秒，最高能達(dá)到109.5字/秒。

商湯通過SDK形式為終端用戶提供量化部署工具鏈，數(shù)據(jù)處理均在終端設(shè)備上完成，有效保障?戶隱私安全。

商湯還推出端云協(xié)同解決方案，進(jìn)行高性能計(jì)算，處理復(fù)雜的任務(wù)。

該方案支持在不同的設(shè)備和平臺(tái)上運(yùn)行，使得模型可以在各種終端上進(jìn)行部署和應(yīng)用，同時(shí)實(shí)現(xiàn)在離線狀態(tài)下仍能保障服務(wù)和應(yīng)用。

其端云協(xié)同?案性能指標(biāo)上，在綜合考試、語言、知識(shí)考試、推理等17個(gè)測(cè)試集下，平均性能接近云側(cè)，但80%的推理將在端側(cè)處理，因此節(jié)省了大量云側(cè)推理成本，模型能夠及時(shí)適應(yīng)變化的環(huán)境和需求，保持高性能和準(zhǔn)確性。

現(xiàn)場(chǎng)演示了端側(cè)離線運(yùn)行商量平臺(tái)，比如寫請(qǐng)假申請(qǐng)、將長篇大論總結(jié)成一句話?；旧涎劬€沒看清，模型已經(jīng)生成出答案。

其端側(cè)擴(kuò)散模型同樣實(shí)現(xiàn)了業(yè)內(nèi)最快推理速度。

1B模型支持在高通、聯(lián)發(fā)科高端平臺(tái)上端側(cè)離線運(yùn)行，端側(cè)LDM-AI擴(kuò)圖技術(shù)在主流平臺(tái)上推理速度不到1.5秒，比友商云端app快了10倍，可在數(shù)秒內(nèi)生成1200萬像素及以上的高清大圖，并支持在端側(cè)快速進(jìn)行等比例擴(kuò)圖、非等比例擴(kuò)圖、旋轉(zhuǎn)填充擴(kuò)圖等多種圖像編輯功能。

端側(cè)智能體也很方便，能夠自動(dòng)執(zhí)行一連串復(fù)雜指令，比如打開郵箱-查看郵件-把郵件移動(dòng)到指定文件夾-打開微信-進(jìn)入指定微信群聊-在群公告中發(fā)布指定內(nèi)容。

商湯宣布端側(cè)業(yè)務(wù)SDK正式發(fā)布，適配多種主流高通驍龍、聯(lián)發(fā)科天璣芯片，支持XR、PC、車載、安卓/iOS移動(dòng)全平臺(tái)。

03.

發(fā)布企業(yè)級(jí)大模型一體機(jī)，

大模型推理成本可節(jié)約80%

面向邊緣側(cè)，商湯面向金融、醫(yī)療、政務(wù)、代碼四個(gè)行業(yè)推出商湯企業(yè)級(jí)大模型一體機(jī)。

一體機(jī)同時(shí)支持千億模型加速和知識(shí)檢索硬件加速，實(shí)現(xiàn)本地化部署，即買即用，相比行業(yè)同類產(chǎn)品，千億大模型推理成本可節(jié)約80%；檢索大大加速，CPU工作負(fù)載減少50%，端到端延遲減少1.5秒。

金融大模型一體機(jī)采用國產(chǎn)雙路主控CPU及四顆智算加速卡，單機(jī)能夠滿足30人同時(shí)使用，支持萬量級(jí)的金融文檔管理和檢索，在萬級(jí)文檔知識(shí)庫規(guī)模下檢索準(zhǔn)確率超過90%，滿足金融部門的精準(zhǔn)檢索要求。

醫(yī)療大模型一體機(jī)是軟硬一體私有化醫(yī)療大模型解決方案，針對(duì)智能問診、導(dǎo)診、病歷結(jié)構(gòu)化、影像報(bào)告解讀等場(chǎng)景，支持智能調(diào)整回復(fù)內(nèi)容的語言風(fēng)格、詳略程度、格式要求等，一鍵自定義專屬醫(yī)療場(chǎng)景，實(shí)現(xiàn)小成本高精度的醫(yī)療大模型部署。

政務(wù)大模型一體機(jī)是面向政務(wù)咨詢場(chǎng)景的邊緣大模型產(chǎn)品，采用國產(chǎn)雙路主控CPU及四顆智算加速卡，支持萬量級(jí)的政策文檔管理和檢索，面向有政務(wù)咨詢需求的部門單位, 輔助更高效地處理與法律法規(guī)、政策標(biāo)準(zhǔn)相關(guān)的咨詢和決策任務(wù)。

小浣熊·代碼大模型一體機(jī)輕量版是面向軟件開發(fā)的邊緣大模型產(chǎn)品，是一套安全可靠、開箱即用、高性價(jià)比的企業(yè)軟件研發(fā)軟硬件一體化解決方案，能夠幫助開發(fā)人員更高效地編寫、理解和維護(hù)代碼，提高軟件開發(fā)的效率和質(zhì)量。

其在HumanEval的測(cè)試通過率高達(dá)75.6%，超過GPT-4的74.4%，能夠支持90多種變成語言和8K上下文，單機(jī)可滿足100人團(tuán)隊(duì)?wèi)?yīng)用需求。小浣熊·代碼大模型一體機(jī)輕量版每臺(tái)售價(jià)35萬元起，每日使用成本低至每人4.5元。

相較于傳統(tǒng)的云服務(wù)模式，這些一體機(jī)的所有數(shù)據(jù)處理過程均在客戶的私有環(huán)境內(nèi)完成，能夠有效避免數(shù)據(jù)在傳輸過程中的泄露風(fēng)險(xiǎn)，及跨境傳輸?shù)纫l(fā)的合規(guī)問題。

04.

四大客戶曬落地成果，

金融大模型、擬人大模型發(fā)布

金山辦公CEO章慶元、海通證券副總經(jīng)理兼首席信息官毛宇星、小米集團(tuán)小愛總經(jīng)理王剛、閱文集團(tuán)筑夢(mèng)島總經(jīng)理葛文兵均在現(xiàn)場(chǎng)分享了與商湯的合作進(jìn)展，以及一些最新行業(yè)觀察與見解。

金山辦公CEO章慶元說，金山辦公從去年下半年開始一直在跟商湯合作。大約四年前，金山辦公就將AI定位為其產(chǎn)品核心戰(zhàn)略之一，當(dāng)時(shí)還沒有大模型；金山辦公一年陸續(xù)上線20多個(gè)AI功能，包括內(nèi)容創(chuàng)作、智慧助理、知識(shí)洞察等。

兩周前，金山辦公發(fā)布WPS AI企業(yè)版，包括AI Hub智能基座、AI Docs智能文檔庫、Copilot Pro企業(yè)智慧助理。他分享說，企業(yè)關(guān)心的內(nèi)容與C端應(yīng)用完全不一樣，所以他們做了整合。未來金山辦公希望在Copilot方向有所突破。

“我始終認(rèn)為，如果AI只會(huì)吟詩作畫，其實(shí)AI是不可能改變世界，不可能顛覆世界?！闭聭c元說，AI要改變世界，真正提高生產(chǎn)力，不一定要多寫代碼，AI一定能夠做一個(gè)真正的Copilot，因?yàn)樗?span>只有調(diào)取各種API，才能對(duì)企業(yè)生產(chǎn)力甚至對(duì)世界和社會(huì)產(chǎn)生巨大的影響。

金山辦公去年開始與商湯合作探索Copilot，4月發(fā)布WPS AI企業(yè)版Copilot Pro企業(yè)智慧助理，就是基于商湯日日新模型。其低代碼功能也接入了商湯模型，通過對(duì)話形式來生成各種自己的辦公自動(dòng)化應(yīng)用。他談到金山辦公測(cè)試過全球的Copilot，包括GPT-4，之所以選擇跟商湯合作，是因?yàn)樯虦诮鹕睫k公的應(yīng)用場(chǎng)景中準(zhǔn)確度還是非常高的。

章慶元認(rèn)為理科能力比文科能力難，因?yàn)樯婕八季S鏈推理，“文科說實(shí)話，有時(shí)候文章寫出來，聽君一席話，勝似一席話，總是沒錯(cuò)的?！?/span>

海通證券是中國境內(nèi)唯一一家至今仍在運(yùn)營并且未更名、未被政府注資且未被收購重組過的大型證券公司，正在構(gòu)建AI應(yīng)用生態(tài)。海通證券副總經(jīng)理兼首席信息官毛宇星分享說，海通證券與商湯科技做的最新是在生成服務(wù)上，重點(diǎn)分享了智能問答、智能研發(fā)、智能研報(bào)三個(gè)運(yùn)營場(chǎng)景。

現(xiàn)場(chǎng)，商湯科技與海通證券聯(lián)合發(fā)布金融行業(yè)多模態(tài)全棧式大模型，雙方在智能客服、合規(guī)風(fēng)控、代碼輔助、辦公助手等領(lǐng)域助推業(yè)務(wù)落地，并共研智能投顧、輿情監(jiān)控等行業(yè)前沿場(chǎng)景，打通證券行業(yè)大模型落地的全棧式能力。

在個(gè)人出行場(chǎng)景，小米汽車SU7的智能車艙中應(yīng)用了商湯的大模型技術(shù)，基于商湯端云大模型解決方案。小米集團(tuán)小愛總經(jīng)理王剛說，小米人工智能助手小愛同學(xué)已經(jīng)落地到小米最新發(fā)布的汽車、手機(jī)、AIoT和機(jī)器人中，這是一個(gè)軟硬件深度結(jié)合的產(chǎn)品，要做到全場(chǎng)景體驗(yàn)一致。小愛同學(xué)不止有語音助手，還提供小愛建議、小愛視覺、小愛翻譯、小愛通話等智能服務(wù)。

小愛大模型已在多設(shè)備落地，8月份在手機(jī)上開啟內(nèi)測(cè)，目前有900萬大模型用戶。王剛說，車上大模型和手機(jī)大模型的體驗(yàn)設(shè)計(jì)差別很大，需要對(duì)大模型進(jìn)行相應(yīng)的適配調(diào)教，才能適用于汽車任務(wù)。有大模型后，月活躍用戶次日留存提升了10%，中長尾Query滿足率也提升至80%。

大模型技術(shù)給小愛帶來了三個(gè)方面的跨越式升級(jí)：一是通用對(duì)話，二是垂直領(lǐng)域AI，三是NLP任務(wù)。具體而言，整個(gè)技術(shù)架構(gòu)可以簡化成如下圖所示，基本分為4類問題，第一類偏工具類，第二類篇偏內(nèi)容類，這兩類相對(duì)簡單，都是背后的一些執(zhí)行類操作；第三類偏創(chuàng)作類，之前沒有大模型是做不到的；第四類需要更大參數(shù)規(guī)模的大模型去回答，因?yàn)閷?duì)知識(shí)的準(zhǔn)確率要求極高。

如何選擇大模型？王剛認(rèn)為，首先要建設(shè)滿足業(yè)務(wù)需求的評(píng)測(cè)體系，然后選擇合適的模型（大小、擅長領(lǐng)域、性能），并針對(duì)業(yè)務(wù)場(chǎng)景將模型進(jìn)行優(yōu)化（Prompt優(yōu)化、微調(diào)、預(yù)訓(xùn)練）。

在大模型綜合能力評(píng)測(cè)方面，他關(guān)注的重要指標(biāo)是效果指標(biāo)和性能指標(biāo)。效果指標(biāo)會(huì)拆解成不同維度，綜合對(duì)比不同模型產(chǎn)生效果的差異，然后針對(duì)不同類別去構(gòu)造一個(gè)混合系統(tǒng)，挑選最好的大模型?！艾F(xiàn)在我們?cè)诜浅６嗟膱?chǎng)景上使用了商湯的大模型?！蓖鮿傉f。

在過去的合作過程中，他感受到商湯大模型有三個(gè)典型特點(diǎn)：

第一，模型性能好，速度快。當(dāng)用戶說完話，他們希望1.4秒內(nèi)完成所有處理步驟，讓用戶聽到相應(yīng)的回復(fù)；但1.4秒對(duì)于大模型能力來說太苛刻了，現(xiàn)在要求放寬到了2秒內(nèi)，王剛稱能滿足這一響應(yīng)速度的大模型在行業(yè)內(nèi)其實(shí)并不多。

第二，模型效果好，具備檢索能力，可以引用高質(zhì)量信息來源。

第三，模型能力強(qiáng)，支持知識(shí)注入、指令追隨，包括能對(duì)生成內(nèi)容要有一定約束和引導(dǎo)，支持快速對(duì)模型進(jìn)行微調(diào)。在他看來，讓大模型輸出一個(gè)穩(wěn)定的結(jié)果很不容易，大模型在實(shí)際產(chǎn)品場(chǎng)景中落地，通用基座能力要比較強(qiáng)大，更重要的是持續(xù)針對(duì)業(yè)務(wù)場(chǎng)景要求的大模型適配能力。

最后，他總結(jié)了小愛同學(xué)的未來規(guī)劃，一是基于大模型進(jìn)行技術(shù)升級(jí)，二是用多模態(tài)創(chuàng)造全新產(chǎn)品體驗(yàn)，三是和操作系統(tǒng)深度整合，四是端側(cè)大模型在無網(wǎng)環(huán)境下提供較好的體驗(yàn)。

王剛還分享了一個(gè)小故事。今年1月，他所在的團(tuán)隊(duì)要向小米創(chuàng)始人、董事長、CEO雷軍概括小米汽車大模型的效果，當(dāng)時(shí)演示完后就被批了，團(tuán)隊(duì)壓力很大，為達(dá)要求，希望一周完成四五個(gè)需求的優(yōu)化，并達(dá)到比較好的效果。結(jié)果商湯團(tuán)隊(duì)在兩三天內(nèi)就把所有需求做完了。一周后，他們?cè)偃ソo雷軍演示，整個(gè)效果已經(jīng)非常不錯(cuò)。

談到大模型推理成本，王剛說，他們最開始接入大模型時(shí)，大模性還非常貴，當(dāng)時(shí)算下來一臺(tái)手機(jī)一個(gè)生命周期內(nèi)使用大模型的成本約20元，這是手機(jī)硬件部門接受不了的。

過去他們分析，要覆蓋這部分成本，可能有3種途徑，一是硬件愿意出錢，二是可商業(yè)化、互聯(lián)網(wǎng)變現(xiàn)，三是用戶付費(fèi)。這三條路他們都嘗試走了，也得益于大模型的進(jìn)步，成本下降非?？欤F(xiàn)在終端機(jī)和高端機(jī)上的硬件可以出一定費(fèi)用來覆蓋模型成本，大約只有原來20元的1/4~1/5。中高端手機(jī)和汽車對(duì)大模型成本已經(jīng)不敏感了，手機(jī)端有機(jī)會(huì)通過接下來的內(nèi)容分發(fā)、服務(wù)分發(fā)、變現(xiàn)去覆蓋大模型成本，但如何把大模型部署到智能音箱仍難度較大。

閱文集團(tuán)筑夢(mèng)島總經(jīng)理葛文兵說，能夠真正滿足內(nèi)心需求的產(chǎn)品存在市場(chǎng)空白，筑夢(mèng)島擁有廣泛的角色陣容和雄厚的IP儲(chǔ)備，隨著用戶對(duì)AI角色質(zhì)量苛刻程度逐級(jí)提升，其中網(wǎng)文角色難度最大，因此筑夢(mèng)島選擇與商湯合作。

商湯擬人大模型支持個(gè)性化角色創(chuàng)建與定制、知識(shí)庫構(gòu)建、長對(duì)話記憶、多人群聊等功能，可實(shí)現(xiàn)角色、人設(shè)及劇情推動(dòng)能力，能做到人設(shè)貼合，可設(shè)置不同檔位的對(duì)話親密度，驅(qū)動(dòng)各類原創(chuàng)及IP角色上線多個(gè)平臺(tái)。

體驗(yàn)地址：https://character./

05.

結(jié)語：“大模型+大算力”雙輪驅(qū)動(dòng)，

運(yùn)營算力規(guī)模達(dá)12000P

基于“大模型+大算力”雙輪驅(qū)動(dòng)戰(zhàn)略布局，商湯科技打造“日日新SenseNova”大模型體系和“SenseCore商湯大裝置”，在推動(dòng)自身大模型研發(fā)的同時(shí)，也為行業(yè)伙伴提供大模型訓(xùn)練、微調(diào)、部署和各類生成式AI的能力及服務(wù)。

SenseCore商湯大裝置是商湯科技前瞻打造的高效率、低成本、規(guī)模化的新一代AI基礎(chǔ)設(shè)施，目前實(shí)現(xiàn)了全國聯(lián)網(wǎng)的統(tǒng)一調(diào)度，在上海、深圳、廣州、福州、濟(jì)南、重慶等地均有計(jì)算節(jié)點(diǎn)。

通過算法設(shè)計(jì)與算力設(shè)施聯(lián)合優(yōu)化，目前商湯大裝置已實(shí)現(xiàn)萬卡集群互聯(lián)，運(yùn)營算力有12000P；GPU超4萬塊；峰值算力有12000P，預(yù)計(jì)到今年年底達(dá)到18000P；國產(chǎn)化算力2000P，已完成58款國產(chǎn)芯片的適配與應(yīng)用。

基于SenseCore商湯大裝置，商湯新推出的“模型即服務(wù)”商業(yè)模式使客戶能夠輕松地在大裝置微調(diào)和調(diào)用各類生成式AI能力。

日日新大模型體系在自然語言處理、視頻生成和深度學(xué)習(xí)優(yōu)化等多個(gè)方面取得創(chuàng)新，提供自然語言處理、圖片生成、自動(dòng)化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等多種大模型及能力。

基于該大模型體系，商湯自研了中文語言大模型應(yīng)用平臺(tái)，以及包括AI文生圖創(chuàng)作、2D/3D數(shù)字人生成、大場(chǎng)景/小物體生成等一系列生成式AI模型及應(yīng)用，并面向政企客戶提供多種靈活的API接口和服務(wù)。

在探索先進(jìn)大模型技術(shù)的同時(shí)，商湯科技也在推動(dòng)大模型與產(chǎn)業(yè)、應(yīng)用場(chǎng)景更好的結(jié)合，幫助更多行業(yè)低門檻、高效落地部署AI大模型技術(shù)。

（本文系網(wǎng)易新聞·網(wǎng)易號(hào)特色內(nèi)容激勵(lì)計(jì)劃簽約賬號(hào)【智東西】原創(chuàng)內(nèi)容，未經(jīng)賬號(hào)授權(quán)，禁止隨意轉(zhuǎn)載。）

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： liuaqbb > 《人工智能應(yīng)用》

舉報(bào)/認(rèn)領(lǐng)