這兩天阿里出了個(gè)專家會(huì)議紀(jì)要，其中提了一個(gè)問題：我們趕上 GPT 3. 5 的難度是在調(diào)參還是在算力？最重要的核心瓶頸是什么？專家的回答如下圖，我把重點(diǎn)標(biāo)出來。

(資料圖片)

專家回答，在算力不是問題的前提下，核心瓶頸有三個(gè)：第一是數(shù)據(jù)量，占比30%。第二是模型結(jié)構(gòu)的創(chuàng)新，占比40%。第三是工程化落地能力，占比30%。

公司自己總結(jié)五大優(yōu)勢中，大規(guī)模優(yōu)質(zhì)數(shù)據(jù)資產(chǎn)和AI工程化落地能力是拓爾思核心優(yōu)勢。

今天不吹數(shù)據(jù)，吹多了沒意思了。重點(diǎn)看工程化落地能力。

生成一個(gè)高質(zhì)量行業(yè)大模型的關(guān)鍵，就是在通用大模型的基礎(chǔ)上，利用行業(yè)數(shù)據(jù)進(jìn)一步訓(xùn)練生產(chǎn)行業(yè)大模型，并對行業(yè)大模型調(diào)優(yōu)實(shí)現(xiàn)。這其中，對通用大模型“再訓(xùn)練”、“調(diào)優(yōu)”形成高質(zhì)量行業(yè)大模型的兩個(gè)基本動(dòng)作，也決定了廠商必備的三大能力：豐富的行業(yè)數(shù)據(jù)積累、大模型調(diào)優(yōu)能力、AI工程化。

而AI工程化是指提供AI應(yīng)用開發(fā)的系列方法、工具和實(shí)踐集合，形成快速測試、構(gòu)建和部署AI應(yīng)用開發(fā)流水線，加速AI應(yīng)用落地過程，實(shí)現(xiàn)模型自動(dòng)重新訓(xùn)練和部署。行業(yè)大模型只解決了大模型“可用”的問題，若想AI成為企業(yè)的生產(chǎn)力，還需要解決大模型“落地”的工程化問題，否則落地效率、周期會(huì)遠(yuǎn)超預(yù)期。

就如阿里專家會(huì)議紀(jì)要中所說:"我們都知道什么叫預(yù)訓(xùn)練、調(diào)優(yōu)訓(xùn)練、推理訓(xùn)練，但是到具體的工程階段沒有任何可以參照的方法論，數(shù)據(jù)的處理，模型的訓(xùn)練，模型優(yōu)化，模型的部署和運(yùn)用，每個(gè)階段都有一些方法論在里面，需要自己去摸索。包括你怎么樣去獲取高質(zhì)量的數(shù)據(jù)，拿到這些數(shù)據(jù)以后怎么樣通過工程化的手法把數(shù)據(jù)標(biāo)注好，標(biāo)注好以后怎么樣去評測。如果數(shù)據(jù)質(zhì)量不夠高，你再喂養(yǎng)給模型，基本上是浪費(fèi)時(shí)間，因?yàn)榕芤惠喯聛砘藥装偃f，但是你的精度可能只能調(diào)零點(diǎn)幾，這樣投產(chǎn)很不值得，所以在整個(gè)模型里面有 1/ 3 的時(shí)間是用來處理數(shù)據(jù)的，只有數(shù)據(jù)質(zhì)量夠好，才可以去后面做模型訓(xùn)練。做模型訓(xùn)練，中間你要去設(shè)定它的評估指標(biāo)，而且你要在調(diào)試的過程中可視化的監(jiān)控它，所以整個(gè)模型調(diào)優(yōu)過程需要一套工程化的工具手段，要可量化，而且中間你要會(huì)干預(yù)，否則你幾十層訓(xùn)練完幾個(gè)月過去了，所以這種顆粒度的控制和可視化都有一些關(guān)鍵的方法論在里面，這種方法論也是海外跟我們拉開差距，以及我們自己相互拉開差距的比較重要一點(diǎn)，基本上要占百分之30。"

AI工程化能力涉及兩個(gè)方面：1）通過分布式訓(xùn)練提升計(jì)算效率，解決大模型大體量參數(shù)、復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)帶來的內(nèi)存、通訊以及計(jì)算瓶頸；2）實(shí)現(xiàn)模型開發(fā)過程的持續(xù)生產(chǎn)、持續(xù)交付和持續(xù)部署。一方面，需要將定制化解決方案經(jīng)驗(yàn)沉淀形成標(biāo)準(zhǔn)化產(chǎn)品，實(shí)現(xiàn)產(chǎn)品與服務(wù)的規(guī)模化，加速商業(yè)化落地效率；另一方面，也需要完善AI開發(fā)生命周期的工具、固化開發(fā)流程，提高模型開發(fā)全流程的緊耦合度，提升大模型訓(xùn)練效率。

$拓爾思(SZ300229)$

$三六零(SH601360)$

$昆侖萬維(SZ300418)$

關(guān)鍵詞：