與正式亮相時(shí)隔4個(gè)月之后，創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO李開(kāi)復(fù)創(chuàng)辦的AI公司“零一萬(wàn)物”有了新進(jìn)展。

11月6日，零一萬(wàn)物正式發(fā)布了開(kāi)源大模型“Yi”。目前，Yi系列模型已在Hugging Face、ModelScope、GitHub三大全球開(kāi)源社區(qū)平臺(tái)上線，并對(duì)外開(kāi)放了商用申請(qǐng)。

李開(kāi)復(fù)說(shuō)，開(kāi)源對(duì)推動(dòng)世界技術(shù)革命的發(fā)展有著非常重要的意義，從Linux開(kāi)始，到各種AI技術(shù)，再到今天AI 2.0，一直有開(kāi)源的力量在不斷地推動(dòng)一波波的技術(shù)浪潮。

這也是零一萬(wàn)物選擇做開(kāi)源大模型的原因。“零一萬(wàn)物的發(fā)展受益于此前開(kāi)源社區(qū)的一些集體智慧，這也讓我們有義務(wù)去做一些貢獻(xiàn)，”李開(kāi)復(fù)表示，“很多人覺(jué)得大模型需要超級(jí)多的資源，只有OpenAI、微軟、谷歌、阿里、百度、騰訊這樣的公司才能做，但是任何技術(shù)都是需要全球化的參與，而開(kāi)源的方向是讓大家都有機(jī)會(huì)能夠接觸到大模型?！?/p>

“燒錢”

今年3月，李開(kāi)復(fù)在社交平臺(tái)正式宣布要?jiǎng)?chuàng)辦一家AI公司。到了7月，新公司正式定名為“零一萬(wàn)物”，并已有數(shù)十名核心成員，主要集中在大模型技術(shù)、人工智能算法、自然語(yǔ)言處理、系統(tǒng)架構(gòu)、算力架構(gòu)、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領(lǐng)域。

據(jù)當(dāng)時(shí)介紹，零一萬(wàn)物的聯(lián)創(chuàng)團(tuán)隊(duì)成員包含前阿里巴巴副總裁、前百度副總裁、前滴滴/百度首席算法負(fù)責(zé)人、前谷歌中國(guó)高管、前微軟/SAP/Cisco/副總裁，算法和產(chǎn)品團(tuán)隊(duì)背景均來(lái)自國(guó)內(nèi)外大廠。

在發(fā)布Yi系列模型的同時(shí)，零一萬(wàn)物的部分團(tuán)隊(duì)成員也首度亮相。比如零一萬(wàn)物技術(shù)副總裁及Pretrain負(fù)責(zé)人黃文灝曾先后任職于微軟亞洲研究院和智源研究院，非常早就介入了AI 2.0工作。

零一萬(wàn)物技術(shù)副總裁及AI Infra負(fù)責(zé)人戴宗宏此前曾擔(dān)任過(guò)華為云AI CTO及技術(shù)創(chuàng)新部長(zhǎng)、阿里達(dá)摩院AI Infra總監(jiān)。他管理的Infra團(tuán)隊(duì)核心成員主要來(lái)自于阿里、華為、微軟、商湯，這些人曾經(jīng)參與支持了4個(gè)千億參數(shù)大模型規(guī)?；?xùn)練，管理過(guò)數(shù)萬(wàn)張GPU卡。

有了豐富的人才儲(chǔ)備之后，零一萬(wàn)物還需要解決數(shù)據(jù)和算力等問(wèn)題。據(jù)李開(kāi)復(fù)介紹，零一萬(wàn)物想盡了各種辦法和渠道解決數(shù)據(jù)問(wèn)題?！拔覀?cè)谕赓?gòu)買了很多數(shù)據(jù)，也動(dòng)用網(wǎng)絡(luò)爬蟲，去合法獲取允許的網(wǎng)站內(nèi)容，同時(shí)也用了很多網(wǎng)上已經(jīng)開(kāi)源分享的數(shù)據(jù)。不過(guò)在拿到這些數(shù)據(jù)后，其中有很多重復(fù)，質(zhì)量也參差不齊，所以我們對(duì)這些數(shù)據(jù)做了非常系統(tǒng)化的篩選，最終是從100多T的數(shù)據(jù)中挑選出3T”。

在算力方面，李開(kāi)復(fù)則提到，“在零一萬(wàn)物初創(chuàng)階段，就判斷GPU比黃金重要，所以很早就在規(guī)劃各種資源，現(xiàn)在零一萬(wàn)物的算力資源足夠用到18個(gè)月之后”。

而對(duì)于一家AI公司尤其是做大模型的公司來(lái)說(shuō)，無(wú)論是招募人才，還是購(gòu)置數(shù)據(jù)和算力資源，都是一筆不菲的投入。李開(kāi)復(fù)也透露稱，在沒(méi)有完成新一輪融資之前，零一萬(wàn)物已經(jīng)負(fù)債幾千萬(wàn)美元。

不過(guò)，零一萬(wàn)物也已得到資本的青睞。據(jù)記者了解，零一萬(wàn)物已完成新一輪融資，由阿里云領(lǐng)投，估值超過(guò)了10億美元。這也意味著，李開(kāi)復(fù)只用了8個(gè)月的時(shí)間，就創(chuàng)造出一個(gè)獨(dú)角獸公司。

成績(jī)

據(jù)李開(kāi)復(fù)介紹，零一萬(wàn)物從今年6、7月份才開(kāi)始寫下第一行代碼，在短短四個(gè)月的時(shí)間內(nèi)，零一萬(wàn)物卻交出一份亮眼的成績(jī)單。

此次發(fā)布的Yi系列模型包含34B和6B兩個(gè)版本。其中，截至11月5日的數(shù)據(jù)，Yi-34B在Hugging Face英文測(cè)試公開(kāi)榜單Pretrained預(yù)訓(xùn)練開(kāi)源模型排名中，以70.72的分?jǐn)?shù)位列全球第一，超過(guò)了LLaMA2-70B和Falcon-180B等眾多大尺寸模型。

在中文方面，Yi-34B在C-Eval中文權(quán)威榜單排行榜上也超越了全球所有開(kāi)源模型。其中在CMMLU、E-Eval、Gaokao三個(gè)主要的中文指標(biāo)上，Yi-34B的表現(xiàn)也已超越GPT-4。

另外值得注意的是，Yi-34B將發(fā)布可支持200K上下文窗口（context window）版本，可以處理約40萬(wàn)漢字超長(zhǎng)文本輸入。相比之下，OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬(wàn)字。

在語(yǔ)言模型中，上下文窗口是大模型綜合運(yùn)算能力的金指標(biāo)之一，對(duì)于理解和生成與特定上下文相關(guān)的文本至關(guān)重要，擁有更長(zhǎng)窗口的語(yǔ)言模型可以處理更豐富的知識(shí)庫(kù)信息。而零一萬(wàn)物，也成為第一家將超長(zhǎng)上下文窗口在開(kāi)源社區(qū)開(kāi)放的大模型公司。

除了此次發(fā)布的大模型產(chǎn)品之外，李開(kāi)復(fù)還重點(diǎn)介紹了背后的一些研發(fā)能力。其表示，憑借AI Infra的支撐，Yi-34B模型訓(xùn)練成本下降了40%，“也就是說(shuō)別的公司如果需要2000臺(tái)GPU訓(xùn)練這樣一個(gè)模型，而我們可能只要1200張”。

同時(shí)，經(jīng)過(guò)幾個(gè)月大量的建模和實(shí)驗(yàn)，零一萬(wàn)物自研出一套“規(guī)模化訓(xùn)練實(shí)驗(yàn)平臺(tái)”，用來(lái)指導(dǎo)模型的設(shè)計(jì)和優(yōu)化。現(xiàn)在，數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實(shí)驗(yàn)等都可以在小規(guī)模實(shí)驗(yàn)平臺(tái)上進(jìn)行，小尺寸模型成功后，再應(yīng)用到大尺寸模型當(dāng)中，在訓(xùn)練34B模型時(shí)，零一萬(wàn)物已經(jīng)驗(yàn)證了該平臺(tái)的有效性，并且每個(gè)節(jié)點(diǎn)的預(yù)測(cè)誤差都控制在了0.5%以內(nèi)。

基于這樣的模型預(yù)測(cè)能力，可大大減少訓(xùn)練誤差對(duì)于計(jì)算資源的浪費(fèi)，同時(shí)也讓以往的大模型訓(xùn)練碰運(yùn)氣的“煉丹”過(guò)程變得極度細(xì)致和科學(xué)化。李開(kāi)復(fù)宣布，在完成Yi-34B預(yù)訓(xùn)練的同時(shí)，零一萬(wàn)物已經(jīng)啟動(dòng)下一個(gè)千億參數(shù)模型的訓(xùn)練。

未來(lái)

在談到大模型的未來(lái)前景時(shí)，李開(kāi)復(fù)再次強(qiáng)調(diào)，大模型時(shí)代不僅是人類跨向AGI的重要一步，同時(shí)也是一個(gè)巨大的平臺(tái)機(jī)會(huì)，這個(gè)平臺(tái)可以比肩PC時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代。

而在這樣一個(gè)時(shí)代，最大的商機(jī)是創(chuàng)造出超級(jí)應(yīng)用（Super App）。在李開(kāi)復(fù)看來(lái)，Super App是大部分人需要花大量時(shí)間，每天必須有它才能得到自己的價(jià)值體現(xiàn)。比如PC時(shí)代的微軟Office，移動(dòng)互聯(lián)網(wǎng)時(shí)代的微信等，都是Super App。

所以，做出一款Super App也是零一萬(wàn)物在努力的目標(biāo)?！拔覀兊腟uper App雛形很快就會(huì)跟大家見(jiàn)面，”李開(kāi)復(fù)表示，“在這個(gè)階段，我們也不認(rèn)為我們自己就能把Super App做出來(lái)，但Super App一定都是簡(jiǎn)單的開(kāi)始，然后用精益創(chuàng)業(yè)的方法不斷迭代，最終迭代成超級(jí)應(yīng)用”。

這是零一萬(wàn)物做Super App的方法論，李開(kāi)復(fù)認(rèn)為這也將是未來(lái)十萬(wàn)甚至上百萬(wàn)開(kāi)發(fā)者去嘗試的方法論。AI 2.0充滿著機(jī)會(huì)，零一萬(wàn)物希望自己能夠開(kāi)發(fā)出一個(gè)Super App，同樣，任何一個(gè)創(chuàng)業(yè)者如果找對(duì)了方向，并進(jìn)行快速迭代，那也有可能打造出AI 2.0時(shí)代的Super App。

另外從企業(yè)發(fā)展角度，李開(kāi)復(fù)也表示，在AI 2.0時(shí)代，商業(yè)化非常重要。在AI 1.0時(shí)代，很多AI公司沒(méi)有做好商業(yè)化，很早就被淘汰，而那些做出收入的，在持續(xù)性上也做得不夠好，所以AI 1.0的公司交出的成績(jī)單并不理想。

這也為AI 2.0時(shí)代的創(chuàng)業(yè)公司敲響了警鐘?！拔覀冏鯝pp就是朝著能夠快速有收入，并且能夠產(chǎn)生非常好的利潤(rùn)，讓收入變得可持續(xù)?，F(xiàn)在那些發(fā)展成功的公司，都是因?yàn)樗麄兊氖杖胗匈|(zhì)量，在零一萬(wàn)物看來(lái)，應(yīng)用的收入質(zhì)量要高于做ToB，所以我們也選擇堅(jiān)定不移地走ToC路徑。”李開(kāi)復(fù)說(shuō)。

來(lái)源：21世紀(jì)經(jīng)濟(jì)報(bào)道   白楊

責(zé)任編輯：李賽男