AI 超大規(guī)模智能模型“悟道2.0”發(fā)布參數(shù)規(guī)模達(dá)GPT-3的10倍超大規(guī)模智能模型“悟道2.0”

在1日召開(kāi)的2021北京智源大會(huì)上，北京智源人工智能研究院發(fā)布了新版超大規(guī)模智能模型“悟道2.0” ，這是在今年3月20日發(fā)布的“悟道1.0”基礎(chǔ)上更新迭代而來(lái) ，具備大規(guī)模、高精度、高效率的特點(diǎn) 。
“悟道”模型旨在打造數(shù)據(jù)和知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知智能，讓機(jī)器像人一樣思考，實(shí)現(xiàn)“超越圖靈測(cè)試的機(jī)器認(rèn)知能力” 。“悟道”團(tuán)隊(duì)在大規(guī)模預(yù)訓(xùn)練模型研發(fā)上做了很多基礎(chǔ)性工作，形成了自主的超大規(guī)模智能模型技術(shù)創(chuàng)新體系，擁有理論、工具、模型構(gòu)建和測(cè)評(píng)的完整鏈條。

“悟道2.0”模型的參數(shù)規(guī)模達(dá)到1.75萬(wàn)億，是GPT-3的10倍，打破了之前由Google Switch Transformer預(yù)訓(xùn)練模型創(chuàng)造的1.6萬(wàn)億參數(shù)記錄，是目前中國(guó)首個(gè)、全球最大的萬(wàn)億級(jí)模型。

文章圖片

Google萬(wàn)億模型的核?技術(shù)MoE（Mixture of Experts）與其分布式訓(xùn)練框架和其定制硬件強(qiáng)綁定。“悟道”團(tuán)隊(duì)研究并開(kāi)源的FastMoE是首個(gè)支持PyTorch框架的MoE系統(tǒng) ，具有簡(jiǎn)單易用、靈活、高性能等特點(diǎn) ，并且支持大規(guī)模并行訓(xùn)練。新一代FastMoE ，支持Switch、GShard等復(fù)雜均衡策略，支持不同專(zhuān)家不同模型，是實(shí)現(xiàn)“萬(wàn)億模型”的關(guān)鍵技術(shù) 。
“悟道2.0”模型在中英雙語(yǔ)共4.9T的高質(zhì)量大規(guī)模清洗數(shù)據(jù)上進(jìn)行訓(xùn)練。訓(xùn)練數(shù)據(jù)包含WuDaoCorpora中的1.2TB中文文本數(shù)據(jù)、2.5TB中文圖文數(shù)據(jù) ，以及Pile數(shù)據(jù)集的1.2TB英文文本數(shù)據(jù) 。
據(jù)介紹， “悟道2.0”在世界公認(rèn)的9項(xiàng)Benchmark基準(zhǔn)測(cè)試任務(wù)上取得較好的成績(jī) 。
【AI|超大規(guī)模智能模型“悟道2.0”發(fā)布參數(shù)規(guī)模達(dá)GPT-3的10倍】
文章圖片

新版模型的另一突破在于減少了算力資源、訓(xùn)練時(shí)間等方面的巨大消耗。為提升大規(guī)模預(yù)訓(xùn)練模型的產(chǎn)業(yè)普適性和易用性，悟道團(tuán)隊(duì)搭建高效預(yù)訓(xùn)練框架，在編碼、模型、訓(xùn)練、調(diào)參和推理等方面效率大幅提升。
（1）高效編碼：研發(fā)了最高效、最抗噪的中文預(yù)訓(xùn)練語(yǔ)言模型編碼，解決生僻字等問(wèn)題；
（2）高效模型：構(gòu)建了世界首個(gè)純非歐空間模型，只需要一半的參數(shù)量即可達(dá)到近似歐式模型的效果；
（3）高效訓(xùn)練：世界首創(chuàng)大規(guī)模預(yù)訓(xùn)練模型融合框架，形成高效訓(xùn)練新模式，訓(xùn)練時(shí)間縮短27.3% ，速度提升37.5%；
（4）高效微調(diào)：世界首創(chuàng)多類(lèi)別Prompt微調(diào) ，只需訓(xùn)練0.001%參數(shù)即可實(shí)現(xiàn)下游任務(wù)適配；
（5）高效推理：世界首創(chuàng)低資源大模型推理系統(tǒng) ，單機(jī)單卡GPU即可以進(jìn)行千億參數(shù)規(guī)模的模型推理。
“悟道”模型在3月首發(fā)時(shí)已經(jīng)預(yù)告要和一些龍頭企業(yè)共同研發(fā)應(yīng)用成果，本次發(fā)布時(shí)就宣布了與新華社、美團(tuán)、小米、快手、搜狗、360、寒武紀(jì)、第四范式、好未來(lái)、智譜華章等22家合作企業(yè)正式簽約。同時(shí)啟動(dòng)“悟道之巔”模型應(yīng)用大賽，鼓勵(lì)開(kāi)發(fā)者利用該模型開(kāi)發(fā)應(yīng)用案例。

文章圖片

AI 超大規(guī)模智能模型“悟道2.0”發(fā)布參數(shù)規(guī)模達(dá)GPT-3的10倍

推薦閱讀

如何找尋自我

縫紉機(jī)調(diào)線器怎么安裝平車(chē) 方法如何

強(qiáng)組詞強(qiáng)字組詞

火筍雞翅的做法（增肥食譜）

閨女生日快樂(lè)祝福語(yǔ)朋友圈

LV請(qǐng)來(lái)潮牌設(shè)計(jì)師做藝術(shù)總監(jiān)，看中的是啥

老虎豆怎么做好吃老虎豆圖片怎樣弄來(lái)吃

暖氣有流水聲是什么原因

皮球是什么體

手機(jī)怎樣開(kāi)通QQ空間

男生發(fā)mua說(shuō)明 mua是什么意思

手指蓋凹陷怎么回事

對(duì)自己的生活失去掌控咋調(diào)整

小米10s怎么沒(méi)有月亮模式

我想找個(gè)偏僻的地方搞養(yǎng)殖！有沒(méi)有推薦的地方？

南京養(yǎng)老金認(rèn)證上門(mén)服務(wù)怎么申請(qǐng) 南京市養(yǎng)老金認(rèn)證

如何評(píng)價(jià)豬場(chǎng)閹割豬？

最后一個(gè)字是豹的成語(yǔ)

泰山散酒怎么樣

貓發(fā)情的聲音(貓發(fā)情的叫聲)

AI 超大規(guī)模智能模型“悟道2.0”發(fā)布 參數(shù)規(guī)模達(dá)GPT-3的10倍

推薦閱讀

AI 超大規(guī)模智能模型“悟道2.0”發(fā)布參數(shù)規(guī)模達(dá)GPT-3的10倍