“紫東太初”首次實(shí)現(xiàn)“以圖生音”和“以音生圖” AI從“一專一能”邁向“多專多能”

　　◎?qū)嵙?xí)記者 李詔宇

　　“紫東太初”是全球首個(gè)圖、文、音三模態(tài)大模型，開(kāi)創(chuàng)性地實(shí)現(xiàn)了圖像、文本、語(yǔ)音三模態(tài)數(shù)據(jù)間的“統(tǒng)一表示”與“相互生成”，實(shí)現(xiàn)了“以圖生音”和“以音生圖”，理解和生成能力更接近人類，為打造多模態(tài)人工智能行業(yè)應(yīng)用提供創(chuàng)新基礎(chǔ)，向通用人工智能邁出了重要一步。

　　近日，2022世界人工智能大會(huì)在上海舉行，由武漢人工智能研究院、中國(guó)科學(xué)院自動(dòng)化研究所和華為技術(shù)有限公司聯(lián)合研發(fā)的“紫東太初”多模態(tài)大模型項(xiàng)目獲得了此次大會(huì)的最高獎(jiǎng)項(xiàng)?！按舜未髸?huì)的‘智聯(lián)世界，元生無(wú)界’主題，恰好揭示了人類智能未來(lái)發(fā)展的兩大方向，智聯(lián)世界代表弱人工智能對(duì)物理世界的作用及改造，而元生無(wú)界則代表著利用人工智能技術(shù)構(gòu)建元宇宙，實(shí)現(xiàn)虛實(shí)融合的新型世界?！敝袊?guó)計(jì)算機(jī)行業(yè)協(xié)會(huì)數(shù)據(jù)安全專業(yè)委員會(huì)委員、北京理工大學(xué)網(wǎng)絡(luò)與安全研究所所長(zhǎng)閆懷志說(shuō)。

　　中國(guó)科學(xué)院自動(dòng)化研究所研究員、武漢人工智能研究院院長(zhǎng)王金橋表示，“紫東太初”是全球首個(gè)圖、文、音三模態(tài)大模型，開(kāi)創(chuàng)性地實(shí)現(xiàn)了圖像、文本、語(yǔ)音三模態(tài)數(shù)據(jù)間的“統(tǒng)一表示”與“相互生成”，實(shí)現(xiàn)了“以圖生音”和“以音生圖”，理解和生成能力更接近人類，為打造多模態(tài)人工智能行業(yè)應(yīng)用提供創(chuàng)新基礎(chǔ)，向通用人工智能邁出了重要一步。

　　“紫東太初”具備部分類腦特性

　　在閆懷志看來(lái)，通用人工智能旨在制造出像人類一樣思考、像人類一樣擁有全面智能、能夠從事多類型工作的機(jī)器，因此又被稱為強(qiáng)人工智能。目前的人工智能充其量只是承襲了人類的認(rèn)知結(jié)果，遠(yuǎn)未形成不同感官之間的、相互確定的認(rèn)知能力。

　　傳統(tǒng)的人工智能，比如大名鼎鼎的阿爾法圍棋(AlphaGo)，在一些領(lǐng)域內(nèi)已經(jīng)“孤獨(dú)求敗”。不過(guò)，北京德火科技有限責(zé)任公司技術(shù)總監(jiān)李巖表示，現(xiàn)階段許多行業(yè)內(nèi)應(yīng)用的人工智能技術(shù)仍處于比較初級(jí)的階段，與科幻電影中設(shè)想的各類人工智能應(yīng)用還相去甚遠(yuǎn)。

　　在王金橋看來(lái)，人工智能一路發(fā)展至今，雖然取得了許多突破與進(jìn)步，但仍存在三大主要局限：首先，人工智能模型的功能單一，一個(gè)模型只能解決一個(gè)任務(wù)；其次，人工智能模型的訓(xùn)練依賴于大量的樣本，如果缺乏足夠的樣本支撐，訓(xùn)練也就無(wú)從談起。以訓(xùn)練人臉識(shí)別數(shù)據(jù)庫(kù)Webface為例，需要2.6億張圖片才能訓(xùn)練出一個(gè)可用的模型；最后，人工智能模型的泛化能力差，不能應(yīng)用于廣泛的應(yīng)用場(chǎng)景。

　　“我們一直以來(lái)都在追求如何解決當(dāng)前人工智能‘一專一用’的問(wèn)題，基于自監(jiān)督學(xué)習(xí)的多模態(tài)預(yù)訓(xùn)練模型是當(dāng)前的一個(gè)重要發(fā)展路徑。”王金橋說(shuō)。

　　自監(jiān)督學(xué)習(xí)指的是從大規(guī)模的無(wú)監(jiān)督數(shù)據(jù)中挖掘隱含的監(jiān)督信息進(jìn)行訓(xùn)練，從而得到對(duì)下游任務(wù)有價(jià)值的表征，相比于傳統(tǒng)的深度學(xué)習(xí)，是更接近人類的學(xué)習(xí)方式。

　　“能否在同一個(gè)維度、同一個(gè)空間，面對(duì)不同的場(chǎng)景提供同一個(gè)多模態(tài)大模型，擺脫‘一專一能’，是實(shí)現(xiàn)人工智能通用化的基礎(chǔ)。”王金橋說(shuō)。“紫東太初”可以將圖像、文本、語(yǔ)音等不同模態(tài)數(shù)據(jù)實(shí)現(xiàn)跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)，突破了當(dāng)前AI技術(shù)局限，具備部分類腦特性，從“一專一能”邁向“多專多能”。

　　閆懷志指出：“本質(zhì)上，‘以圖生音’和‘以音生圖’仍然是一種基于數(shù)據(jù)的人工智能，但它更接近于人類的理解和思考方式，因此可以被視為從弱人工智能向通用人工智能邁進(jìn)的重要基礎(chǔ)性工作?！?/p>

　　實(shí)現(xiàn)三模態(tài)內(nèi)容的統(tǒng)一與重現(xiàn)

　　曾經(jīng)，“以圖生音”和“以音生圖”只是幻想，而如今的“紫東太初”卻讓這兩者成為了現(xiàn)實(shí)?！耙詧D生音”和“以音生圖”究竟是如何實(shí)現(xiàn)的？實(shí)現(xiàn)圖、文、音三模態(tài)轉(zhuǎn)化的真正關(guān)鍵以及底層邏輯是什么？

　　據(jù)悉，“紫東太初”三模態(tài)間的相互轉(zhuǎn)換和生成，其核心原理是視覺(jué)、文本、語(yǔ)音不同模態(tài)通過(guò)各自編碼器映射到統(tǒng)一語(yǔ)義空間，然后通過(guò)多頭自注意力機(jī)制學(xué)習(xí)模態(tài)之間的語(yǔ)義關(guān)聯(lián)以及特征對(duì)齊，形成多模態(tài)統(tǒng)一知識(shí)表示；之后，再利用編碼后的多模態(tài)特征，通過(guò)解碼器分別生成文本、圖像和語(yǔ)音。

　　王金橋表示：“通俗地說(shuō)，‘紫東太初’就是將形式各不相同的三模態(tài)內(nèi)容轉(zhuǎn)化為一個(gè)統(tǒng)一的多模態(tài)知識(shí)表示，之后再次利用這種知識(shí)表示重新生成三模態(tài)內(nèi)容，以此實(shí)現(xiàn)‘以圖生音’和‘以音生圖’?！?/p>

　　同時(shí)，王金橋還表示，“紫東太初”憑借四大突破，有效助力以多模態(tài)認(rèn)知為核心的通用人工智能發(fā)展。

　　具體來(lái)說(shuō)，一是首次提出多層次、多任務(wù)跨模態(tài)自監(jiān)督學(xué)習(xí)框架，支持從詞條級(jí)走向模態(tài)級(jí)、樣本級(jí)的三級(jí)預(yù)訓(xùn)練自監(jiān)督學(xué)習(xí)方式；二是首次完成弱關(guān)聯(lián)多模態(tài)數(shù)據(jù)語(yǔ)義統(tǒng)一表示，減少數(shù)據(jù)收集與清洗代價(jià)；三是首次實(shí)現(xiàn)多模態(tài)理解與生成任務(wù)的統(tǒng)一建模，支持跨模態(tài)檢索、多模態(tài)分類、語(yǔ)音識(shí)別、圖像生成等理解與生成任務(wù)；四是首次實(shí)現(xiàn)無(wú)監(jiān)督超越有監(jiān)督方法，基于5%—10%的數(shù)據(jù)標(biāo)注，實(shí)現(xiàn)100%的有監(jiān)督學(xué)習(xí)效果。

　　打造典型人工智能行業(yè)應(yīng)用

　　“與單模態(tài)和圖文兩模態(tài)相比，‘紫東太初’采用圖、文、音三模態(tài)大模型，可以靈活支撐全場(chǎng)景的人工智能應(yīng)用?！蓖踅饦蛘f(shuō)，“‘紫東太初’還具有在無(wú)監(jiān)督情況下多任務(wù)聯(lián)合學(xué)習(xí)以及不同領(lǐng)域數(shù)據(jù)快速遷移的強(qiáng)大能力。引入語(yǔ)音模態(tài)后的多模態(tài)預(yù)訓(xùn)練模型，可實(shí)現(xiàn)共性圖文音語(yǔ)義空間表征和利用，并突破性地直接實(shí)現(xiàn)三模態(tài)的統(tǒng)一表示，對(duì)更廣泛、更多樣的下游任務(wù)提供模型基礎(chǔ)支撐?！?/p>

　　“目前，我們已經(jīng)整合了產(chǎn)學(xué)研用各方面的資源，打造了一系列典型的人工智能行業(yè)應(yīng)用?！蓖踅饦蛘f(shuō)。在智能制造領(lǐng)域，“紫東太初”可以有效降低模型訓(xùn)練對(duì)于樣本數(shù)量的依賴，同時(shí)提升算法性能。

　　“紫東太初”還與杭州移動(dòng)共同打造了為杭州文旅代言的智能文旅虛擬人“杭小憶”。“紫東太初”的多模態(tài)對(duì)話支持南宋御街場(chǎng)景陶瓷、絲綢、活字印刷、特色小吃等場(chǎng)景化數(shù)據(jù)的增量訓(xùn)練，助力南宋御街的導(dǎo)游、導(dǎo)購(gòu)人工智能數(shù)字人實(shí)現(xiàn)語(yǔ)音識(shí)別、中文對(duì)話、語(yǔ)音交互、以音生圖等功能。