【環球網科技報道 記者 鄭湘琪】“與語言大模型相比，視覺大模型還處于‘爆發前夜’，需要一個‘殺手級’應用出現。”近日，在2023北京智源大會（以下簡稱“大會”）期間，智源研究院院長黃鐵軍在接受記者采訪時如是說。

當前，大模型相關新研究、新產品競相涌現。《中國人工智能大模型地圖研究報告》（以下簡稱《報告》）顯示，據不完全統計，截至目前，參數在10億規模以上的大模型全國已發布79個。

(資料圖片)

在黃鐵軍看來，大模型需要具備三個條件：一是規模要大，參數甚至能達到百億規模以上；二是涌現性，能夠產生預料之外的新能力；三是通用性，不限于專門問題或領域，能夠處理多種不同的任務。

早在2020年10月，智源研究院就開始對超大規模預訓練模型“悟道”項目進行路徑探索。隨后在2021年3月，作為中國首個超大規模預訓練模型，“悟道1.0”發布；同年6月，智源研究院又再次發布“悟道2.0”。

經過一段時間的技術積淀，全面開源的“悟道3.0”在大會上面世。此次發布的一系列成果包括“悟道·天鷹”語言大模型系列、天秤開源大模型評測體系與開放平臺、“悟道·視界”視覺大模型系列，以及一系列多模態模型成果。

以悟道·天鷹為例，黃鐵軍介紹，作為首個具備中英雙語知識，支持商用許可協議、國內數據合規需求的開源語言大模型，其在中英文高質量語料基礎上從“0”開始訓練，通過數據質量的控制、多種訓練的優化方法，實現在更小的數據集、更短的訓練時間獲得更優的性能。

大模型發展邁入“快車道”

回憶起“悟道”的迭代歷程，黃鐵軍曾表示，“人工智能的發展已經從‘大煉模型’逐步邁向了‘煉大模型’的階段，業界通過設計先進的算法整合盡可能多的數據，匯聚大量算力，并集約化地訓練大模型供大量企業使用，已是必然趨勢。”

顯然，智源研究院對大模型的預判已照進現實。《報告》顯示，當前我國大模型正呈現蓬勃發展態勢。一批通用類大模型正快速發展，應用行業正從辦公、生活、娛樂等方向，向醫療、工業、教育等領域加速拓展。

黃鐵軍告訴記者，之所以這么多大模型迎來爆發，是因為出現了新的學習方法，其中最重要的方法便是自監督學習。據悉，自監督學習的優勢是可以在無標簽的數據上完成訓練，監督學習則需要有標簽數據，而數據的標注也離不開人力成本。

“小數據是訓練不出來一個大模型的，但基于自監督學習，數據不再受限于成本、人力等因素。只要數據有結果，模型就能通過自監督學習從中智能地提煉出隱藏的規律，然后去解決相應的問題。”黃鐵軍說。

按類別來看，黃鐵軍認為，與已在全世界掀起浪潮的語言大模型相比，視覺大模型仍處于“爆發前夜”，依然有很多問題有待解決。當有一種“殺手級”應用出現，便能激發出視覺大模型背后的能力，以及大家對視覺大模型的熱情。

業界應“集中力量辦大事”

值得關注的是，已邁上“快車道”的大模型依然存在發展掣肘。黃鐵軍坦言，“現在大模型的‘大’遠遠沒有達到天花板和包羅萬象的程度。僅從語言這一大類來說，可能也得三年左右的時間才能做到包羅萬象。未來三年大模型的規模還會增大，能力還會更強，這應該是基本趨勢。”

對此，黃鐵軍也建議，業界應該在大模型研究領域形成合力，擴容生態。“我覺得重復性發力，發力得越多反而可能會發散資源。咱們總說集中力量辦大事，在大模型方面業界能否各自發揮各自優勢，在自己最擅長的環節做到最強，然后將最強的這些環節連接在一起，有機形成一個生態，這才是我們應該努力的方向。”

在開源生態方面，智源研究院也作出一系列努力。比如，今年年初發布的FlagOpen大模型技術開源體系，為大模型發展夯實了底層技術棧。基于FlagOpen，智源研究院希望打造出全面支撐大模型技術發展的開源算法體系和一站式基礎軟件平臺，與業界共建共享大模型時代的“新Linux”開源開放生態。

而在數據集方面，智源已開源首個大規模、可商用的中文指令數據集COIG。據介紹，COIG一期已開放總計19.1萬條指令數據，COIG二期正在建設最大規模、持續更新的中文多任務指令數據集。其整合了1800多個海量開源數據集，人工改寫了3.9億條指令數據，并提供了完善的數據篩選、版本控制工具。

談到大模型對人們生活的影響，黃鐵軍表示，一方面，作為技術工具，人工智能替代了很多原本只有人才能完成的任務，為企業帶來效率的提升和成本的降低。另一方面，有些職業因此會面臨沖擊，比如一些重復性的工作可以通過AI以更低成本實現，不過新機會也會出現，受到沖擊的這些人可以找到更能發揮自己能力的新工作。

“我認為這就是技術發展的一個常態，一方面會帶來‘蜜月期’，另外一方面也會有些陣痛，但是相信人機結合會在未來一二十年有很好的發展。”黃鐵軍說。

關鍵詞：

責任編輯：Rex_13