国产精品视频网址|久久机热国产自偷自|欧美一级中文一级|久久久无码日韩视频|欧美午夜激情影院|成人av不卡网站|色吧加勒比一本道东京热成人无码在线|欧美 亚洲 偷情|欧美老妇乱一区二区|亚洲一区二区网站

中國工程院院士劉韻潔:協(xié)同訓練是大模型訓練必由之路

中國工程院院士劉韻潔發(fā)表了題為《確定性網絡助力中國算力網高質量發(fā)展》的主旨演講,深入探討了確定性網絡對于推動中國算力網高質量發(fā)展的重要性,并針對大模型訓練提出了協(xié)同訓練的建議。

在9月28日舉行的2024中國算力大會主論壇上,中國工程院院士劉韻潔發(fā)表了題為《確定性網絡助力中國算力網高質量發(fā)展》的主旨演講,深入探討了確定性網絡對于推動中國算力網高質量發(fā)展的重要性,并針對大模型訓練提出了協(xié)同訓練的建議。

中國工程院院士劉韻潔

劉韻潔表示,數據要素是人工智能和大模型發(fā)展的基礎,而網絡、算力、數據交換平臺和安全構成了數據基礎設施的四大支柱。面對AI未來的發(fā)展,他認為有三大挑戰(zhàn):大模型對網絡的新需求、空間計算的推廣和智能體(如人形機器人)的發(fā)展。同時,他指出當前網絡帶寬的增長速度遠低于GPU的增長速度,帶寬瓶頸逐漸顯現(xiàn),這對算力傳輸提出了更高的要求。

針對這些挑戰(zhàn),劉韻潔強調了確定性網絡的重要性。他提到,國家數據局發(fā)布的“數聯(lián)網”指南對網絡的確定性提出了高要求,包括千公里傳輸抖動不高于50微秒、傳輸效率大于90%、丟包率低于1/10萬等。這些指標的實現(xiàn)離不開確定性網絡技術。確定性網絡不僅能夠滿足低時延、高可靠性的需求,還能提升數據傳輸的效率,是算力網發(fā)展的重要基礎。

在大模型訓練方面,劉韻潔認為,目前大模型只能在單一地點進行訓練,存在電力和算力資源難以承受的問題。而協(xié)同訓練可以在多個地點進行分布式訓練,不僅能夠減輕單一地點的壓力,還能提高訓練效率。他透露,通過技術手段,已經實現(xiàn)了分鐘級解決排隊問題,并且多個異地訓練能夠達到單點訓練80%的效率。他表示,協(xié)同訓練是大模型訓練必須要走的路。

劉韻潔還介紹了在確定性網絡技術方面的實驗成果。聯(lián)通、紫金山實驗室、江蘇未來網絡集團等機構合作,成功實現(xiàn)了光電融合的技術突破。這一技術能夠大大降低網絡的延遲和成本,同時提高傳輸效率。目前,已經在多個城市進行了試驗網的部署和測試,效果非常顯著。此外,還在南京、鄭州、濟南等地建設了確定性網絡基礎設施,為政務網和企業(yè)網的數據共享和流通提供了有力支持。

展望未來,劉韻潔表示,中國要充分利用自身的行業(yè)數據優(yōu)勢,發(fā)展行業(yè)大模型。通過政府、企業(yè)和資本的共同努力,將行業(yè)數據訓練成高效的大模型,從而走出一條具有中國特色的AI發(fā)展道路。同時,他也呼吁全國各地加快算力網絡的建設和調度工作,共同推動中國算力網絡的高質量發(fā)展。

來源:新華網

相關推薦

  • 中國工程院院士鄔賀銓:AI大模型仍需“大力出奇跡”

    鄔賀銓稱,大模型領域存在規(guī)?;?,模型參數量、數據集大小,以及用于訓練的算力規(guī)模三因素同時放大才有最佳效果,當不受其他兩個因素的制約時,大模型性能與單個因素都...

    Border circle YE 2024-08-20 10:09:29 0 0 2287

發(fā)表評論