小说区 亚洲 自拍 另类_91啪在线观看国产_2023年国漫在线观看免费_久久久久久久av_国产AV人人夜夜澡人人爽

關注

首頁 > 關注 > 正文
探營騰訊混元大模型 天天熱資訊
發(fā)布時間:2023-04-19 07:23:13   來源:騰訊網(wǎng)  

目前,中國大模型領域的競爭,已經(jīng)進入一個群雄逐鹿的亂戰(zhàn)時代。

截止4月上旬,國內(nèi)已有多家頭部企業(yè)發(fā)布/或預發(fā)布了自己的大模型,其中包括了:


(資料圖片僅供參考)

1、 百度(NASDAQ:BIDU)的文心一言

2、華為的大模型盤古

3、阿里(NYSE:BABA)的大模型通義千問

4、商湯科技的日日新大模型

5、騰訊(HK:00700)的混元大模型

一時間,“尋找或成為中國的OpenAI”,成為了國內(nèi)各企業(yè)最首要的問題。

雖然科技創(chuàng)新講究的就是一個“快”字,但“快”也不是一味的。

如何在保證速度的同時,解決好資金、算力、數(shù)據(jù)、人才,以及更多未知的工程化方法,都是一個頗為考驗“內(nèi)功”的環(huán)節(jié)。

目前,互聯(lián)網(wǎng)行業(yè)中的一些企業(yè),已經(jīng)在大模型領域展現(xiàn)出了自己的實力,比如阿里這類領軍企業(yè),但同時,還有像騰訊這樣實力不容小覷的企業(yè)尚未發(fā)力。

騰訊作為互聯(lián)網(wǎng)行業(yè)的領軍企業(yè)之一,擁有強大的技術實力、豐富的數(shù)據(jù)積累以及AI基礎設置,讓其在AIGC領域的布局備受關注。

01 萬億大模型

自OpenAI發(fā)布Chatgpt以來,大模型領域一個明顯的趨勢,就是隨著算力的發(fā)展,模型容量持續(xù)提升,模型通用性和泛化能力也更強。

然而,此前國內(nèi)基于萬億大模型的應用探索極少,在高速網(wǎng)絡、訓練/推理框架、模型算法和落地應用等方面,也沒有全面深入的公開性研究。

在這種情況下,作為頭部企業(yè)之一的騰訊,自然動了欲作開拓者的野心。

然而,若要問鼎“萬億大模型”這枚王冠,強大的算力則是必不可少的。于是,騰訊設計的一套“先蒸餾后加速”的大模型壓縮方案——太極-HCF ToolKit,就應運而生了。

太極平臺,包含了從模型蒸餾、壓縮量化到模型加速的完整能力,為AI工程師打造從數(shù)據(jù)預處理、模型訓練、模型評估到模型服務的全流程高效開發(fā)工具。

由于太極框架封裝了很多功能和驗證,因此只要配置正確,就不需要再進行額外的測試。這大大加快了開放的進度。

以太極平臺的基礎,配合強大的底層算力與低成本的高速網(wǎng)絡基礎設施,騰訊打造了首個可在工業(yè)界海量業(yè)務場景直接落地,并投入應用的萬億NLP大模型——HunYuan-NLP 1T(以下簡稱混元)。

混元最快僅用256卡在一天內(nèi)即可完成萬億參數(shù)大模型的訓練,整體訓練成本僅為直接冷啟動訓練萬億模型的1/8。

而騰訊之所以在訓練成本上如此大費周章,則與其自身的戰(zhàn)略布局有著密切的關系。

縱觀混元在騰訊應用層、模型層的布局,我們可以發(fā)現(xiàn),這樣的布局策略,很有可能是想以統(tǒng)一的平臺,實現(xiàn)技術復用和業(yè)務降本,支持更多的場景和應用。

而這樣的技術復用和多場景支持,則與騰訊在互聯(lián)網(wǎng)領域獨特的生態(tài)位有著密切關系。

騰訊目前已有的互聯(lián)網(wǎng)江山,涵蓋了社交、游戲、廣告、內(nèi)容創(chuàng)作等多個領域,如何用最低的成本,為原先已有的眾多產(chǎn)品和業(yè)務進行賦能和升級,就成了騰訊在AI時代首先要考慮的問題。

目前,騰訊已經(jīng)打造了以混元 AI 大模型為技術底座的廣告多媒體 AI 技術矩陣;以及應用于創(chuàng)作的智能創(chuàng)作助手;和通用游戲競技 的AI“絕藝”+“絕悟”。

可以說,這種通過降低模型訓練成本,從而迅速讓AIGC 技術為多個領域賦能的做法,與互聯(lián)網(wǎng)行業(yè)發(fā)展初期,很多企業(yè)通過“燒錢”的方式,以迅速擴大市場份額的策略,著實有一種“異曲同工之妙”。

02 AIGC時代的新“微信”

“混元”對騰訊 AI 應用生態(tài)的拓展,絕不僅僅是一次對原有業(yè)務的“縱向升級”。

從某種程度上說,這樣的生態(tài)的拓展,體現(xiàn)了騰訊在人工智能時代,對社會各領域、各產(chǎn)業(yè)層面的新一輪商業(yè)滲透的展開。

而這種多元化布局的思路,可以說是對其在移動互聯(lián)網(wǎng)時代“攻城略地”的一次復刻。

在移動互聯(lián)網(wǎng)時代,騰訊的野心就已經(jīng)四溢到了游戲、社交、金融、廣告等多個領域。這種多元化的業(yè)務布局,使得騰訊的觸手深入到了網(wǎng)絡生活的各個方面,并最終通過微信這個終端,一步步整合了人們對于衣食住行的大部分需求,以至于到了人們難以對其脫離的地步。

在當下的社會中,人們幾乎無法想象沒有微信的生活會是怎樣的。

在進行多元化布局的同時,通過“燒錢”的方式不斷投資并購,也是騰訊壯大自身的另一大手段。

如京東、美團、滴滴等,這些企業(yè)都是行業(yè)內(nèi)的領先者,與騰訊的業(yè)務有很強的互補性,能夠為騰訊帶來更多的商業(yè)機會和收益來源,從而進一步擴大了騰訊自身的業(yè)務版圖。

然而,隨著互聯(lián)網(wǎng)紅利消失, 市場已經(jīng)進入相對平穩(wěn)的發(fā)展階段,各大巨頭們也開啟了從增量到存量的戰(zhàn)爭。

在這樣的背景下,傳統(tǒng)的“花錢買量”已經(jīng)難以再帶來新的用戶增長,既然原有產(chǎn)品的“縱向增量”已經(jīng)走到盡頭,那么通過跨領域融合的“橫向增量”方式,繼續(xù)維持或擴大自身龐大的業(yè)務版圖,就成了騰訊若要在AIGC時代,一種最可行的策略。

憑借已有的龐大的用戶數(shù)據(jù),加上大模型帶來的開放平臺、生態(tài)合作,將自身的業(yè)務逐漸與農(nóng)業(yè)、醫(yī)療、工業(yè)、教育等領域融合,可以最終編織成一張深深嵌入社會各個領域的智能化網(wǎng)絡。

正如移動互聯(lián)網(wǎng)時代,微信通過二維碼、朋友圈、小程序等功能的推出,不斷擴寬了自身的應用場景,并實現(xiàn)了用戶數(shù)的一次次飛躍。

在人工智能時代,通過混元大模型帶來的通用+專用領域的融合功能,意味著騰訊能夠將各個領域的數(shù)據(jù)和信息進行整合和分析,混元大模型可以提供更加個性化、智能和高效的服務,從而進一步增強用戶的忠誠度和粘性。

而當這些來自多個領域的信息、數(shù)據(jù),最終被大模型整合進某一終端時,一個涵蓋了人們各個不同領域需求的“AIGC版微信”,或許也就此誕生了。

在某種程度上,它可能會比現(xiàn)在的微信更“必要”、更“難以離身”,得益于大語言模型知識抓取、邏輯分析能力,一些涉及事項多、專業(yè)性強,并且與民眾需求緊密相連的需求(如醫(yī)療、法律等領域),最后甚至僅僅能通過人們一句簡單的“命令”,得到實現(xiàn)。

如此一來,混元大語言模型,從理論上可以打破騰訊的原有的產(chǎn)品版圖邊界,讓AI連接起各個產(chǎn)品與用戶之間的需求。

03 算力的邊界

若要支撐起這樣橫跨各領域、多業(yè)務的大模型生態(tài),一道繞不過去的坎,就是算力的限制。

盡管大模型概念持續(xù)火熱,但入局者大多面臨著算力之困。

市場上流傳的調(diào)研紀要顯示,要訓練像ChatGPT這樣的生成式AI,至少需要1萬張英偉達A100加速卡的支持。目前,國內(nèi)只有6家公司具備這樣的硬件實力。

然而,這樣的“算力邊界”,并沒能阻止騰訊在AIGC時代擴充自身版圖的野心。

4月14日,騰訊云正式發(fā)布了面向大模型訓練的新一代高性能計算集群HCCPNV5。

該集群采用最新一代騰訊云星星海自研服務器,并搭載了英偉達 H800 Tensor Core GPU(國內(nèi)首發(fā)),提供業(yè)界目前最高的3.2Tbps超高互聯(lián)帶寬,算力性能比前代提升了3倍。

H800 Tensor Core GPU

一般來說,一個集群的性能,主要取決于三個要素:單機算力、網(wǎng)絡架構、存儲性能。

在單卡單機的算力上,新一代集群單GPU卡支持輸出最高495 TFlops(TF32)、989 TFlops (FP16/BF16)、1979 TFlops(FP8)的算力,單卡性能爆表。

而得益于騰訊云星星海服務器采用6U超高密度設計,每節(jié)點支持8塊H800,上架密度與同行相比提升了30%。利用并行計算理念,通過CPU和GPU節(jié)點的一體化設計,將單點算力性能提升至最強。

然而,僅僅有了先進的芯片,并不等于擁有先進算力。

原因在于高性能計算存在“木桶效應”,一旦計算、存儲、網(wǎng)絡任一環(huán)節(jié)出現(xiàn)瓶頸,就會導致運算速度嚴重下降。

因此,先進算力的背后是先進芯片、先進網(wǎng)絡、先進存儲等一系列的支撐,缺一不可。

此次騰訊自研的星脈網(wǎng)絡,為新一代集群帶來3.2T的超高通信帶寬。在「星脈網(wǎng)絡」的加持下,單集群規(guī)模支持4K GPU(最大支持10萬+ GPU)、超EFLOPS(FP16)算力。

搭載同樣的GPU卡,3.2T星脈網(wǎng)絡相較前代網(wǎng)絡,能讓集群整體算力提升20%,使得超大算力集群仍然能保持優(yōu)質的通信開銷比和吞吐性能。并提供單集群高達十萬卡級別的組網(wǎng)規(guī)模。

最后的存儲問題,在大模型訓練場景下,存儲也經(jīng)受著前所未有的考驗。

幾千臺計算節(jié)點會同時讀取一批數(shù)據(jù)集,需要盡可能地縮短數(shù)據(jù)集的加載時長。

而新一代HCC集群,引入了騰訊云最新自研存儲架構,支持不同場景下對存儲的需求。

例如其中的COS+GooseFS方案,就提供基于對象存儲的多層緩存加速,大幅提升了端到端的數(shù)據(jù)讀取性能;

而CFS Turbo多級文件存儲方案,則充分滿足了大模型場景下,大數(shù)據(jù)量、高帶寬、低延時的存儲要求。

如此一來,算力、網(wǎng)絡、存儲,三個關鍵的節(jié)點,都被騰訊一一攻克了。

隨著新一代HCC高性能計算集群的發(fā)布,國內(nèi)大模型訓練面臨的算力困局有望得到紓緩,而國內(nèi)的人工智能生態(tài),也有可能從此走向百花齊放的局面。

這是因為,雖然對于中國企業(yè)來說,雖然ChatGPT這樣大模型,工作量和成本并不是不可接受,但只有在算力、算法、數(shù)據(jù)等不同環(huán)節(jié),讓眾多公司構成了一個龐大的人工智能生態(tài),量變引起質變,中國自己的世界級大模型,才會有“涌現(xiàn)”的基礎。

說到底,ChatGPT不是OpenAI一家公司的成功,而是一種人工智能生態(tài)的成功。

隨著混元大模型所帶來的低成本訓練紅利,國內(nèi)大模型多元化格局也有望就此形成,而由此構建出的人工智能生態(tài),也將有望讓ChatGPT這類AI發(fā)生在中國、根植在中國。

關鍵詞:

推薦內(nèi)容

Copyright @  2015-2022 太平洋器材網(wǎng)版權所有  備案號: 豫ICP備2022016495號-17   聯(lián)系郵箱:93 96 74 66 9@qq.com