走進(jìn)上海智能算力科技有限公司（下稱“智算科技”）位于上海松江區(qū)的國產(chǎn)萬卡集群智算中心，剛踏入機(jī)房大門，渾厚而持續(xù)的風(fēng)扇轟鳴聲便撲面而來。目光所及，數(shù)萬張GPU在機(jī)柜里整齊排列、鱗次櫛比；高速網(wǎng)絡(luò)線纜密密麻麻卻井然有序，與閃爍著微光的設(shè)備指示燈交相輝映，每一處細(xì)節(jié)都彰顯著智算中心的高效運(yùn)轉(zhuǎn)。

需要特別指出的是，智算科技公司目前已經(jīng)完成多款國產(chǎn)GPU卡以及多臺(tái)套國產(chǎn)并行計(jì)算系統(tǒng)的軟硬件適配。在自主可控的大背景下，該公司對(duì)于國產(chǎn)卡算力集群的成功破局對(duì)中國發(fā)展人工智能產(chǎn)業(yè)是一大推動(dòng)。

能支持大模型訓(xùn)練的萬卡算力集群的搭建以及穩(wěn)定運(yùn)行的難度眾所周知，而采用多家國產(chǎn)芯片異構(gòu)計(jì)算集群搭建和運(yùn)維則是難上加難。

智算科技智算中心的穩(wěn)健運(yùn)轉(zhuǎn)，離不開該公司系統(tǒng)工程中心的硬核支撐——這里匯聚著一群平均年齡不足33歲的青年從業(yè)者，懷揣精湛技藝與創(chuàng)新熱忱，深耕科技前沿、攻堅(jiān)技術(shù)壁壘，在算力創(chuàng)新的賽道上步履不停。

國產(chǎn)萬卡異構(gòu)算力破局

當(dāng)前，中國雖有多家GPU算力芯片廠商，但受起步較晚、芯片制程受限等因素影響，各廠商規(guī)模普遍較小，亟需穩(wěn)定的應(yīng)用場(chǎng)景開展產(chǎn)品驗(yàn)證與技術(shù)迭代。

而智算科技的國產(chǎn)智算中心，主動(dòng)扛起了這一使命，為國產(chǎn)算力芯片搭建起關(guān)鍵的實(shí)踐應(yīng)用場(chǎng)景。

智算科技是由上海儀電（集團(tuán)）有限公司（含云賽智聯(lián)股份有限公司）牽頭，與上海數(shù)據(jù)集團(tuán)有限公司、上海市信息投資股份有限公司、上海階躍星辰智能科技有限公司以及松江區(qū)政府（上海松江國有資產(chǎn)投資經(jīng)營管理集團(tuán)有限公司）共同發(fā)起組建的算力基礎(chǔ)設(shè)施公司。

目前，智算科技已建成萬卡級(jí)智算集群，并逐步形成規(guī)模化、專業(yè)化、集約化運(yùn)營格局，集群算力規(guī)模、性能密度和綜合能效均領(lǐng)先全國。

據(jù)介紹，該公司算力設(shè)備種類齊全，已完成多款GPU卡以及多臺(tái)套國產(chǎn)并行計(jì)算系統(tǒng)的軟硬件適配測(cè)試。同時(shí)，聚焦提升資源管理、任務(wù)調(diào)度和網(wǎng)絡(luò)運(yùn)維水平，該公司建立了專業(yè)軟件團(tuán)隊(duì)，與清華大學(xué)等聯(lián)合開展國產(chǎn)并行計(jì)算軟件、編程框架、通信庫、算子庫、等智算關(guān)鍵軟件和訓(xùn)推工具鏈研發(fā)，不斷提高M(jìn)FU模型算力利用率。目前已建成上線具備自主知識(shí)產(chǎn)權(quán)的智算云平臺(tái)，基于微服務(wù)框架實(shí)現(xiàn)訓(xùn)推優(yōu)化、數(shù)據(jù)集成、模型研發(fā)、云平臺(tái)管理和跨域算力調(diào)度等功能服務(wù)。

智算科技董事長、總經(jīng)理孫躍接受澎湃新聞采訪時(shí)表示，一方面，做多元異構(gòu)算力一定程度上會(huì)帶動(dòng)國產(chǎn)廠商的發(fā)展，給國產(chǎn)算力提供一個(gè)場(chǎng)景，有助于充分利用國產(chǎn)算力。另一方面，不同的業(yè)務(wù)和行業(yè)對(duì)不同芯片有不同的需求。許多國產(chǎn)算力芯片在細(xì)分領(lǐng)域具有一定優(yōu)勢(shì)，可以通過異構(gòu)在同一底座和云平臺(tái)的基礎(chǔ)上更好地適配不同垂類和算力基礎(chǔ)設(shè)施的要求，更好地發(fā)揮國產(chǎn)軟硬件基礎(chǔ)設(shè)施的作用。

技術(shù)攻堅(jiān)，集群實(shí)現(xiàn)了99.99%的超高可用性

搭建萬卡算力集群難，而萬卡算力集群要想穩(wěn)定運(yùn)行則是難上加難。在大規(guī)模訓(xùn)練中，任何關(guān)鍵節(jié)點(diǎn)的故障都可能導(dǎo)致整個(gè)訓(xùn)練任務(wù)中斷。無論是GPU本身的高價(jià)值、訓(xùn)練任務(wù)還是科研時(shí)間，損失都不可估量。

智算科技系統(tǒng)工程中心總監(jiān)、團(tuán)隊(duì)負(fù)責(zé)人胡寶群接受采訪時(shí)表示，萬卡算力穩(wěn)定運(yùn)營，意味著故障必然會(huì)發(fā)生，甚至每天都會(huì)發(fā)生。當(dāng)故障發(fā)生時(shí)，如何快速定位故障，故障后如何快速修復(fù)，這個(gè)是行業(yè)非常重要的挑戰(zhàn)。

“我們當(dāng)前已經(jīng)實(shí)現(xiàn)分鐘級(jí)甚至秒級(jí)的預(yù)定位故障，并且能夠在5分鐘內(nèi)恢復(fù)業(yè)務(wù)?！焙鷮毴罕硎尽?/p>

據(jù)介紹，智算科技的智算中心已經(jīng)成功實(shí)現(xiàn)了集群99.99%的超高可用性（相當(dāng)于全年總故障時(shí)間縮短至1小時(shí)內(nèi)），這一成果有力支撐了某大模型公司等多模態(tài)大模型領(lǐng)先全球的訓(xùn)練（成功避免了算力中斷可能造成的巨大損失）。

在技術(shù)突圍方面，智算科技的團(tuán)隊(duì)首創(chuàng)“動(dòng)態(tài)感知調(diào)度方案”，使訓(xùn)練效率飆升91%，每年為國家節(jié)省的算力成本相當(dāng)于新建3個(gè)數(shù)據(jù)中心，實(shí)現(xiàn)了混合架構(gòu)萬卡集群調(diào)度技術(shù)的自主可控。

這支平均年齡不超過33歲的青年突擊隊(duì)

智算科技的技術(shù)團(tuán)隊(duì)非常年輕，平均年齡不超過33歲，他們來自互聯(lián)網(wǎng)、運(yùn)營商和上海儀電系統(tǒng)，是一群有一定工作經(jīng)驗(yàn)，技術(shù)和業(yè)務(wù)能力非常強(qiáng)的技術(shù)人員組成的攻堅(jiān)團(tuán)隊(duì)。

盡管成員之前有一定技術(shù)積累，但三年前開始構(gòu)建的萬卡大模型幾乎都是前沿且探索性的，團(tuán)隊(duì)也是在整個(gè)攻堅(jiān)過程中形成自己的技術(shù)方案，并完成了突破。

胡寶群是智算科技計(jì)算部門的第二號(hào)員工，整個(gè)技術(shù)工程團(tuán)隊(duì)也是他逐步帶領(lǐng)起來的。

“前期團(tuán)隊(duì)搭建相對(duì)困難，因?yàn)檎嬲腥f卡集訓(xùn)經(jīng)驗(yàn)的人主要來自互聯(lián)網(wǎng)云廠商，所以上海有經(jīng)驗(yàn)的人較少。所以團(tuán)隊(duì)有人來自互聯(lián)網(wǎng)大廠。后期公司也開始培養(yǎng)第二波和第三波的技術(shù)人才。”胡寶群表示。

據(jù)悉，這支青年突擊隊(duì)曾連續(xù)79天吃住在機(jī)房駐守，為了0.1%的效率提升每天熬紅雙眼反復(fù)打磨代碼，開展算法攻堅(jiān)。面對(duì)緊急任務(wù)，他們打破常規(guī)，將線性流程優(yōu)化為“并行施工+邊測(cè)邊調(diào)”，搶占每一秒進(jìn)度。

“我們每臺(tái)設(shè)備后面會(huì)接20多根網(wǎng)線，整套萬卡集群，即有近十萬根線，實(shí)際上建設(shè)時(shí)會(huì)復(fù)雜一些。實(shí)際運(yùn)營過程中，我們還需要將1萬張調(diào)度、協(xié)同、故障修復(fù)，這相對(duì)比較困難。”胡寶群表示，一萬張的智算中心故障幾乎每刻都在發(fā)生，大家精神高度緊張，也需要依賴平臺(tái)和工具鏈的建設(shè)。此外，團(tuán)隊(duì)也需要對(duì)接行業(yè)前沿技術(shù)，比如通過算法預(yù)判出現(xiàn)問題的情況，提前介入，確保算力中心的穩(wěn)定運(yùn)營。

智算科技系統(tǒng)平臺(tái)部負(fù)責(zé)人翟雨佳補(bǔ)充道，“AI人才密度相對(duì)稀缺，壁壘也是比較高的。其實(shí)，國外的頭部AI企業(yè)最稀缺的也不是資金，而是人才，我們現(xiàn)在已經(jīng)具備了一支能夠勝任任務(wù)或者專業(yè)結(jié)構(gòu)合理、技術(shù)過硬的AI技術(shù)人才，這才是我們最寶貴的資產(chǎn)?！?/p>

孫躍也強(qiáng)調(diào)，當(dāng)初萬卡集群搭建之時(shí)，國內(nèi)具備萬卡建設(shè)經(jīng)驗(yàn)的團(tuán)隊(duì)寥寥無幾。智算科技一方面積極引進(jìn)專業(yè)人才，另一方面注重在實(shí)踐中錘煉隊(duì)伍，在攻堅(jiān)克難的過程中，將分散的個(gè)體人才凝聚成緊密協(xié)作的團(tuán)隊(duì)，不斷提升團(tuán)隊(duì)的組織協(xié)調(diào)能力與整體戰(zhàn)斗力。

孫躍表示：“團(tuán)隊(duì)需要充分給年輕同志施展才華的空間和舞臺(tái)，讓每位同事充分發(fā)揮潛能和潛力。只有每位同事都像小老虎一樣，我們才能在整個(gè)集群建設(shè)、公司發(fā)展過程中敢打敢拼敢沖鋒。”