Alaya NeW 智算操作系統(tǒng)-包含國內(nèi)外多種算力資源的適配、納管、調(diào)度和優(yōu)化

Alaya NeW智算操作系統(tǒng)(以下簡稱：Alaya NeW)，由九章云極DataCanvas 自主研發(fā)，可有效管理、調(diào)度各種算力資源，提供智算服務(wù)，落地各類智算應(yīng)用。作為智算中心的“中樞神經(jīng)”，Alaya NeW突破異構(gòu)算力適配、異構(gòu)算力調(diào)度等關(guān)鍵技術(shù)，實現(xiàn)了包括算力統(tǒng)籌與智能調(diào)度的底層硬件異構(gòu)性兼容；簡單易用且以集群為優(yōu)先的策略，原生適合AI高性能計算，原生支持AI大模型+小模型的低門檻構(gòu)建、訓(xùn)練和推理；并支持與通用大模型、行業(yè)大模型及各類大模型應(yīng)用組合疊加，實現(xiàn)一體化、開放化、標(biāo)準(zhǔn)化的AI模型服務(wù)。

隨著人工智能技術(shù)的高速發(fā)展，智能化正以前所未有的速度重塑各行各業(yè)。以AIGC為代表的人工智能應(yīng)用、大模型訓(xùn)練等新應(yīng)用、新需求快速崛起都對算力提出更高要求。經(jīng)中國信息通信研究院測算，預(yù)計到2025年全球計算設(shè)備算力總規(guī)模將超過3 ZFlops，至2030年將超過20 ZFlops。

算力作為新質(zhì)生產(chǎn)力，已成為挖掘數(shù)據(jù)要素價值，推動數(shù)字經(jīng)濟(jì)發(fā)展的重要驅(qū)動力，智算中心的戰(zhàn)略性地位愈發(fā)凸顯。同時，智算中心在運(yùn)營和管理過程中面臨的異構(gòu)算力資源納管困難、算力調(diào)度能力不足、利用率低等難題，將嚴(yán)重制約智算中心的應(yīng)用與發(fā)展。因此，一個能夠全面服務(wù)于智算中心的中樞神經(jīng)——智算操作系統(tǒng)，將是直擊這些難題的最佳方案。

1、異構(gòu)算力資源納管困難

智算中心逐漸引入多種不同品牌的加速硬件，往往存在異構(gòu)算力不兼容、模型框架與底層芯片適配不充分等情況，導(dǎo)致算力調(diào)度困難、難以有效形成規(guī)�；�算力。

2、算力調(diào)度能力不足、利用率低

在大規(guī)模數(shù)據(jù)處理和大模型訓(xùn)練等任務(wù)中，算力調(diào)度能力不足，使得算力分配不均衡，導(dǎo)致算力資源浪費(fèi)和利用率下降，不能充分滿足不同類型AI任務(wù)的調(diào)度需求，影響AIDC服務(wù)的整體性能。

3、AI加速優(yōu)化能力不足

一般針對AI大模型數(shù)據(jù)加載、訓(xùn)練、微調(diào)、推理環(huán)節(jié)，并沒有實施優(yōu)化或者只做了局部加速優(yōu)化。因此經(jīng)常受到存儲訪問慢，算力利用率、內(nèi)存利用率、通信效率低的困擾，影響AI任務(wù)的完成。

4、AI大模型訓(xùn)練微調(diào)門檻高

數(shù)據(jù)科學(xué)家往往不能掌握使用智算硬件基礎(chǔ)設(shè)施的技能，而企業(yè)內(nèi)IT人員缺乏對訓(xùn)練大模型所需的集群管理能力，缺乏一個彈性易用的集群環(huán)境以及在其之上的AI大模型訓(xùn)練微調(diào)工具鏈。

主要能力

1、告別“裸金屬”

通過構(gòu)建多層次、全方位的算力需求滿足機(jī)制，包含超級智算集群、彈性容器集群、GPU云服務(wù)器、AI容器實例等系列產(chǎn)品，為精準(zhǔn)匹配和高效滿足多樣化規(guī)模及復(fù)雜度的算力求提供保障。

2、為AI而生

專注于人工智能核心任務(wù)，包括大模型的訓(xùn)練、微調(diào)、部署和推理等服務(wù)。提供集“算力、數(shù)據(jù)、算法、調(diào)度”為一體的融合服務(wù)，旨在推動人工智能產(chǎn)業(yè)化的創(chuàng)新發(fā)展。

3、全局加速優(yōu)化

采用通信加速、內(nèi)存優(yōu)化、算法加速、數(shù)據(jù)三級緩存、內(nèi)核優(yōu)化、編譯優(yōu)化、并行加速、模型壓縮等方案，釋放硬件效能。集群訓(xùn)練效率提升100%，單卡利用率提升50%；模型推理速度提高4倍，Token吞吐量增加5倍。

4、異構(gòu)算力納管與調(diào)度

提供包含國內(nèi)外多種算力資源的適配、納管、調(diào)度和優(yōu)化。通過實時監(jiān)控和管理各智算中心的智算設(shè)備，以及創(chuàng)新的調(diào)度算法，成功實現(xiàn)跨智算中心的海量算力智能調(diào)度，大幅提升算力資源的利用率。

5、1度算力

Alaya NeW首次提出了統(tǒng)一的算力服務(wù)計量單位“度”（DCU），并用其實現(xiàn)標(biāo)準(zhǔn)化的算力計量計費(fèi)，旨在為用戶實現(xiàn)“買到即用到”的算力服務(wù)，為未來算力資源互聯(lián)互通打下良性商業(yè)基礎(chǔ)。

應(yīng)用落地情況

該產(chǎn)品無論在產(chǎn)品理念還是功能設(shè)計上都處于同行業(yè)領(lǐng)先水平。在未來一定周期內(nèi)，將引領(lǐng)“智算操作系統(tǒng)”發(fā)展趨勢，該產(chǎn)品提供的智算基礎(chǔ)服務(wù)，將成為智算中心提供服務(wù)的標(biāo)準(zhǔn)范本之一。截止目前，該產(chǎn)品已經(jīng)在九章云極DataCanvas參與共建的國內(nèi)多個智算中心進(jìn)行部署。

Alaya New 智算操作系統(tǒng)在智算中心產(chǎn)業(yè)生態(tài)中處于中間位置，在底層硬件芯片和上層大模型之間建立了高效的鏈接，通過AI基礎(chǔ)軟件的創(chuàng)新，實現(xiàn)算力資源的最大化利用。也首次提出了統(tǒng)一的算力服務(wù)計量單位“度”(DCU)，以推進(jìn)標(biāo)準(zhǔn)化的算力計量計費(fèi)，為未來算力資源實現(xiàn)互聯(lián)互通打下良性商業(yè)基礎(chǔ)。九章云極DataCanvas 攜手智算產(chǎn)業(yè)核心生態(tài)伙伴，服務(wù)政府和企業(yè)共建智算中心，為行業(yè)提供高質(zhì)量新質(zhì)生產(chǎn)力以及全方位的AI Foundation Service，共同推動我國人工智能產(chǎn)業(yè)快速發(fā)展。