維科杯· OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)由高科技行業(yè)門戶舉辦已有數(shù)年,作為高科技產(chǎn)業(yè)的核心評選活動,該評選是人工智能行業(yè)內(nèi)的一大品牌盛會,亦是高科技行業(yè)具有專業(yè)性、影響力的評選之一。

此次活動旨在為人工智能行業(yè)的產(chǎn)品、技術(shù)和企業(yè)搭建品牌傳播展示平臺,并借助OFweek平臺資源及影響力,向行業(yè)用戶和市場推介創(chuàng)新產(chǎn)品與方案,鼓勵更多企業(yè)投入技術(shù)創(chuàng)新;同時為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術(shù),一同暢想人工智能行業(yè)的未來。

維科杯· OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)將于2024年7月1日-7月19日進入網(wǎng)絡(luò)投票階段,頒獎典禮將于8月28日在深圳舉辦。目前,活動正處于火熱的企業(yè)申報階段,業(yè)內(nèi)企業(yè)積極響應(yīng)。

寒武紀參評“維科杯·OFweek 2024人工智能行業(yè)技術(shù)突破獎”

參評獎項:維科杯·OFweek 2024人工智能行業(yè)技術(shù)突破獎

參評項目:寒武紀基礎(chǔ)系統(tǒng)軟件平臺(訓(xùn)練及推理軟件平臺)

項目亮點:

(1)訓(xùn)練軟件平臺

報告期內(nèi),公司持續(xù)推進訓(xùn)練軟件棧的研發(fā)和改進,新增加了功能和通用性支持,并大力推進大模型及推薦系統(tǒng)業(yè)務(wù)的支持和優(yōu)化。

在新增功能方面,訓(xùn)練軟件平臺為客戶模型遷移提供了多種工具,降低了客戶的適配遷移成本。公司重點投入分布式和大規(guī)模集群的軟件棧支撐,增加支持了多個分布式訓(xùn)練庫,使訓(xùn)練軟件棧能夠支撐更多大模型分布式訓(xùn)練需求。軟件棧完成了對典型操作系統(tǒng)的支持和發(fā)布,支持了生態(tài)的發(fā)展。

在通用性方面,公司增加了框架算子的支持數(shù)量,完成了重點客戶提出的大量定制化算子擴展需求, 適配了多個重點客戶的業(yè)務(wù)場景, 實現(xiàn)了更全面的數(shù)據(jù)類型支持,更好地支撐了大模型訓(xùn)練場景。

在性能方面, 公司通過重點客戶性能優(yōu)化需求的牽引,針對多個網(wǎng)絡(luò)進行了優(yōu)化,分析并實現(xiàn)了多個算子和框架層面的性能優(yōu)化點,并在通信上持續(xù)進行了單機多卡和多機多卡的低延遲優(yōu)化,通信延遲和帶寬利用率達到了業(yè)界領(lǐng)先水平。

在大模型訓(xùn)練領(lǐng)域,公司完善了大模型的訓(xùn)練軟件棧研發(fā),進行了多個大模型的微調(diào)及預(yù)訓(xùn)練支持工作。 通過持續(xù)的技術(shù)優(yōu)化和適配工作, 進一步優(yōu)化了大模型訓(xùn)練性能,在大模型訓(xùn)練的性能和精度方面都取得了較強的競爭力,達到業(yè)務(wù)落地的性能和精度要求。 報告期內(nèi),公司成功驗證了大模型在分布式集群上的預(yù)訓(xùn)練功能,實現(xiàn)了較長時間的穩(wěn)定運行,且計算效率達到了業(yè)界領(lǐng)先水平。

此外,在搜索、廣告推薦領(lǐng)域進行了優(yōu)化或完成組件開發(fā), 支撐多家客戶的私有網(wǎng)絡(luò)適配工作,客戶需求網(wǎng)絡(luò)性能遠超既定目標。 完成了蛋白質(zhì)模型領(lǐng)域的網(wǎng)絡(luò)訓(xùn)練任務(wù)。

( 2)推理軟件平臺

報告期內(nèi),公司開發(fā)了支持大語言模型和多模態(tài) AIGC 推理業(yè)務(wù)的基礎(chǔ)軟件,并分別對傳統(tǒng)模型和生成式大模型進行了持續(xù)性能優(yōu)化,加速了實際應(yīng)用部署。

針對傳統(tǒng)模型推理業(yè)務(wù)的性能優(yōu)化,在包括語音合成、搜索推薦和視覺處理等領(lǐng)域的高頻使用網(wǎng)絡(luò)中,公司通過持續(xù)的優(yōu)化工作,確保了該業(yè)務(wù)模型保持業(yè)界領(lǐng)先水平,滿足客戶業(yè)務(wù)的落地需求。

在大語言模型推理業(yè)務(wù)方面,公司研發(fā)了分布式推理加速庫 BangTransformer,適配了主流大模型,經(jīng)過深度性能優(yōu)化,大模型推理達到了業(yè)界領(lǐng)先的模型計算效率,并成功實現(xiàn)了在客戶業(yè)務(wù)環(huán)境下的應(yīng)用。公司將 BangTransformer 集成到部分開源大模型推理框架中,進一步豐富了大模型生態(tài)系統(tǒng)。

在推理性能提升方面, BangTransformer 引入了多項優(yōu)化技術(shù),相較于傳統(tǒng)框架,顯著提高了運行效率。在圖像生成領(lǐng)域,利用 MagicMind 對 StableDiffusion 等關(guān)鍵網(wǎng)絡(luò)進行了優(yōu)化和加速,成功服務(wù)了客戶基于寒武紀推理軟件平臺的應(yīng)用。

參評理由:

2023年,寒武紀基礎(chǔ)系統(tǒng)軟件平臺的持續(xù)優(yōu)化,軟硬件平臺易用程度有所提升,生態(tài)建設(shè)持續(xù)發(fā)展; 憑借過硬的技術(shù)能力,良好的服務(wù)意識,公司品牌影響力也在持續(xù)增強。此外,公司重視產(chǎn)學(xué)合作,已和多所高校開設(shè)了基于寒武紀平臺的人工智能課程,建立了較完善的高校課程生態(tài)體系,此舉將進一步助力公司生態(tài)建設(shè)的發(fā)展。

企業(yè)介紹:

寒武紀成立于2016年,專注于人工智能芯片產(chǎn)品的研發(fā)與技術(shù)創(chuàng)新,致力于打造人工智能領(lǐng)域的核心處理器芯片,讓機器更好地理解和服務(wù)人類。

寒武紀提供云邊端一體、軟硬件協(xié)同、訓(xùn)練推理融合、具備統(tǒng)一生態(tài)的系列化智能芯片產(chǎn)品和平臺化基礎(chǔ)系統(tǒng)軟件。寒武紀產(chǎn)品廣泛應(yīng)用于服務(wù)器廠商和產(chǎn)業(yè)公司,面向互聯(lián)網(wǎng)、金融、交通、能源、電力和制造等領(lǐng)域的復(fù)雜 AI應(yīng)用場景提供充裕算力,推動人工智能賦能產(chǎn)業(yè)升級。

投票時間:

本屆“OFweek 9th AI Awards 2024”活動將于7月1日進入投票階段,請關(guān)注維科網(wǎng)人工智能相關(guān)評選新聞,歡迎屆時踴躍投票。

人工智能年度評選專題鏈接:

http://www.allceramicexperts.com/award/2024/AI/

參評表單:

https://forms.ofweek.com/Form/preview/form_id/1652