以融合之勢,突破困局 | 極道Achelous統(tǒng)一計算系統(tǒng),助力企業(yè)數(shù)據(jù)“加速跑”
對大數(shù)據(jù)的分析處、處理,是將數(shù)據(jù)從低價值密度體中煉到高價值密度體的過程,被現(xiàn)代商業(yè)譽(yù)為“煉金術(shù)”。這也是數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)的過程,然而由于數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)類型眾多,使得數(shù)據(jù)價值的實(shí)現(xiàn)仍然存在很高的技術(shù)門檻,企業(yè)用戶也日益被大數(shù)據(jù)生態(tài)的復(fù)雜性所困。
企業(yè)“海量數(shù)據(jù)”之困
企業(yè)在擁有了海量非結(jié)構(gòu)化數(shù)據(jù)之后,要將這些數(shù)據(jù)同實(shí)際業(yè)務(wù)、商業(yè)目的和運(yùn)營目標(biāo)相結(jié)合,對多樣性數(shù)據(jù)進(jìn)行融合分析處理成為必然,這使得數(shù)據(jù)分析和加工部門需投入大量的人力物力進(jìn)行數(shù)據(jù)分析、處理、加工和學(xué)習(xí),以得到有價值的結(jié)果輸出。
雖然數(shù)據(jù)分析本身是與行業(yè)和業(yè)務(wù)相關(guān),但非結(jié)構(gòu)化數(shù)據(jù)的分析計算模式是共通的。隨著技術(shù)發(fā)展,傳統(tǒng)批量計算、高性能計算、大數(shù)據(jù)分析、人工智能(分布式機(jī)器學(xué)習(xí)/深度學(xué)習(xí))等數(shù)據(jù)并行處理、分析方法相繼誕生,以滿足各行業(yè)數(shù)據(jù)分析需求。
在實(shí)際應(yīng)用中,企業(yè)各部門將以不同的計算模式,來構(gòu)建所需的系統(tǒng)和計算集群,但這種割裂的計算集群卻造成了重復(fù)建設(shè)和資源浪費(fèi)。而隨著業(yè)務(wù)的推進(jìn),同一批數(shù)據(jù)在不同處理階段所需的分析方法不同,計算分析基礎(chǔ)架構(gòu)還需要掌握復(fù)雜的技術(shù)棧,以及數(shù)據(jù)分析前期的服務(wù)部署能力。
另外,由于計算模式多樣化帶來的資源壁壘,企業(yè)還需要投入巨大的成本;數(shù)據(jù)計算系統(tǒng)建立后,數(shù)據(jù)分析人員如果沒有能力設(shè)計高度并行和健壯的數(shù)據(jù)分析流程,需要經(jīng)過漫長等待才能夠獲得結(jié)果。
降低海量非結(jié)構(gòu)化數(shù)據(jù)使用門檻 助力企業(yè)數(shù)據(jù)“加速跑”
為了幫助企業(yè)用戶解決數(shù)據(jù)分析門檻高、效率低的問題,極道潛心打造了Achelous統(tǒng)一計算系統(tǒng)。這是一款融合多種計算于同一套物理集群、支持EB級海量數(shù)據(jù)分析、處理、訓(xùn)練的系統(tǒng),并且Achelous有能力跟不同特征的存儲系統(tǒng)配合,做到計算與存儲應(yīng)用感知,輕松構(gòu)建復(fù)雜數(shù)據(jù)流的智能融合計算平臺,降低企業(yè)IT建設(shè)投入
Achelous統(tǒng)一計算系統(tǒng)以統(tǒng)一的數(shù)據(jù)處理引擎更高效地挖掘數(shù)據(jù)價值,以智能化的方式驅(qū)動整個數(shù)據(jù)處理閉環(huán),計算效率與資源利用的大幅提升,為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級打下堅實(shí)基礎(chǔ)。
降低構(gòu)建業(yè)務(wù)數(shù)據(jù)分析流程難度
Achelous 是極道提供的調(diào)度復(fù)雜工作流或數(shù)據(jù)流的調(diào)度器和執(zhí)行引擎。為了降低業(yè)務(wù)專家利用現(xiàn)有的算法和模型進(jìn)行并行編程的難度,Achelous統(tǒng)一計算系統(tǒng)提供執(zhí)行引擎以及多種表達(dá)方式,進(jìn)行數(shù)據(jù)流業(yè)務(wù)的組合編程。
業(yè)務(wù)專家只需描述所要分析業(yè)務(wù)的分析階段,以及數(shù)據(jù)依賴關(guān)系,系統(tǒng)將自動構(gòu)建負(fù)載的批量處理有向圖,并生成機(jī)器代碼調(diào)度執(zhí)行。例如,應(yīng)用領(lǐng)域?qū)S谜Z言(BSL、WDL)編寫工作流(Pipeline),業(yè)務(wù)專家可以動態(tài)構(gòu)建自己的大數(shù)據(jù)或者人工智能應(yīng)用,按照數(shù)據(jù)依賴進(jìn)行計算。實(shí)現(xiàn)完整的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)建模等業(yè)務(wù)流程,極大地簡化了業(yè)務(wù)專家的數(shù)據(jù)處理流程,并大幅提高工作效率。
自動構(gòu)建跨應(yīng)用計算框架工作流
基于Achelous統(tǒng)一計算系統(tǒng),用戶面對設(shè)計復(fù)雜跨框架的數(shù)據(jù)流,需要高并發(fā)或高通量計算時,只需要制定計算框架和預(yù)計分配的資源,計算框架會在計算過程中自動構(gòu)建,計算完成后,計算框架會自動銷毀,資源重新釋放并共享給其他計算和數(shù)據(jù)處理應(yīng)用。創(chuàng)建集群的過程對用戶完全透明,無需人工干預(yù)和配置,高效完成。
另外,極道提供的可視化界面,方便用戶以拖拽的方式生成數(shù)據(jù)流和工作流,這一設(shè)計可以免去WDL或BSL程序編寫,幫助研究人員擺脫IT技術(shù)的束縛,將更多精力投入業(yè)務(wù)研發(fā)。
用事實(shí)見證數(shù)據(jù)流構(gòu)建能力
在某腫瘤檢測機(jī)構(gòu),通過部署極道Achelous統(tǒng)一計算系統(tǒng),其計算資源擴(kuò)充近2倍,樣本交付能力提升了6倍,滿足其對海量生物數(shù)據(jù)處理、分析和建模的多樣化需求,助力打通腫瘤臨床檢測全流程。
在BioFlow計算引擎的協(xié)助下,該機(jī)構(gòu)一個作業(yè)的特殊階段,被輕松分解為數(shù)千路并行,每天有超過幾萬個任務(wù)運(yùn)行在高度并行的計算集群里。
在零專業(yè)IT人員情況下,該機(jī)構(gòu)運(yùn)行維護(hù)著一個復(fù)雜的數(shù)十節(jié)點(diǎn)HPC/Spark混雜計算集群,以及一個大規(guī)模分布式存儲系統(tǒng)。
利用強(qiáng)大的BioFlow WDL/BSL語言引擎和BioFlow執(zhí)行引擎, 幾名生物信息分析工程師在短短的4個月內(nèi),用近千個工具開發(fā)出了數(shù)百個復(fù)雜的分析流程。
高效的執(zhí)行引擎簡化了分析流程開發(fā),讓業(yè)務(wù)流程變得更敏捷、更靈活、更可控和自動化。
在未來數(shù)字經(jīng)濟(jì)浪潮中,降低計算成本、縮短任務(wù)周期、提高分析效率,是企業(yè)大數(shù)據(jù)點(diǎn)石成金的基礎(chǔ)。極道作為數(shù)據(jù)系統(tǒng)領(lǐng)域的生力軍,始終以用戶需求為導(dǎo)向,以技術(shù)創(chuàng)新為驅(qū)動,實(shí)現(xiàn)提高計算并行程度和提高資源利用率這一目標(biāo),進(jìn)一步降低用戶的整體擁有成本,助力企業(yè)釋放更多數(shù)據(jù)價值。
關(guān)于極道:
極道,專注于數(shù)據(jù)“存”、“管”、“算”的創(chuàng)新數(shù)據(jù)系統(tǒng)公司,由國內(nèi)頂尖的存儲和數(shù)據(jù)分析專家團(tuán)隊(duì)建立,是一家以分布式系統(tǒng)為核心幫助客戶提升IT資源效率,提供高效智能的數(shù)據(jù)處理基礎(chǔ)平臺的數(shù)據(jù)系統(tǒng)公司。
極道的核心產(chǎn)品涵蓋了分布式并行文件存儲、強(qiáng)關(guān)聯(lián)大規(guī)模實(shí)時數(shù)據(jù)管理系統(tǒng),以及集群的調(diào)度系統(tǒng)和執(zhí)行引擎,以滿足企業(yè)對數(shù)據(jù)處理、分析和建模的多樣化需求。極道注重自主知識產(chǎn)權(quán)和產(chǎn)品的可控性,核心軟件系統(tǒng)均為自主研發(fā),已擁有多項(xiàng)專利和軟件著作權(quán)。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
圖片新聞
技術(shù)文庫
最新活動更多
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
7月30-31日報名參會>>> 全數(shù)會2025中國激光產(chǎn)業(yè)高質(zhì)量發(fā)展峰會
-
精彩回顧立即查看>> 【線下論壇】新唐科技2025新品發(fā)布會
-
精彩回顧立即查看>> 【在線會議】研華嵌入式核心優(yōu)勢,以Edge AI驅(qū)動機(jī)器視覺升級
-
精彩回顧立即查看>> OFweek 2025(第十四屆)中國機(jī)器人產(chǎn)業(yè)大會
-
精彩回顧立即查看>> 【在線會議】從直流到高頻,材料電特性參數(shù)的全面表征與測量
-
10 “意外”的藥明康德
- 1 2025高端醫(yī)療器械國產(chǎn)替代提速,這些賽道值得關(guān)注!
- 2 多數(shù)人錯估了關(guān)稅將對中國醫(yī)藥產(chǎn)業(yè)的影響
- 3 一季度醫(yī)療儀器及器械進(jìn)出口報告:前十大出口市場在哪?
- 4 認(rèn)購火爆,映恩生物打響18A IPO重啟信號槍
- 5 中國創(chuàng)新藥出海:機(jī)遇、挑戰(zhàn)與未來展望
- 6 核藥賽道解碼:高壁壘、國產(chǎn)替代與千億市場卡位
- 7 創(chuàng)新藥是避風(fēng)港,更是發(fā)射臺!
- 8 第一醫(yī)藥扣非凈利潤僅687.40萬元:上海“隱形土豪”要再沉淀沉淀
- 9 隱匿的醫(yī)療大佬,10年干出千億級公司
- 10 外骨骼機(jī)器人,誰是盈利最強(qiáng)企業(yè)?