11月9日-10日,由歐拉開源社區舉辦的第二屆操作系統產業峰會& openEuler Summit在北京召開,旨在聚集全產業鏈力量,共同推動基礎軟件產業的發展。軟通動力作為社區共建者,是此次峰會的協辦單位,并在10日的兼容性分論壇上分享了“HPC應用基于歐拉開源操作系統的遷移實踐”的主題演講。
軟通動力圍繞基于華為openEuler + Kunpeng平臺的根技術推廣應用、openEuler的KAE助力SPARK提升性能等實踐多個維度,全面分享了軟通動力在歐拉開源操作系統領域的遷移調優優秀實踐。
HPC-WAN打造高時效、高性能的氣象應用解決方案
大數據時代,氣象服務應用領域不斷拓展,氣象數據處理也越來越重要。但氣象應用處理數據量大,時效性要求高。性能是氣象應用對平臺要求的關鍵。HPC-WAN遷移實踐是將氣象解決方案遷移到openEuler+鯤鵬的計算平臺,充分發揮openEuler+鯤鵬在HPC場景的性能優勢。軟通動力通過畢昇編譯器進行編譯,MPI軟件替換為HyperMPI,再對OS進行性能調優,最終實現氣象HPC組件在openEuler+Kunpeng平臺正常運行,整體性能超過通用平臺。
基于華為openEuler+Kunpeng平臺根技術能力,使HPC-WAN解決方案性能超過通用平臺(X86),有效解決氣象行業對計算平臺高性能的要求。通過HPC-WAN遷移實踐,軟通動力助力華為基礎軟件根技術在行業的推廣應用。
SPARK使能openEuler打造大數據高效處理組件
SPARK是一個開源的大數據處理組件,它支持一組豐富的高級工具,包括用于SQL的sparksql等。當前開源Spark使用壓縮方式各有優缺點,其中GZIP壓縮方式沒有使能KAE,CPU占用率高,壓縮速度慢。本次優化是在Spark中使能openEuler acclib,通過openEuler 的軟加速、硬加速庫提升Spark性能。軟通動力通過在Spark中,增加openEuler的KAEzip調用接口、使能gzip接口以及解壓縮庫配置;使用 scala開發語言進行KAE硬加速使能;最終優化后的Spark SQL查詢性能提升5+倍,HiBench性能測試提升40%+。
基于華為openEuler的KAE加速能力,助力SPARK大數據處理效率提升5倍+,軟通動力通過SPARK使能openEuler優化實踐支撐華為鯤鵬KAE加速在開源軟件的使能和運用。
操作系統作為基礎軟件的根技術,是推動數字變革的關鍵力量。作為企業數字化轉型可信賴合作伙伴,軟通動力幫助眾多行業進行數字化轉型實踐,也在持續關注和支持操作系統產業的發展。作為歐拉開源社區的參與者和貢獻者,軟通動力積極參與社區合作與交流,在加速庫、應用遷移方向不斷提升技術能力并積累大量經驗,通過持續的投入和技術創新,不斷為歐拉開源操作系統生態發展增磚添瓦。