1. 首頁 > 科技 > >

聞泰科技|揭秘阿里云神龍團隊拿下 TPCx-BB 排名第一的背后技術( 二 )

iPhone珠海聞泰科技


圖3 MRACC-Spark的SQL引擎優化
五 近網絡RDMA優化 2021年杭州云棲大會上 ， 阿里云發布第四代神龍架構 ， 提供業界首個大規模彈性RDMA加速能力 。 RDMA是一種高性能網絡傳輸技術 ， 提供直接內存訪問的方式 ， 數據傳輸bypass Kernel ， 從而能減少CPU的開銷 ， 提供低時延的高性能網絡 。 在分布式計算中 ， shuffle過程必不可少 ， 且消耗較多的計算和網絡資源 ， 是大數據分布式計算的優化重點 。 針對Spark 內存計算在shuffle階段數據交換特點 ， 可將shuffle數據交換變為memory-network-memory的模式 ， 充分利用RDMA用戶態內存直接交互、低延時、低cpu消耗的特點 ， 最終在tpcxhs等端到端benchmark上獲得了30%的性能提升 。
圖4 MRACC-Spark的eRDMA近網絡優化插件
六 性能優化結果 最終 ， 在TPCDS 10T數據集上 ， 相比最新的Spark3.1版本性能提升2.19倍 。 在TPCx-BB上相比第二名領先高達41.6% 。

圖5 TPCDS及TPCx-BB的數據效果
七 展望 目前 ， 所有這些優化 ， 我們都封裝成插件形式交付給客戶 ， 客戶代碼基本上不需要修改 ， 方便客戶直接使用 。
未來我們將持續將我們軟硬件一體化極致性能優化能力服務阿里云的大數據客戶 ， 此外我們將在軟硬件一體化性能優化能力上持續迭代 ， 構建性能更高、成本更低的MRACC神龍大數據加速服務能力提供給廣大用戶 。
附：TPCx-BB介紹
TPCx-BB是由國際標準化測試權威組織(TPC)發布的基于零售業場景構建的端到端大數據測試基準 ， 支持主流分布式大數據處理引擎 ， 模擬了整個線上與線下業務流程 ， 有30個查詢語句 ， 涉及到描述性過程型查詢、數據挖掘以及機器學習的算法 。 TPCx-BB的測試具有數據量大、特征復雜、來源復雜等特點 ， 與真實業務場景較為接近 ， 對各行業的基礎設施選型有著重要參考意義 。
TPCx-BB的測試結果 ， 可以全面準確的反映端到端的大數據系統的整體運行性能 。 測試涵蓋了結構化、半結構化和非結構化數據 ， 能夠從客戶實際場景角度更全面的評估大數據系統軟硬件性能、性價比、服務和功耗等各個方面 。
作者 | 神龍加速計算團隊
【聞泰科技|揭秘阿里云神龍團隊拿下 TPCx-BB 排名第一的背后技術】本文為阿里云原創內容 ， 未經允許不得轉載 。

相關經驗推薦