英特爾今日在 Intel Vision 線上活動中,公開由旗下的 Habana Labs 推出Gaudi 2 處理器,此處理器專為人工智慧(AI)深度學習應用而設計、採用 7 奈米製程打造。
英特爾表示,Gaudi 2 處理器是用於訓練的第 2 代 Gaudi 處理器,其專為 AI 深度學習應用而設計,建立在 Habana 的高效率架構之上、採用 7nm 製程打造,能夠在資料中心當中,針對電腦視覺與自然語言處理的模型訓練與推論效能,提供客戶更高的效能。
在活動中,Habana 特別展示 Gaudi 2 於電腦視覺—ResNet-50(v1.1)和自然語言處理—BERT Phase-1 和 Phase-2 的訓練吞吐量效能,英特爾強調,其工作負載量幾乎是 Nvidia A100 80GB 處理器的 2 倍。
英特爾指出,從第 1 代 Gaudi 到 Gaudi 2,架構上的進步包含製程技術從 16nm 提升至 7nm,導入新的資料類型,包含在 Matrix Multiplication Engine(MME)和 Tensor Processor Core 運算引擎當中的 FP8;Tensor Processor Core 從 8 個提升至 24 個;為了卸載主機子系統的負擔,晶片整合媒體處理引擎。
此外,其封裝記憶體容量從 32GB 變為 3 倍至 96GB,HBM2E 頻寬達 2.45TB/sec,雙倍 SRAM 容量達 48MB,而為了在產業標準上提供高效率的垂直擴充(scale-up)和水平擴充(scale-up),內建的 RDMA over Converged Ethernet(RoCE2)從整合 10 個 NIC 提升至 24 個。
英特爾表示,為了支援使用者將工作負載和系統,從現有的 GPU 模型轉換至Gaudi 2,並協助他們保留軟體開發的投資,Habana SynapseAI Software Suite 針對深度學習工作負載最佳化,專為簡化模型建立和遷移所設計。為了滿足深度學習開發者的需求,SynapseAI 整合 TensorFlow和PyTorch框架,並提供超過 30 種電腦視覺和自然語言參考模型。開發者可以從 Habana Developer Site 取得文件、方法內容和社群支援等相關資訊,並在 Habana GitHub 上提供參考模型和模型路線圖。
英特爾指出,在以色列的 Habana Gaudi2 資料中心已部署 1000 台 HLS-Gaudi2,用來支援 Gaudi2 軟體最佳化的研發,並為即將推出的 Gaudi 3 處理器的近一步發展提供參考。Habana 正在跟 Supermicro 合作,將於 2022 年第 3 季在市場上推出 Supermicro Gaudi 2 Training Server。