阿里云第八代企業級實例g8i算力升級,可支持72B大語言模型
1月11日，阿里云宣布第八代企業級通用計算實例ECS g8i算力再升級，整機性能最高提升85%，AI推理性能最高提升7倍，可支撐72B參數的大語言模型，幫助中小規模模型起建成本降低50%。同時新實例還提供了端到端安全防護，為企業構建可信AI應用提供隱私增強算力支撐。
阿里云彈性計算產品線總經理張獻濤表示，這證明以CPU為中心的計算體系具備加速AI推理的巨大潛力，公共云不僅可勝任超大規模的AI模型，也為AI應用加速落地開辟了新路徑。
英特爾中國數據中心和人工智能集團至強客戶解決方案事業部總經理李亞東表示，第五代英特爾至強可擴展處理器每個內核均內置AI加速功能，與上代相比，其AI訓練性能提升29%，AI推理能力提升42%，希望以此助力AI技術普惠。
生成式AI掀起的技術革命，正在推動計算范式發生根本性的變化。當前，AI大模型推理在算力上依然面臨諸多挑戰，例如首包延遲受限于并行處理能力與浮點運算能力，吞吐性能則受限于內存帶寬和網絡延遲。
對此，阿里云ECS g8i實例進行了多方面優化，可以更迅速地響應中小規模參數模型，運行知識檢索、問答系統及摘要生成等AI工作負載時，起建成本大幅下降。
本文鏈接：http://m.albanygandhi.com/news-1-162.html阿里云第八代企業級實例g8i算力升級,可支持72B大語言模型
聲明：本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
