中國大模型要用Infra“降本增效”
今年7月世界人工智能大會（WAIC）召開前一天，上海浦東的一家酒店里一場關(guān)于AI算力芯片的企業(yè)會議上，有兩家同樣做AI Infra技術(shù)的公司高管亮相，引發(fā)關(guān)注。
盡管他們彼此是競爭對手，但此次共同目標(biāo)，是爭奪這家 AI 芯片企業(yè)的合作訂單。據(jù)鈦媒體App了解到，其中一家AI Infra公司的CEO在得知對手將出席此次會議后，立即與主辦方溝通，希望增加一個演講名額，并特意從北京海淀飛赴上海，在數(shù)百位媒體和合作伙伴面前進行該公司成立半年多來的首次公開演講。
最終，這位CEO的努力得到了回報，他不僅成功贏得與該客戶的合作，還在短短三天后WAIC一場AI算力發(fā)布會上，順利拿下了與另一家AI算力企業(yè)的合作許可，成果豐碩。
這是國內(nèi)AI Infra行業(yè)激烈競爭的一個縮影。
所謂AI Infra，定位于算力與應(yīng)用之間的“橋梁”角色的基礎(chǔ)軟件設(shè)施層，主要利用AI/GPU芯片的算力中心和算力云等的推理、訓(xùn)練形式，為AI大模型應(yīng)用提供軟件系統(tǒng)、數(shù)據(jù)存儲和處理、網(wǎng)絡(luò)設(shè)施等技術(shù)，解決美國對華高端 AI 算力限制下模型斷訓(xùn)、英偉達(dá)與國產(chǎn)算力之間解耦等計算、存儲和通訊網(wǎng)絡(luò)難題。
當(dāng)前AI算力緊缺、美國英偉達(dá)GPU對華限制、模型成本“降本增效”等因素下，興起不足一年的AI Infra行業(yè)已經(jīng)成為中國 AI 大模型產(chǎn)業(yè)不可缺少的關(guān)鍵一環(huán)，也是與美國 AI 市場之間“別樹一幟”的特色，因為硅谷很少有超百億估值規(guī)模的純AI Infra公司。
中金公司指出，目前AI Infra產(chǎn)業(yè)處于高速增長的發(fā)展早期，未來3-5年內(nèi)各細(xì)分賽道有望保持超過30%的高速增長。而基金管理機構(gòu)KKR&Co.數(shù)據(jù)顯示，隨著AI算力需求增長，全球數(shù)據(jù)中心投資有望達(dá)到每年2500億美元（約合人民幣1.9萬億元）。
另據(jù)紅杉資本、貝恩等機構(gòu)統(tǒng)計，預(yù)計到2027年，全球AI市場規(guī)模將飆升至近1萬億美元，AI硬件和服務(wù)市場年增長率達(dá)40%-55%。在這其中，全球會有超過4萬億元人民幣（6000億美金）投資到 AI 基礎(chǔ)設(shè)施層，生成式 AI 計算規(guī)模增長至109.9億美元，模型訓(xùn)練成本每年增長240%（2.4倍）以上。
過去12個月內(nèi)，AI Infra已成為熱門賽道。阿里、百度百舸、字節(jié)火山引擎等公司都在發(fā)力AI Infra技術(shù)產(chǎn)品；7月，AI Infra公司硅基流動（SiliconFlow）完成總金額近億元人民幣的天使+輪融資，智譜AI、360、水木清華校友基金、耀途資本等機構(gòu)參與；9月，無問芯穹完成近5億元A輪融資，成立16個月內(nèi)累計已完成近10億元融資，投資方名單相當(dāng)豪華——社保基金中關(guān)村自主創(chuàng)新專項基金、啟明創(chuàng)投、聯(lián)想創(chuàng)投等超過46家機構(gòu)和實體。
無問芯穹聯(lián)合創(chuàng)始人、CEO夏立雪此前對鈦媒體App表示，在一個互聯(lián)網(wǎng)客戶大模型推理的業(yè)務(wù)場景中，無問芯穹將整體算力使用效率提升了90%，有效地解決了客戶大模型業(yè)務(wù)中算力成本的問題，幫助業(yè)務(wù)伙伴實現(xiàn)算力成本的大幅下降。他指出，“我們認(rèn)為（公司未來）3-5年內(nèi)肯定能夠規(guī)模化地實現(xiàn)利潤”。
超40億美金算力做ChatGPT，算力爭奪戰(zhàn)一觸即發(fā)
經(jīng)過60多年的發(fā)展，AI 技術(shù)改變了設(shè)計、教學(xué)、駕駛、醫(yī)療，甚至是GPU顯卡的價格。
隨著新一輪 AI 熱潮下，作為AI三要素之一，算力已經(jīng)成為國家間競爭力，具有重大戰(zhàn)略性意義。而算力需要與芯片、基礎(chǔ)設(shè)施、數(shù)據(jù)三大要素緊密結(jié)合：芯片是算力的決定性因素，中央處理器(CPU)、圖形處理器(GPU)、存儲半導(dǎo)體等芯片尤為重要，決定了計算能力的強弱；5G網(wǎng)絡(luò)、數(shù)據(jù)中心、云計算集群、超級計算機等基礎(chǔ)設(shè)施是推動算力發(fā)展因素；數(shù)據(jù)價值則是算力存在與發(fā)展的終極意義。
在Scaling Laws（縮放定律）指引下，投入模型的計算資源和數(shù)據(jù)量越大，模型的能力就越強。過去十多年中，計算資源和數(shù)據(jù)的規(guī)模呈現(xiàn)出指數(shù)級增長，這也是AI重新進入公眾視野的原因。下面列出的幾組數(shù)據(jù)，很明顯說明 AI 大模型規(guī)模與算力基礎(chǔ)設(shè)施成本之間的鴻溝：
1、美國OpenAI公司開發(fā)的GPT 1.0版本參數(shù)量1.7億，而GPT-4版參數(shù)量可能已經(jīng)超過1萬億，增長速度驚人；
2、而GPT-3.5在微軟云Azure AI超算基礎(chǔ)設(shè)施上進行訓(xùn)練，總算力消耗約3640PFlops-days(即按每秒一千萬億次計算，需運行3640天)；
3、算力成本當(dāng)中，一顆臺積電量產(chǎn)的3nm芯片成本超過2萬美金；
4、一個8卡的英偉達(dá)A100價格已超過25億美金；
5、2023年1月，ChatGPT使用近3萬顆英偉達(dá)高端GPU來處理數(shù)億個日常用戶請求，此類GPU的單個售價就已高達(dá)數(shù)萬美元，微軟旗下由GPT模型支持的新Bing AI聊天機器人，僅在算力基礎(chǔ)設(shè)施搭建環(huán)節(jié)就花費至少40億美元，這一數(shù)額甚至超過了南蘇丹一國的GDP（國內(nèi)生產(chǎn)總值）。如今GPT-5預(yù)計要用超過10萬卡集群設(shè)施。
由此可見，隨著AI大模型數(shù)據(jù)量規(guī)模增加，算力需求日益旺盛，但 AI 芯片成本高居不下。4萬億美金AI算力規(guī)模投入的背后，算力發(fā)展分化與鴻溝問題不斷顯現(xiàn)。
據(jù)字節(jié)跳動公開的萬卡集群大模型訓(xùn)練架構(gòu)MegaScale的數(shù)據(jù)，訓(xùn)練擁有1750億參數(shù)的大模型需要在千卡集群上訓(xùn)練接近20天或者萬卡集群上訓(xùn)練近2天，按照GPU使用機時計算，單次訓(xùn)練費用超過200萬元，其算力利用率僅約為50%-60%。
模型大、算力利用率低、投入成本卻高達(dá)百萬至千萬元以上，這成為當(dāng)下 AI 算力現(xiàn)狀。
正如百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖所說，隨著 AI 應(yīng)用爆發(fā)式的增長，模型訓(xùn)練和推理的需求也在大幅提升，算力成本和使用效率這兩個指標(biāo)就變得至關(guān)重要，直接影響模型能力升級和 AI 應(yīng)用大規(guī)模落地的速度。
中國的 AI 算力不僅獲取成本高昂，而且“東數(shù)西算”導(dǎo)致算力訓(xùn)練慢、且部分GPU芯片長期處于限制狀態(tài)，因此，提升算力利用率成為了有效提升大模型性能和降低成本的關(guān)鍵，這也是AI Infra存在的根本意義——面向上下游，AI infra把各類模型同各種芯片解耦適配，一方面減少算力資源閑置現(xiàn)象，另一方面則實現(xiàn)模型發(fā)展的“提速降本”。
“對于AI Infra，作用就是解決其應(yīng)用開發(fā)的上手門檻，以及大規(guī)模部署時的使用成本。特別是我們知道有一個階段是算力緊缺，算力資源相對緊缺且昂貴，有的應(yīng)用開發(fā)者即便對推廣產(chǎn)品很有興趣，也會因為成本過高而卻步。我們正是解決了這些問題，幫助用戶在使用Token時不再為價格擔(dān)憂，實現(xiàn)更快、更低成本的操作，這就是AI Infra帶來的價值所在。”硅基流動創(chuàng)始人、CEO袁進輝最近在一場論壇上這樣說AI Infra作用。
從產(chǎn)品層面，多名阿里云技術(shù)人員在演講中提到，數(shù)據(jù)墻、內(nèi)存墻、Scaling集群擴展、光互連等問題，都是需要AI Infra解決的。用更加易懂的語言說，AI Infra就是對標(biāo)英偉達(dá)CUDA + NVIDIA DGX SuperCloud的一種綜合性服務(wù)。
中金公司在研報中指出，AI Infra是AI產(chǎn)業(yè)必不可少的基礎(chǔ)軟件堆棧，“掘金賣鏟”邏輯強、商業(yè)潛質(zhì)高。其中，AI Infra基礎(chǔ)軟件工具有較高的商業(yè)化潛力。
大體來說，AI 算力包括訓(xùn)練、推理兩個環(huán)節(jié)。目前各家提供的AI Infra方案各不相同，如阿里、百度、字節(jié)自身都擁有多種算力和服務(wù)器產(chǎn)品，所以其AI Infra技術(shù)更多是內(nèi)部使用；而無問芯穹、硅基流動、清程極智這類初創(chuàng)公司更多是服務(wù)于芯片和算力中心方，以及模型應(yīng)用層，提供系統(tǒng)和算力結(jié)構(gòu)性服務(wù)。
以阿里云為例。
阿里云的服務(wù)器擁有英偉達(dá)、AMD、英特爾、倚天等多種芯片算力，因此，阿里云也構(gòu)建了Al Infra，名為磐久Al Infra 2.0服務(wù)器，且內(nèi)置ALS（ALink System）。阿里云CTO周靖人曾透露，其磐久AI服務(wù)器提供AI算法預(yù)測GPU故障，準(zhǔn)確率達(dá)92%，并且穩(wěn)定連接超過10萬個GPU，模型端到端訓(xùn)練性能提升10%以上，其人工智能平臺PAI，已實現(xiàn)萬卡級別的訓(xùn)練推理一體化彈性調(diào)度，AI算力有效利用率超90%，從而促使基礎(chǔ)大模型降價，讓更多人使用通義模型技術(shù)和阿里云計算服務(wù)，通義千問三款主力模型最高降幅85%。
除了阿里云，百度智能云則提供百舸AI異構(gòu)計算平臺，即基于AI Infra技術(shù)的云計算平臺，其將支持多芯混訓(xùn)、多芯適配，在萬卡集群上實現(xiàn)了超過99.5%的有效訓(xùn)練時長，而萬卡集群運行準(zhǔn)備時間也從數(shù)周縮減至1小時；字節(jié)的火山引擎則擁有AI 全棧云，支持多芯、多云架構(gòu)，支持萬卡集群組網(wǎng)、萬億參數(shù)MoE大模型，時延優(yōu)化最高達(dá)75%，文件存儲vePFS支持2TB/s吞吐并行存儲、自研 mGPU 容器共享方案，GPU 利用率提升100%以上。
另外，相對于阿里、字節(jié)這些互聯(lián)網(wǎng)大廠，AI Infra初創(chuàng)公司領(lǐng)域則更細(xì)分，經(jīng)鈦媒體App統(tǒng)計，這些AI Infra公司主要提供三類方案：
一是通過類似MaaS（模型即服務(wù)）軟件解決方案提供給模型方，或與算力集群一同提供項目制合作后分成，后者回款更慢；（這寫的偏簡略易懂，實際要更為復(fù)雜）
二是提供租用算力云和模型API平臺，利用多元異構(gòu)算力提供一個平臺的個性算力和模型服務(wù)，能夠解決部分中小開發(fā)者成本低、算力性能要求高、但場景單一這類需求，無問芯穹、硅基流動、清程極智都已提供相關(guān)平臺服務(wù)；
三是提供芯片+軟件的端到端方案；比如，無問芯穹正量產(chǎn)無穹LPU專用算力，主要解決端側(cè)模型推理，那么未來，AI Infra公司利用芯片硬件+自身軟件平臺，可以提供智能硬件、自動駕駛、手機和PC等端側(cè)場景的算力模型服務(wù)。
如無問芯穹，其主要提供基于多元芯片算力底座打造出Infini-AI異構(gòu)云平臺，包含一站式AI平臺（AIStudio）和大模型服務(wù)平臺；硅基流動則提供高性價比的GenAI云服務(wù)SiliconCloud、高性能大模型推理引擎SiliconLLM、OneDiff高性能圖像生成引擎。
然而目前，全球能夠完整提供 AI 算力服務(wù)、且做到最好的公司，只有全球科技巨頭英偉達(dá)（NVIDIA），主要因為A100、H100是全功能GPU處理器，且能利用CUDA軟件同時提供AI大模型算力推理、訓(xùn)練服務(wù)。因此，國內(nèi) AI Infra技術(shù)和商業(yè)化規(guī)模遠(yuǎn)低于英偉達(dá)。
“作為一家創(chuàng)業(yè)公司，技術(shù)只是產(chǎn)品中的一個要素，我現(xiàn)在理解的是一切都要服務(wù)于商業(yè)化。”袁進輝這句話點明了 AI Infra的實質(zhì)，這個行業(yè)需有市場需求、有技術(shù)壁壘、有行業(yè)盈利方案。
袁進輝表示，從軟件產(chǎn)品來看，以前有數(shù)據(jù)庫、操作系統(tǒng)、大數(shù)據(jù)系統(tǒng)，到今天出現(xiàn)了AI Cloud，“這是我在這方面的理解，工程細(xì)節(jié)繁多和工程量大不是劣勢，反而可能成為標(biāo)準(zhǔn)化產(chǎn)品的壁壘。”
而美國擁有together.ai, fireworks.ai 等AI Infra公司，主要服務(wù)微軟、亞馬遜、戴爾等大互聯(lián)網(wǎng)廠商。
無問芯穹是國內(nèi)少數(shù)選擇異構(gòu)混訓(xùn)這條路徑的創(chuàng)企，主要通過異構(gòu)多種GPU卡來同時混訓(xùn)一個大模型，地方政府、大模型廠商和偏研究型的單位都有這方面需求。目前無問芯穹擁有英偉達(dá)、AMD加上國產(chǎn)卡共六種芯片，任意兩種都能組合訓(xùn)練，在百卡和千卡這個級別都已經(jīng)完成混訓(xùn)，整體效率高達(dá)97.6%。
今年9月，夏立雪對鈦媒體App表示，異構(gòu)混訓(xùn)的難點主要在于，不同的芯片之間有不同的算子庫， GPU 性能如何預(yù)測，任務(wù)怎樣拆分讓不同硬件各司其職，同時，怎樣在通信上實現(xiàn)較好地協(xié)調(diào)以及打通通信庫等多種問題。而無問芯穹的初心是解決國內(nèi)算力不足的問題，把不同的模型在各類硬件上都能夠快速完成高效部署，去讓算法和算力之間形成最佳的軟硬件聯(lián)合的優(yōu)化、軟硬協(xié)同，讓各種各樣的算力都能夠把自身的價值發(fā)揮到最大。
“我們在整個產(chǎn)業(yè)中屬于連接模型和硬件，去讓大家能夠把算力更好地用起來的基礎(chǔ)設(shè)施的工作。所以我們確實在成立一開始就和很多重要的合作伙伴已經(jīng)做了很密切、深入的合作和一些戰(zhàn)略協(xié)同。”夏立雪表示，在一個互聯(lián)網(wǎng)客戶中，無問芯穹利用軟硬協(xié)同的核心技術(shù)優(yōu)化客戶大模型推理的業(yè)務(wù)場景，將算力使用成本降低了90%，實現(xiàn)算力資源大幅節(jié)省和提效作用。
中國AI算力受限下，大模型的未來需要體系結(jié)構(gòu)的變革
“人工智能技術(shù)潛力為重振美國夢，和重塑美國工業(yè)化提供了不可錯過的機會”。OpenAI于11月13日公布一份全新由該公司領(lǐng)導(dǎo)的“美國AI基礎(chǔ)設(shè)施（Infra）藍(lán)圖”。
OpenAI認(rèn)為，美國需要定制一項國家戰(zhàn)略，確保美國在未來 AI 領(lǐng)域處于領(lǐng)導(dǎo)地位。OpenAI公司全球事務(wù)副總裁克里斯·勒哈恩（Chris Lehane）表示，其已經(jīng)花費“很多時間”與拜登政府和特朗普團隊討論AI基礎(chǔ)設(shè)施需求，這將是美國未來關(guān)注的重要領(lǐng)域之一。
事實上，隨著算力經(jīng)濟成為全球戰(zhàn)略競爭新焦點，AI 算力也成為美國對華打壓限制的關(guān)鍵賽道。
據(jù)報道，美國商務(wù)部要求臺積電自11月11日起，停止將經(jīng)常用于人工智能（AI）應(yīng)用的先進芯片供貨給中國大陸客戶。美國商務(wù)部致函臺積電，對出口到中國大陸的某些7nm或更先進設(shè)計的精密芯片實施出口限制，這些芯片用于驅(qū)動AI加速器和圖形處理器（GPU）。
不止是臺積電。三星同樣受到美國禁令限制，目前已向中國大陸客戶發(fā)布相關(guān)通知，無法為提供AI芯片類晶圓代工服務(wù)。更早之前，英偉達(dá)、AMD等多款先進AI芯片對華限售。
目前臺積電方面并未直接予以否認(rèn)。11月8日下午，臺積電回應(yīng)鈦媒體App表示：“對于傳言， 臺積公司不予置評。臺積公司遵紀(jì)守法，嚴(yán)格遵守所有可使用的法律和法規(guī)，包括可適用的出口管制法規(guī)。”
11月13日，國務(wù)院臺辦發(fā)言人朱鳳蓮表示，推進兩岸產(chǎn)業(yè)合作有利于兩岸企業(yè)發(fā)展，增進兩岸同胞民生福祉。有關(guān)報道再次證明，美國打“臺灣牌”，升高臺海緊張局勢，目的是“以臺遏華”。而民進黨當(dāng)局妄圖“倚外謀獨”，一味隨美起舞搞“脫鉤斷鏈”，給兩岸有關(guān)產(chǎn)業(yè)合作設(shè)置越來越多的人為障礙，最終損害的是島內(nèi)企業(yè)的利益，削弱的是臺灣相關(guān)產(chǎn)業(yè)的優(yōu)勢，讓臺灣進一步錯失產(chǎn)業(yè)發(fā)展的機遇。
然而，無論消息真假與否，長期來看，美國一定會對華AI算力進行限制。所以如何在Scaling Law放緩、數(shù)據(jù)規(guī)模到達(dá)天花板、算力需求不斷增加等因素下，通過 AI 系統(tǒng)化、計算體系結(jié)構(gòu)化解決當(dāng)前問題，是中國 AI 發(fā)展的關(guān)鍵要素。
“Meta、OpenAI都朝著10萬卡規(guī)模往上走，所以數(shù)據(jù)中心層面一定會朝更大規(guī)模增長發(fā)展，也許未來的算力增長定律，已經(jīng)不再局限在單顆芯片的層面，而是整個體系算力層面。跨數(shù)據(jù)算力體系會支撐未來基礎(chǔ)設(shè)施的訓(xùn)練，擴張整個算力供給、提高并行計算創(chuàng)新能力，這是未來算力發(fā)展的重中之重。”在閉門圓桌中，一位半導(dǎo)體行業(yè)人士對鈦媒體App表示，如果未來中國缺乏算力，各種行業(yè)各個領(lǐng)域一定會受到嚴(yán)重影響。
周靖人早前在一場群訪中強調(diào)，模型更新離不開基礎(chǔ)設(shè)施，AI 是一個系統(tǒng)化的技術(shù)變革，如果沒有底層的相關(guān)能力的支持，今天模型的研發(fā)、迭代就沒有承載的地方，這是一個相輔相成、承上啟下的關(guān)系。
事實上，本文寫的很粗略，AI Infra基礎(chǔ)設(shè)施層其實非常龐大，擁有很多很復(fù)雜的技術(shù)細(xì)節(jié)，包括AI系統(tǒng)、AI算力框架、編譯和計算結(jié)構(gòu)、算子和開發(fā)體系等多個專業(yè)技術(shù)，僅多卡混訓(xùn)、解決并行計算問題，AI Infra行業(yè)經(jīng)歷了多年的反復(fù)技術(shù)積累。
一位AI算力公司技術(shù)人員告訴鈦媒體App，我們這個行業(yè)一直都在不斷踩坑和反復(fù)配合當(dāng)中，AI Infra行業(yè)沒有一個先行例子可以復(fù)制。
英偉達(dá)CEO黃仁勛近期坦言，通用計算誕生60年以來，開始出現(xiàn)向加速計算的轉(zhuǎn)換，通過并行計算，令GPU時代的算力較CPU時期大幅提升。而神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展，亦讓電腦獲取知識更加快，帶來電腦的智能化飛躍。他認(rèn)為，傳統(tǒng)計算方式依賴預(yù)設(shè)的演算法模型，缺乏學(xué)習(xí)和理解能力。而結(jié)合深度學(xué)習(xí)，系統(tǒng)可以對資料進行調(diào)整最佳化提升算力的使用率。
黃仁勛強調(diào)，計算技術(shù)每十年將進步一百萬倍，只需2年，英偉達(dá)甚至整個行業(yè)都將發(fā)生天翻地覆變化，更以“難以置信”形容AI的未來，認(rèn)為AI 縮小了人類間的技術(shù)差距，未來10年算力將再提高100萬倍。
“我越來越堅定，如果中國想做自己的生態(tài)，想做自己的AI，必須全產(chǎn)業(yè)鏈自主可控。我自己在 AI 軟硬件優(yōu)化的基礎(chǔ)上積累完，然后我們在AI大模型時代中推動中國把所有算力真的都用起來，然后去跟美國做競爭，這是我自己內(nèi)心深處特別想干的事情，這是我們做這家企業(yè)（無問芯穹）的初心。”無問芯穹發(fā)起人、清華大學(xué)電子工程系教授、系主任汪玉教授曾表示，算力需要發(fā)揮更大作用，從而能推動中國AI發(fā)展。
本文鏈接：http://m.albanygandhi.com/news-23-27537.html中國大模型要用Infra“降本增效”
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
