AI正在重塑全球運算版圖,從雲端資料中心到終端裝置,全都進入「推論驅動」的全新時代。安謀(Arm)資深副總裁暨終端產品事業部總經理Chris Bergey於2025年Computex主題演講中指出,「AI推論的效能與效率將成為AI商業化的核心」,並強調為了支撐多模態AI模型的快速擴張,運算架構正面臨全面升級,Arm也因其橫跨雲端到邊緣的技術優勢,躍居為AI時代關鍵的基礎運算平台。
Bergey並預告,至2025年底,出貨給超大規模資料中心(hyperscalers)的新伺服器晶片中,將有近5成採用Arm架構。在行動與PC市場,Arm平台也正驅動AI PC與智慧型手機走向全天續航、高能效與即時推論的新標準。結合KleidiAI軟體函式庫與超過2200萬名開發者的生態支持,Arm正積極引領AI運算從雲端延伸至每一個終端。
AI推論需求驅動平台進化,Arm成AI時代關鍵基礎
「我們正站在科技史上最關鍵的時刻,這場AI革命的規模遠超過網際網路與智慧型手機。」Bergey在演講開場指出,AI技術已從雲端訓練快速延伸至終端推論,這不僅關乎軟體發展,更深刻地重塑了運算平台的設計邏輯。「現在每一個硬體設計決策,都是AI決策。」
過去18個月內,已有超過150種大型基礎模型(foundation models)問世,多數準確率超過90%,展現AI能力正快速從單一模態邁向多模態演進,應用橫跨語音、影像、文字與即時感知。「模型的進化不只是迭代,而是加速爆發。」
Bergey指出,在這波AI革新中,「AI推論」將是實現商業規模化應用的核心。相較於訓練階段消耗大量運算與能量,推論才是AI服務實際發生與創造價值的階段,因此需要強大的平台支援從雲端、邊緣到終端的部署能力。他以Ray-Ban推出的智慧眼鏡、搭載AI助手的個人裝置為例,說明AI已走出資料中心,進入日常生活中可穿戴、可互動的多元載體。
Bergey指出,AI技術已從雲端訓練快速延伸至終端推論,這不僅關乎軟體發展,更深刻地重塑了運算平台的設計邏輯。(魏鑫陽攝)
Arm平台滲透到雲端,Graviton晶片與Windows on Arm加速普及
Chris Bergey指出,AI運算需求正快速突破過去的基礎架構限制,尤其資料中心面臨高密度、高能耗的挑戰。Arm在雲端的進展,已從軟體開發平台進一步擴展至伺服器晶片市場。以亞馬遜雲端運算服務(AWS)為例,其採用Arm架構的Graviton平台已成為當前最大宗的新建算力來源,「過去兩年AWS部署的新CPU算力中,有超過50%為Arm架構」。
不僅如此,Microsoft(Cobalt)、Google(Axion)、Oracle與阿里巴巴(倚天/Gintama)等主要雲端服務商皆開發出自有Arm架構晶片,顯示Arm已成為AI時代資料中心設計的主流之一。這些雲端平台皆強調透過Arm架構,可提供高達40%以上的能效優勢(power efficiency),是支撐大規模AI推論的關鍵基礎。
(相關報導:
專訪》兩岸不該仇視,最大敵人是美國?旅美工程師斷言台海終局:中國沒理由打台灣
|
更多文章
)
Bergey分析,隨著AI模型日趨龐大,資料中心的電力消耗與散熱負擔呈指數級上升,以台灣為例,數據中心總耗能預估將於未來數年內成長達8倍。他直言:「我們不可能單靠加設更多機櫃來擴展容量,唯有提升每瓦效能與CPU密度,才能真正讓AI基礎設施具備可擴展性。」
而在終端市場上,Arm架構的滲透也同樣顯著。根據官方資料顯示,截至2025年,全球將有超過40%的PC與平板裝置採用Arm架構晶片。Bergey認為,AI PC的設計需求已逐漸向智慧型手機靠攏,包括無風扇設計、全天續航力、低功耗與高度整合的AI加速能力,正是Arm平台長年於行動裝置累積的優勢。
他並指出,高通(Qualcomm)與聯發科皆是此波AI PC轉型的重要推手,聯發科推出的Companio Ultra平台已具備50 TOPS(兆次運算能力),為Chromebook與AI筆電提供高效推論能力,也印證Arm架構正持續擴大其在終端裝置中的價值鏈。
Bergey指出。以AWS為例,其採用Arm架構的Graviton平台已成為當前最大宗的新建算力來源。(魏鑫陽攝)
推論即商機,Arm打造AI時代的效能效率解方
AI模型的推論運算需求,正以前所未見的規模爆發式成長。Bergey指出,一個大型語言模型(LLM)的訓練過程可能需要10的25次方至26次方次的運算(FLOPs),但真正產生價值的,是後續上線後無數次的推論操作。他強調「訓練只是支出,推論才是收益。AI商業化的核心,在於如何有效擴展推論的效能與效率。」
Arm的優勢正來自其持續40年投入的高效能每瓦運算設計(performance-per-watt),以及全球最廣泛的裝置佈建足跡。如今,從資料中心、伺服器、邊緣節點到手機與可穿戴裝置,Arm平台均可支援AI推論,並提供開發者一致性介面與跨平台效能最佳化支援。
針對軟體挑戰,Arm自去年Computex發表KleidiAI(官方譯為KleidiAI軟體函式庫),可整合於ONNX(Microsoft)、Executor(Meta)、TensorRT(Google)與鴻蒙系統等主流AI框架中,協助開發者針對多模態AI工作負載進行加速。短短一年內,KleidiAI累計安裝次數已超過80億,成為AI開發社群的關鍵加速工具。
Bergey分享了業界實例,一家新創AI公司初期可能擁有50位硬體工程師與50位軟體工程師,但18個月後,軟體人力規模通常擴增至250人以上,凸顯AI開發中軟體工作的重要性與複雜性。「Arm提供的價值不僅在晶片設計,更在於打造一個完整、生態一致且具開發支援力的平台。」
他進一步指出,為支援下一波AI裝置創新,Arm預告即將推出新一代CPU「Travis」與GPU「Draugr」,Travis提供雙位數IPC效能成長並導入SME(Scalable Matrix Extension)支援AI矩陣加速,Draugr則主打行動端可達主機等級的圖像品質與即時光線追蹤技術,強化遊戲與視覺AI應用。
終端裝置AI爆發,從智慧眼鏡到AI PC的設計革新
他以Meta推出、內建AI功能的Ray-Ban智慧眼鏡為例,「AI不再只是科技早鳥的玩具,這副眼鏡現已成為歐洲60多家Ray-Ban門市的熱賣產品」,代表AI推論技術的親民化與實用性正加速普及。這類裝置不僅結合語音助理、影像識別與感知互動,也標誌著AI從雲端轉向邊緣與在地處理的技術趨勢。
在AI PC領域,Bergey指出,消費者對個人運算裝置的期待已大幅提升,「現在的PC要像手機一樣全天續航、免風扇設計、具備即時AI反應能力與強大多媒體表現。」這些需求恰恰與Arm架構多年在手機市場累積的設計理念與技術特性相符。
Bergey也特別點名聯發科(MediaTek)作為Arm在終端裝置的重要生態系夥伴,其於Computex期間推出的高效能平台「Companio Ultra」,具備50 TOPS(兆次)AI推論能力,為下一代Chromebook與AI筆電提供更優異的能效與推論表現。他也提到,高通(Qualcomm)於Copilot+ PC陣容的積極佈局,亦是Arm架構在PC生態推進的重要案例。
同時,為協助開發者加速AI應用部署,Arm去年也同步發表「CSS for Client」平台設計方案,提供完整的SoC整合參考,協助業界從智慧手機架構延伸至筆電與工作站,快速實現跨裝置AI應用。
Bergey指出,一個大型語言模型(LLM)的訓練過程可能需要10的25次方至26次方次的運算(FLOPs),但真正產生價值的,是後續上線後無數次的推論操作。(魏鑫陽攝)
攜手產業夥伴,實現AI無所不在的願景
在演講最後,Chris Bergey強調,AI革命的規模與影響,遠遠超過任何單一企業所能完成。「AI的未來必須仰賴整個產業生態系的協作與共創,我們需要共同打造一個更快速、更高效、涵蓋雲端到終端的AI平台。」
為此,Arm積極與產業龍頭攜手合作,包含NVIDIA、MediaTek、AWS、Google、Microsoft等夥伴,推動從晶片IP、系統整合到軟體最佳化的全方位協作。他以NVIDIA近年打造的Grace Hopper與Grace Blackwell平台為例,說明AI加速器需要與高密度、高頻寬CPU深度耦合,而這正是Arm提供平台級運算架構的價值所在。
在與NVIDIA資深副總裁Kevin Deierling的對談中,雙方也共同指出,未來AI推論的場景將涵蓋實體世界與人機協作,邊緣AI裝置如機器人、智慧家庭系統、個人助理等,將需具備更低延遲與更高能效的AI運算能力。這正是Arm架構在低功耗裝置領域的優勢。
聯發科副總經理暨個人裝置事業群總經理Adam King也補充,AI正加速推動從傳統裝置邁向智慧化革新,讓過去三年前的筆電,因接入AI應用而變得更強大。AI讓每一台裝置「不只是更快,而是更聰明」,這項轉變將改變全球使用者的生活方式、教育模式與經濟機會。
從架構到生態,Arm為AI時代奠定基石
Bergey最後總結:「AI是一場千載難逢的機會,唯有仰賴深度協作與持續創新,才能釋放它真正的潛能。Arm會與生態系夥伴共同前行,實現AI無所不在的願景。」