AI 算力重心正從模型訓練轉向推論:單位 Token 成本成為下一輪競爭核心
大型語言模型進入多步驟代理與推理時代後,雲端資本支出與晶片採購的衡量標準正從訓練算力轉向推論吞吐與每百萬 Token 成本。
- 01 發生什麼事
- 多家雲端服務商與 AI 模型公司在 2026 年陸續公開推理型與代理型工作負載的算力佔比上升,推論階段在 GPU 與客製化 ASIC 叢集的使用比重已逐步追上甚至超越預訓練,帶動軟硬體堆疊同步重構。
- 02 為什麼重要
- 當模型能力逐步趨於可用,決定 AI 公司毛利率與產品商業化能否規模化的關鍵,不再只是誰先訓練出最大參數模型,而是誰能在延遲上限內把單次任務的推論總成本壓低。
- 03 後續怎麼看
- 未來兩季可觀察三個訊號:雲端巨頭財報對推論 ASIC 部署進度的說明、模型商是否進一步下調長上下文快取與批次 API 定價,以及企業端由單次問答轉向多步驟代理後的實際單位經濟效益。