結論先說:AI 基礎設施的勝負手已從「誰先練出最大參數模型」轉向「誰能在延遲上限內把單位 Token 推論成本壓到最低」。隨著推理運算與多步驟代理走進生產環境,推論端消耗的算力與記憶體頻寬正快速超越一次性預訓練,進而改寫模型商的毛利結構與雲端巨頭的晶片採購邏輯。

代理型工作負載倍增 Token 消耗,直接改寫模型商的毛利結構

模型能力越往多步驟代理發展,推論成本就越決定商業化能否擴張。原因在於過去單輪對話只生成數百個 Token,而具備規劃、工具呼叫與自我修正能力的代理流程,單次任務會反覆讀取長上下文並觸發數萬至數十萬個 Token 運算;當 API 市場定價持續下行,若系統排程與狀態重用無法同步提升,活躍用戶越多反而會拉低毛利率。

  • 結構轉變:工作負載從「靜態問答」轉為「高頻多輪狀態迭代」,瓶頸由單純算力轉向鍵值快取(KV Cache)的記憶體容量與頻寬。
  • 商業影響:模型平台將 Prompt Caching、批次處理折價與模型路由(Model Routing)視為維持毛利的必要基礎設施,而非單純促銷手段。

單位 Token 成本壓力,正把雲端晶片採購推向專用 ASIC 與機櫃互連

雲端服務商與晶片廠的評估指標,正從單卡峰值算力轉向「每瓦特與每美元的有效推論吞吐」。這是因為預訓練叢集重視全域梯度同步與高精準度浮點運算,而大規模推論則更在意低延遲服務水準(SLA)下的記憶體頻寬利用率與能耗比,讓針對特定模型家族最佳化的客製化 ASIC 取得明確的導入空間。

  • 雲端與晶片側證據:NVIDIA 近年資料中心產品路線與各大雲端業者自研推論晶片,均將高頻寬記憶體(HBM)容量、機櫃級互連頻寬與低精度量化(FP8/FP4)列為核心賣點。
  • 硬體連動瓶頸:這股客製化推論晶片需求也直接牽動後段供應鏈,詳見同系列下一篇先進封裝產能為何仍是 AI 算力擴張的關鍵瓶頸。

接下來兩季,從快取定價、HBM 配比與自建 TCO 驗證拐點

要判斷推論經濟是否真正跨過結構性拐點,未來一到兩季可以直接追蹤三個可驗證訊號:

  • 長上下文與快取定價策略:主流模型商是否持續擴大 Prompt Caching 與非同步批次 API 的折扣幅度,反映底層叢集狀態重用效率是否達標。
  • 高階記憶體與封裝配額:觀察 HBM 與先進封裝產能在高階訓練卡與高容量推論卡之間的配置比例變化。
  • 企業自建與雲端呼叫的 TCO 剪刀差:當企業重新試算開源模型自建叢集與呼叫雲端 API 的總擁有成本,軟體推論框架的吞吐優化將直接左右市占消長。