擴展AI推論版圖　Nvidia整合Groq技術與團隊

就在2025年聖誕節前夕，長期稱霸AI訓練市場的Nvidia採取了一項「拆解式收購」(control-through-deconstruction)策略，取得推論加速器晶片領域最具競爭力對手之一Groq的關鍵資產，進一步擴大其於AI推論領域的主導地位。

根據CNBC報導，Nvidia動用其600億美元現金儲備的三分之一(約200億美元)，取得Groq的推論技術資產，其中包含CEO Jonathan Ross、總裁Sunny Madra，以及Groq核心工程團隊的多位成員，他們將加入Nvidia，協助推進並擴大Groq授權技術在Nvidia平台上的應用。

Groq針對AI推論的獨特技術路線，可能進一步影響Nvidia的AI生態系。

(來源：Groq)

Groq CFO Simon Edwards將留在原公司團隊並接掌CEO職務。該團隊主要由Groq處於早期發展階段的雲端服務業務構成，透過雲端API提供其AI加速器算力存取。這樣的安排可避免Nvidia直接與其超大規模客戶在雲端市場正面競爭；換言之，Nvidia同時取得人才與晶片技術，而且避免了捲入雲端平台大戰。

儘管這是Nvidia迄今金額最高的一筆交易，但突顯了科技產業興起中的新型態併購模式：Nvidia並非展開全面收購，而僅吸收核心資產與人才，讓原公司保留法規架構外殼，以降低反壟斷審查風險。事實上，Nvidia在2025年9月也曾進行規模較小、性質類似的操作——支付超過9億美元授權Enfabrica技術，並延攬該AI硬體新創公司的CEO Rochan Sankar及其部份團隊成員加入。

雖然Nvidia CFO Colette Kress未對此交易發表評論，但Groq在CNBC報導發佈後證實與Nvidia簽署非專屬授權協議，取得Groq授權的推論技術。不過，真正引發外界高度關注的是CNBC還取得了Nvidia共同創辦人暨CEO黃仁勳致公司員工的內部信。他在信中指出，這項合作將顯著擴展Nvidia的技術版圖。

黃仁勳寫道：「我們計畫將Groq的低延遲處理器整合至Nvidia AI Factory架構，擴大平台服務範圍，以支援更廣泛的AI推論與即時工作負載。儘管我們將優秀人才納入團隊、並授權Groq的IP，但我們並未收購Groq整家公司。」

Groq的價值主張

Groq成立於2016年，主要由一群曾經參與Google張量處理器(TPU)開發的前Google工程師所創立。TPU是一款作為Nvidia GPU替代方案的AI加速器晶片。除了CEO Jonathan Ross之外，創始團隊亦包含曾任職於Google X「登月工廠」(moonshot factory)的Douglas Wightman，但他已於2019年離開Groq。

Groq的核心技術優勢在於其推論處理器——語言處理單元(LPU)。該晶片整合數百MB SRAM，並將其作為主要權重儲存(而非快取)，藉此降低延遲，並以全速向運算單元供應資料流。這一架構專為高效AI推論設計，也就是支援已訓練模型進行預測或決策。Groq聲稱，其LPU能源效率比起Nvidia與AMD的GPU更高出10倍。

換言之，Groq的LPU並不使用外接高頻寬記憶體(HBM)晶片，使AI加速器得以擺脫記憶體頻寬瓶頸。此外，晶片內建SRAM能加速聊天機器人與其他AI模型的互動回應速度，也就是推論階段模型回覆使用者指令的能力。不過，這樣的架構同時也限制了可支援模型的規模上限。

相較於擅長平行運算的CPU與GPU，LPU採單核心架構並專為序列運算設計，適於執行需要逐步處理資訊的LLM等任務。

(來源：Groq)

儘管Nvidia仍牢牢掌握AI訓練市場，但AI推論市場高度分散，競爭對手來自AMD與博通(Broadcom)等巨擘，以及Cerebras、Groq等AI加速器新創公司。此外，AWS、Google與微軟(Microsoft)也在積極開發自家推論晶片。然而，近年來，Groq逐漸被視為高效能推論工作負載中可取代GPU的可行替代方案之一。

那麼，為何Nvidia會以200億美元重金押注一家今年營收目標僅5億美元、而且在三個月前最新募資估值僅69億美元的公司？

根據業界傳聞，Nvidia內部早已有團隊研究不以GPU為藍本的替代架構。另一方面，黃仁勳也多場產業論壇的主題演講中也反覆強調，即便AI市場由訓練逐步轉向推論，Nvidia仍將維持領先地位。

因此，這筆200億美元的推論技術投資，無疑突顯了一個訊號：即時AI (real-time AI)已成為新戰場。此外，推論不再只是下游效能最佳化課題，而是一場方興未艾的技術戰爭。

推論市場的激動時刻

這項交易清楚展現Nvidia的策略佈局。過去Nvidia雖已投資多家AI晶片新創，但這次更進一步展現其捍衛AI硬體主導地位的決心，尤其是在其多家大型客戶積極研發自家AI處理器或尋求GPU替代方案的背景下，此舉更具指標意義。

從IP授權到深度整合，往往正是下一代矽晶技術真正展現影響力的關鍵階段。因此，外界高度關注Nvidia是否會將Groq的推論IP整合至現有GPU架構，或者打造結合LPU與GPU的混合型解決方案。

無論如何，Groq與Nvidia之間的非專屬授權合作，正式宣告AI基礎設施邁入新一輪成熟期，AI推論正逐步走向商品化。對於AI推論硬體及其背後的軟體生態系而言，這確實是值得關注且令人期待的發展時刻。

(參考原文：Groq: Nvidia’s $20 Billion Bet on AI Inference，by Majeed Ahmad，Susan Hong編譯)

The post 擴展AI推論版圖　Nvidia整合Groq技術與團隊 appeared first on 電子工程專輯.