博通

智通財經APP獲悉，韓國人工智能(AI)芯片初創公司FuriosaAI宣佈將與博通(AVGO.US)達成戰略合作，共同開發其第三代(下一代)AI推理加速器，目標於2028年上半年出樣。

據悉，雙方此次合作不再侷限於傳統的ASIC合作模式。該芯片將結合2nm先進製程的計算裸晶(Die)、獨立的I/O 裸晶、HBM4(E)內存堆棧，採用博通的縱向擴展以太網技術實現機架內多芯片全連接，並以機架級系統形式出貨。

雙方此次合作建立在RNGD的商業化成熟基礎之上。RNGD是FuriosaAI面向數據中心推理場景推出的AI芯片，目前已進入量產階段，並採用台積電5納米先進製程製造。RNGD是一款功耗180瓦、基於PCIe接口的AI加速器。FuriosaAI表示，RNGD已被三星SDS和LG AI Research部署，用於標準風冷數據中心的大語言模型和智能體AI工作負載。

FuriosaAI表示，其張量收縮處理器 (TCP) 架構針對AI計算的數學核心進行了優化。該芯片將內存訪問視為首要任務，專注於高帶寬數據傳輸和大規模張量運算，而非管理數千個細小線程。

博通半導體解決方案事業部總裁Charlie Kawwas表示：“推理性能不再僅僅取決於原始計算能力，它越來越取決於服務器和機架之間的數據重用和通信效率。通過將FuriosaAI的TCP架構與博通市場領先的XPU技術和IP平台、以太網縱向擴展和交換矩陣相結合，我們正在構建一個能夠解決大規模智能體AI關鍵瓶頸的平台。”

與博通的合作延續了FuriosaAI圍繞垂直整合推理基礎設施構建的更廣泛戰略。FuriosaAI在今年早些時候把推出RNGD的努力定位為減少對英偉達(NVDA.US)軟件生態系統依賴的更大推動的一部分。該公司首席執行官June Paik當時表示：“我們面臨的挑戰是用自己的軟件棧替換CUDA引擎。”

與博通的合作將這一戰略從單服務器優化擴展到機架級網絡和集羣架構。兩家公司將這一合作定位為不僅僅是芯片層面的協作。該機架級推理平台將FuriosaAI的推理架構與博通以太網架構、PCIe技術、先進封裝能力和AI基礎設施IP相結合，實現推理集羣在數千個節點上的擴展。

值得一提的是，博通與FuriosaAI的這一合作也反映了AI基礎設施內部正在發生的更廣泛轉變，推理工作負載開始與推動英偉達崛起的訓練系統分道揚鑣。雖然大規模模型訓練仍然嚴重依賴緊密耦合的GPU集羣和NVLink等專有互連技術，但運營商在生產規模部署推理基礎設施時越來越多地面臨一系列不同的約束，包括功率密度、網絡效率、內存帶寬、延遲和Token吞吐量等。

HyperFrame Research網絡和基礎設施副總裁兼實踐負責人Ron Westfall表示，大規模推理正在將AI基礎設施的優先級從塑造GPU密集型訓練集羣的需求轉移開。他表示：“大規模推理將瓶頸轉向優化總體擁有成本、內存帶寬和每Token功耗。”

對於博通與FuriosaAI的合作，Ron Westfall表示，這一合作反映了隨着AI部署規模超越緊密耦合的訓練系統，行業對網絡效率的日益重視，“優化網絡效率和機架級互連性現在與原始芯片性能一樣，對推理經濟性至關重要”。

此外，博通的以太網和PCIe技術將提供擴展大型推理集羣所需的高帶寬機架級連接。該架構也標誌着行業在基於以太網的AI基礎設施方面的增長勢頭，供應商正在尋找專有GPU架構的替代方案。博通越來越多地將自己定位為支撐大型AI集羣的網絡、交換和互連基礎設施的核心供應商，特別是在超大規模雲服務商追求定製加速器和異構計算環境的背景下。