微軟

英偉達

智通財經APP獲悉，微軟(MSFT.US)宣佈，其Azure ND GB300v6虛擬機在Meta的Llama270B模型上實現了每秒推理速度達110萬token的行業新紀錄。據悉，Azure ND GB300虛擬機採用英偉達(NVDA.US)的Blackwell Ultra GPU，具體爲NVIDIA GB300NVL72系統，配置72個NVIDIA Blackwell Ultra GPU和36個NVIDIA Grace CPU，採用單機架構設計。這款虛擬機專爲推理工作負載優化，具有50%的GPU內存提升和16%的熱設計功率(TDP)提高。

微軟首席執行官薩提亞・納德拉在社交媒體上表示:“這一成就是我們與英偉達長期合作和在生產規模運行人工智能方面專業知識的結晶。”

資料顯示，爲了驗證性能提升，微軟在一個NVIDIA GB300NVL72域下的18臺ND GB300v6虛擬機上運行了Llama270B(FP4精度)模型，使用NVIDIA TensorRT-LLM作爲推理引擎。微軟表示:“一個NVL72機架的Azure ND GB300v6實現了總計110萬個token/秒的推理速度。” 這一新記錄超越了微軟之前在NVIDIA GB200NVL72機架上實現的86.5萬個token/秒的成績。

對此，Signal65的實驗室副總裁拉斯・費洛斯指出:“這一里程碑不僅突破了每秒百萬token的障礙，還在一個能夠滿足現代企業動態使用和數據治理需求的平臺上實現。” 他補充稱，Azure ND GB300相較於上一代NVIDIA GB200在推理性能上提升了27%，而僅增加了17%的功率規格。