訓練像 GPT-5 這樣最先進的大型語言模型 (LLM) 是一項浩大的工程、後勤和財務任務。關於使用了多少 GPU 的報導和傳言千差萬別——從幾萬到幾十萬不等——部分原因在於硬體的更新換代、軟體效率的提升，以及公司很少發布完整的訓練遙測數據。在本文中，我將解釋估算方法，並重點介紹決定最終數字的限制。
訓練 GPT-5 需要幾個 GPU？
簡短回答： 沒有單一的數字。公開訊號和技術擴展公式給出的合理答案從幾千（對於緊湊、時間靈活的訓練運行）到幾十萬（如果你堅持使用商用 GPU 在短時間內訓練一個非常龐大、密集的模型）不等。最終結果取決於 模型尺寸, 訓練計算預算（FLOPs）, 使用的代幣, 每個 GPU 的持續吞吐量, 時間預算，以及您使用的是較新的機架式 Blackwell 硬體還是較舊的 A100/H100 機器。 OpenAI 表示，GPT-5 是在 Microsoft Azure 超級電腦上訓練的（並非精確的 GPU 數量），其餘部分則由外部覆蓋範圍和工程粗略估計提供。
OpenAI（與大多數組織一樣）不會發布其最大模型的精確訓練 FLOP 計數或原始 GPU 小時分類賬，因此我們結合供應商規格、先前模型觀察到的歷史 GPU 使用模式以及縮放法則來產生可防禦範圍。