GPT-5 жаттығуы үшін қанша GPU? Сіз білуіңіз керек барлық нәрсе

GPT-5 сияқты заманауи үлкен тілдік үлгіні (LLM) оқыту - бұл үлкен инженерлік, логистикалық және қаржылық міндет. Қанша GPU пайдаланылғаны туралы тақырыптар мен қауесеттер әртүрлі - бірнеше ондаған мыңнан бірнеше жүз мыңға дейін - және бұл дисперсияның бір бөлігі аппараттық жасақтама ұрпақтарының өзгеруінен, бағдарламалық қамтамасыз етудің тиімділігін арттырудан және компаниялардың толық оқыту телеметриясын сирек жариялауынан туындайды. Бұл мақалада мен бағалаудың қалай алынғанын түсіндіремін және соңғы санды анықтайтын шектеулерді бөлектеймін.

GPT-5 оқыту үшін қанша GPU қажет?

Алдыңғы қысқа жауап: бірыңғай сан жоқ. Қоғамдық сигналдар мен техникалық масштабтау формулалары өте үлкен, тығыз модельді қысқа терезеде тауарлық графикалық процессорлармен оқытуды талап етсеңіз, төмен мыңнан (ықшам, уақыт бойынша икемді жаттығулар үшін) төмен жүздеген мыңға дейін кез келген жерде ақылға қонымды жауаптар береді. Бұл диапазонның қай ұшына қонатыныңызға байланысты үлгі өлшемі, оқытудың есептеу бюджеті (FLOPs), пайдаланылған белгілер, GPU үшін тұрақты өткізу қабілеті, уақыт бюджеті, және жаңарақ тарақ масштабындағы Blackwell жабдығын немесе ескі A100/H100 машиналарын пайдаланасыз ба. OpenAI GPT-5 Microsoft Azure суперкомпьютерлерінде оқытылғанын айтады (нақты GPU саны емес) және сыртқы қамту және конверттің инженерлік бағалаулары суреттің қалған бөлігін қамтамасыз етеді.

OpenAI (көптеген ұйымдар сияқты) оның ең үлкен үлгілері үшін нақты оқыту FLOP сандарын немесе шикі GPU-сағаттық журналын жарияламайды, сондықтан біз жеткізушінің сипаттамаларын, алдыңғы үлгілер үшін GPU пайдаланудың тарихи үлгілерін және қорғалатын ауқымдарды шығару үшін масштабтау заңдарын біріктіреміз.

Қандай негізгі ереже үлгі өлшемін GPU санына байланыстырады?

Сіз қолдануға болатын негізгі формула

NVIDIA Megatron командасы жаттығу уақыты үшін практикалық, кеңінен қолданылатын жуықтауды ұсынады: жаттығу_уақыты(лар)≈8⋅T⋅PN⋅X\мәтін{жаттығу\_уақыты(лар)} \шамамен 8 \cdot \frac{T \cdot P}{N \cdot X}тренинг (s)≈8⋅N⋅XT⋅P

мұнда:

PPP = үлгі параметрлерінің саны (салмақ)
TTT = жаттығу токендерінің саны
NNN = GPU саны
XXX = GPU үшін тұрақты өткізу қабілеті (FLOP/сек, жиі teraFLOP ретінде көрсетіледі)
8 коэффициенті алға+кері+ оңтайландырғышты және трансформатордың FLOP жуықтауындағы басқа тұрақтыларды санаудан келеді.

Мақсатты кесте үшін графикалық процессорларды бағалау үшін қайта реттелді: N≈8⋅T⋅PX⋅тренинг_уақыты(лар)N \шамамен 8 \cdot \frac{T \cdot P}{X \cdot \text{жаттығу\_уақыты(лар)}}N≈8⋅X⋅X⋅T⋅PP

Бұл есептеу бюджетін (FLOP) GPU паркінің өлшеміне түрлендіруге арналған жалғыз ең маңызды инженерлік формула және бұл біз кез келген GPU санауын бағалауды бастайтын орын.

Маңызды ескертулер

«X» (әр GPU үшін тұрақты TFLOP) - анықтау қиын сан. Теориялық шыңы FLOP (спецификациялар) әдетте жад трафигі, байланыс және құбыр көпіршіктері арқасында нақты жаттығу жұмысы қол жеткізетіннен әлдеқайда жоғары. NVIDIA хабарлады қол жеткізген бір A100 GPU үшін ~163 TFLOP өткізу қабілеті үлкен үлгіні оқыту экспериментінде; H100 және Blackwell құрылғыларының теориялық шыңдары әлдеқайда жоғары, бірақ қол жеткізуге болатын тұрақты өткізу қабілеті бағдарламалық құрал стекіне, модельдің параллель конфигурациясына және байланыс құрылымына байланысты. Бюджеттеу кезінде консервативті қол жеткізілген өткізу қабілеттілігін пайдаланыңыз.
Токен бюджеті TTT стандартталмаған. NVIDIA 1 триллион параметр мысалы үшін ~450B таңбалауышты пайдаланды; басқа командалар әртүрлі таңбалауыш/параметр қатынасын пайдаланады (және синтетикалық таңбалауыштар барған сайын қолданылады). Әрқашан таңбалауыш болжамды нақты көрсетіңіз.
Жад пен топологияның шектеулері (әр GPU жады, NVLink матасы, құбыр желісі/тензор параллелдігі шектеулері) кейбір GPU түрлерін үлкен, тығыз кесілген үлгілерге, тіпті олардың FLOP нөмірлері ұқсас болса да қолайлырақ ете алады. NVIDIA GB300/GB300 NVL72 сияқты тіректік жүйелер FLOP және жад арасындағы практикалық тепе-теңдікті өзгертеді.

Алдыңғы ұрпақ қанша GPU пайдаланды

Тарихи анкерлер: GPT-3 және GPT-4 есептері

Салалық есептер мен техникалық түсініктемелер кейінгі үлгілерге арналған бағалауларды бекіту үшін бұрынғы үлгілер үшін GPU есептерін бірнеше рет пайдаланды. Көптеген сенімді сауда нүктелері мен сала бақылаушылары GPT-4-тің алдын ала дайындығына апталар мен айлар бойы ондаған мың A100 GPU қатыстырылды деп есептейді. Мысалы, бір уақыттағы есеп беру GPT-4 оқу ізін ~10k–25k A100 диапазонында GPU инвентаризациясының ең жоғары санына немесе алдын ала жаттығу кезінде бір уақытта белсенді GPU-ларды санауға байланысты қояды. Бұл тарихи якорьлер пайдалы, себебі олар шама ретін және аппараттық құрал ұрпақтарының (A100 → H100 / Blackwell) әр құрылғыға өткізу қабілетін қалай өзгертетінін көрсетеді.

Салдары: егер GPT-4 ~10k–25k A100 қолданса, GPT-5 — егер бір немесе бірнеше шама ретімен үлкен болса немесе көбірек таңбалауыштарда оқытылған болса — айтарлықтай көбірек жиынтық есептеуді қажет етеді. Бірақ аппараттық құралдарды (H100/Blackwell/TPU) және бағдарламалық құралды (оптимизатор/дәлдік/сарапшылар қоспасы, деректер тиімділігі) жақсартулар бірдей немесе одан да көп есептеулерді жеткізу үшін қажетті физикалық құрылғылардың санын азайтуы мүмкін.

Әртүрлі GPT-5 масштабты сценарийлері үшін сізге қанша GPU қажет болады?

Төменде мен үш нақты сценарийді есептеймін - бірдей әдіс, әртүрлі болжамдар - осылайша GPU саны үлгі өлшемімен, аппараттық құралмен және уақыт бюджетімен қалай қозғалатынын көре аласыз. Мен жорамалдарды нақты айтамын, осылайша сіз оларды қайталай аласыз немесе реттей аласыз.

Пайдаланылған болжамдар (анық)

Негізгі FLOP формуласы: N≈8⋅T⋅PX⋅timeN \шамамен 8 \cdot \frac{T \cdot P}{X \cdot \text{time}}N≈8⋅X⋅timeT⋅P. (NVIDIA Megatron бөлімін қараңыз.)
Токендер санын масштабтау: Мен NVIDIA-ның 1T параметрлері үшін ~450B таңбалауыш үлгісін (сондықтан T≈0.45⋅PT \ шамамен 0.45 \cdot PT≈0.45⋅P) негізгі сызық ретінде қолданамын және осы сценарийлер үшін параметрлермен сызықтық таңбалауыштарды масштабтаймын. Бұл ақылға қонымды, бірақ әмбебап таңдау емес - кейбір командалар әр параметрге көбірек немесе аз белгілерді пайдаланады.
Жаттығу терезесі: 90 күн (≈ 7 776 000 секунд). Қысқа кестелер пропорционалды түрде көбірек GPU қажет етеді; ұзағырақ кестелер аз талап етеді.
GPU үшін тұрақты өткізу қабілеті (X, TFLOP): сезімталдықты көрсету үшін үш прагматикалық деңгей:

Консервативті / ескі A100 класына қол жеткізілді: 163 TFLOP GPU үшін (1T мысалында NVIDIA өлшенген қол жеткізілген өткізу қабілеті).
Қазіргі заманғы жоғары деңгейлі H100 класындағы тиімді өткізу қабілеті: ~600 TFLOP (жүйе деңгейіндегі тиімсіздіктерді есептегеннен кейін H100 теориялық тензор-ядро шыңдарының консервативті, қол жеткізуге болатын бөлігі).
Сөре масштабындағы Blackwell/GB300 тиімді: ~2,000 TFLOP GPU үшін (агрессивті, келесі буын Blackwell/GB300 тартпасының тиімділігін және FP4/оңтайландыру артықшылықтарын білдіреді; нақты тұрақты сандар жұмыс жүктемесі мен топологияға байланысты өзгереді).

Ескерту: бұл X мәндері болжамдар инженерлік иллюстрация үшін — оларды өзгертуге болатын түймелер ретінде пайдаланыңыз. Мәселе шамалардың ретін көрсету болып табылады.

Нәтижелер (дөңгелектелген)

Формула мен жоғарыдағы болжамдарды пайдаланып, T=0.45⋅PT=0.45\cdot PT=0.45⋅P ретінде масштабталған таңбалауыштары бар 90 күндік жаттығу үшін:

1 триллион параметр (1Т):

бірге 163 TFLOP/GPU → ≈ 2,800 графикалық процессор.
бірге 600 TFLOP/GPU → ≈ 770 графикалық процессор.
бірге 2,000 TFLOP/GPU → ≈ 230 графикалық процессор.

3 триллион параметр (3Т):

бірге 163 TFLOP/GPU → ≈ 25,600 графикалық процессор.
бірге 600 TFLOP/GPU → ≈ 6,900 графикалық процессор.
бірге 2,000 TFLOP/GPU → ≈ 2,100 графикалық процессор.

10 триллион параметр (10Т):

бірге 163 TFLOP/GPU → ≈ 284,000 графикалық процессор.
бірге 600 TFLOP/GPU → ≈ 77,000 графикалық процессор.
бірге 2,000 TFLOP/GPU → ≈ 23,000 графикалық процессор.

Бұл адамдардың бағалаулары неге соншалықты кең өзгеретінін көрсетеді: GPU үшін тұрақты өткізу қабілетінің (аппараттық және бағдарламалық құрал) немесе қажетті жаттығу уақытының өзгеруі GPU санын күрт өзгертеді. Он есе үлкен модель он есе көп PPP параметрлерін қажет етеді және таңбалауыштар әдетте үлгі өлшемімен масштабталатындықтан, бекітілген уақыт бюджетін сақтасаңыз, жалпы FLOP (демек, GPU қажеттіліктері) өте сызықты түрде өседі.

GPT-5 (синтез) үшін ең жақсы күш ауқымы:

Төменгі шегі (есептеу тиімді рецепт + Blackwell/H100 класындағы өткізу қабілеті): ~10 000–25 000 H100 эквивалентті графикалық процессорлар айлар ішінде орналастырылған (егер модельде алгоритмдік тиімділік айтарлықтай артқан болса және деректерді агрессивті түрде ұлғайту/дәл баптау арқылы азырақ параметр санын пайдаланған болса).
Орталық (сенімді негізгі сценарий): ~25 000–80 000 H100 эквивалентті графикалық процессорлар (үлкен есептеу бюджеттері мен таңбалауыш сандарын есепке алу үшін GPT-4 хабарланған ондаған мыңнан бір қадамға сәйкес келеді).
Жоғарғы шекара (бірнеше алгоритмдік таңбашалармен үйретілген өте үлкен, көп триллиондық параметр үлгісі): 80 000–150 000+ H100 эквивалентті GPU шыңында (егер команда қабырға сағатының өте қысқа уақытын іздеп, көптеген құрылғыларды қатар пайдаланса).

Бұл ауқымдар ағымдағы жеткізушінің өткізу қабілетіне, бұрынғы үлгілер үшін тарихи GPU пайдалануына және хабарланған салалық кластер өлшемдеріне сәйкес келеді. Олар бағалаулар, OpenAI-дан тікелей қабылдау емес. GPT-5 үшін нақты сан жеке меншік болып қалады.

GPU шотына дайындыққа дейінгі дайындықтан басқа тағы не қосады?

Құрылғылар санын көбейтетін факторлар

Параметрлер мен белгілердегі амбиция: Параметрлерді еселеу әдетте есептеу үшін оңтайлы болып қалу үшін таңбалауыштардың салыстырмалы ұлғаюын білдіреді.
Қабырға сағатының қысқа уақытын қалау: Жаттығуды айларда емес, апталарда аяқтау үшін бір мезгілде GPU санын пропорционалды арттыру қажет.
Үлкен валидация немесе RLHF режимдері: Жаттығудан кейінгі маңызды RLHF немесе адамның кері байланыс циклдері негізгі дайындық FLOP-терінен тыс маңызды GPU пайдалануды қосады.
Желілік және инфрақұрылымдық тиімсіздік: Нашар өзара байланысты масштабтау немесе төмен пайдалану жарнамаланған өткізу қабілеттілігін жүзеге асыру үшін қажетті физикалық GPU санын көбейтеді.

RLHF, дәл реттеу және бағалау

Адамның кері байланысы (RLHF) фазалары, көп сатылы дәлдіктер, қызыл командалық жүгірулер және үлкен бағалау сыпырулары арқылы күшейтілген оқыту «алдын ала дайындық» FLOPs үстіне айтарлықтай қосымша есептеулерді қосады. Бұл келесі фазалар көбінесе тиімді саясатты оқыту циклдерін және масштабта қайталанатын қорытындыны қажет етеді (ол басқа GPU кластерлерінде қызмет етеді), сондықтан жоба GPU ізі бір жаттығу алдындағы бағалаудан үлкенірек. OpenAI GPT-5 әзірлеуі алдын ала дайындықтан тыс есептеулерді қосатын күрделі қауіпсіздік және бағалау процестеріне нақты сілтеме жасайды.

Деректерді генерациялау және синтетикалық токендер

Өте үлкен масштабтағы жоғары сапалы токендердің тапшылығы командаларды синтетикалық таңбалауыштарды (өзін-өзі ойнау, модельде жасалған жалғастар) генерациялауға әкеледі, олар өздері өндіру үшін есептеуді және ветеринарияны қажет етеді. Бұл құбырды есепке алу үлгілік жоба кезінде пайдаланылатын жалпы GPU мен қабырға сағатын есептеуді арттырады.

Ұшыру және қайталау үшін флотқа қызмет көрсету

Миллиондаған пайдаланушыларға үлгіні іске қосу оқу кластерінен бөлек үлкен қорытындылар паркін қажет етеді. OpenAI желісінде жүздеген мыңнан миллионға дейін GPU бар екендігі туралы есептер қызмет көрсету мүмкіндігін қамтиды. Бұл оқыту кластерінен басқа бюджеттік сызық, бірақ ол қоғамдық талқылауда жиі араласады.

қорытынды

«GPT-5-ті қанша GPU үйрету керек» деген нақты жалпы сан жоқ, себебі жауап үлгі параметріне, оқыту рецептіне және басымдық қабырға сағатының уақыты немесе жалпы құнына байланысты. Қоғамдық жеткізушілердің сипаттамаларын, масштабтау туралы заң зерттеулерін және салалық есептерді якорь ретінде пайдалану, ең қорғалған қоғамдық GPT-5-сыныптағы оқыту қажет болуы мүмкін ондаған мың H100 эквивалентті графикалық процессорлар шыңында (болымды орталық диапазон: ~25k–80k H100-эквиваленттер), жиынтық GPU сағаттарымен көп миллион ауқымы.

GPT-5ке қайдан кіруге болады

Бағдарламалық қатынасты қаласаңыз немесе GPT-5 Pro өнімдерін өнімдерге ендіргіңіз келсе, API пайдаланыңыз. OpenAI, CometAPI т.б. GPT-5 отбасына арналған үлгі атауларын қамтиды (gpt-5-pro / gpt-5-pro-2025-10-06) және есеп айырысу пайдаланылған токендерге байланысты. API құрал-қосылған орындау, ұзағырақ мәтінмәндік терезелер, ағындық жауаптар және дәлелдеу күш-жігерін/мәнділігін басқару үшін үлгі параметрлері сияқты кеңейтілген мүмкіндіктерді қосады.

CometAPI – OpenAI GPT сериялары, Google Gemini, Anthropic's Claude, Midjourney, Suno және т.б. сияқты жетекші провайдерлердің 500-ден астам AI үлгілерін бір, әзірлеушілерге ыңғайлы интерфейске біріктіретін бірыңғай API платформасы. Тұрақты аутентификацияны, сұрауды пішімдеуді және жауаптарды өңдеуді ұсына отырып, CometAPI қолданбаларыңызға AI мүмкіндіктерін біріктіруді айтарлықтай жеңілдетеді. Чат-боттарды, кескін генераторларын, музыкалық композиторларды немесе деректерге негізделген аналитикалық құбырларды құрастырып жатсаңыз да, CometAPI сізге AI экожүйесіндегі соңғы жетістіктерге қол жеткізе отырып, жылдамырақ қайталауға, шығындарды басқаруға және жеткізуші-агностикалық күйде қалуға мүмкіндік береді.

Әзірлеушілер қол жеткізе алады GPT-5 Pro CometAPI арқылы, соңғы үлгі нұсқасы әрқашан ресми сайтпен жаңартылып отырады. Бастау үшін үлгінің мүмкіндіктерін зерттеңіз Ойын алаңы және кеңесіңіз API нұсқаулығы егжей-тегжейлі нұсқаулар үшін. Қол жеткізу алдында CometAPI жүйесіне кіріп, API кілтін алғаныңызға көз жеткізіңіз. CometAPI біріктіруге көмектесу үшін ресми бағадан әлдеқайда төмен баға ұсыныңыз.

Баруға дайынсыз ба?→ CometAPI-ге бүгін тіркеліңіз !