OpenAI's gpt-oss-120b oznacza pierwszą od czasu GPT-2 wersję organizacji o otwartej wadze, oferującą programistom przezroczysty , konfigurowalny, wysoka wydajność Możliwości sztucznej inteligencji w ramach Licencja Apache 2.0Zaprojektowany dla wyrafinowanych rozumowanie oraz agentowy Model ten demokratyzuje dostęp do zaawansowanych technologii wielojęzykowych, umożliwiając wdrażanie lokalne i dogłębne dostrajanie.
Główne cechy i filozofia projektowania
Modele GPT‑OSS zostały zaprojektowane jako uniwersalne, tekstowe modele LLM. Wspierają one zaawansowane zadania poznawcze, takie jak rozumowanie matematyczne, analiza strukturalna i rozumienie języka. W przeciwieństwie do zamkniętych modeli komercyjnych, takich jak GPT‑4, GPT‑OSS umożliwia pełne pobranie i wykorzystanie wag modeli, dając badaczom i programistom bezprecedensowy dostęp do inspekcji, dostrajania i wdrażania modeli w całości w ramach ich infrastruktury.
Podstawowe informacje
- Parametry: 117 miliardów w sumie, 5.1 miliarda aktywny przez Mieszanina Ekspertów (MoE)
- Licencja:Apache 2.0 do nieograniczonego użytku komercyjnego i akademickiego
- Okno kontekstowe: Do 128 tys. tokenów, obsługując długie dane wejściowe i rozumowanie wielodokumentowe
- Łańcuch myśli: Pełny Łóżko składane wyniki dla audytowalności i kontroli szczegółowej
- Ustrukturyzowane wyniki:Natywne wsparcie dla JSON, XML i schematów niestandardowych.
Dane Techniczne
GPT-OSS wykorzystuje Transformator kręgosłup rozszerzony o Mieszanina Ekspertów (MoE) architektura, która pozwala na osiągnięcie rzadkiej aktywacji i redukcję kosztów wnioskowania. gpt-oss-120b model zawiera Eksperci 128 rozproszone po Warstwy 36, aktywacja 4 ekspertów na token (5.1 B aktywnych parametrów), podczas gdy gpt-oss-20b wykorzystuje Eksperci 32 koniec Warstwy 24, aktywacja 4 ekspertów na token (3.6 B aktywnych parametrów). Wykorzystuje naprzemiennie gęsta i lokalnie pasmowa, rzadka uwaga, zgrupowana uwaga na wiele zapytań (grupa licząca 8 osób) i wspierają 128 k Okno kontekstu tokena – niespotykane dotąd w ofertach o otwartej wadze. Wydajność pamięci jest dodatkowo zwiększona dzięki **4-bitowej kwantyzacji o mieszanej precyzji**, co umożliwia obsługę większych kontekstów na sprzęcie powszechnego użytku.
Modele GPT‑OSS poddano rygorystycznym testom porównawczym z dobrze znanymi zbiorami danych. Wyniki wykazały, że są one konkurencyjne — jeśli nie lepsze — pod względem wydajności w porównaniu do zastrzeżonych modeli o podobnej wielkości.
Benchmarking i ocena wydajności
W standardowych testach porównawczych gpt-oss-120b dorównuje lub przewyższa zastrzeżone przez OpenAI o4-mini Model:
- MMLU (Rozumienie języka ogromnej wielozadaniowości): ~88% dokładności
- Codeforces Elo (rozumowanie kodowania): ~ 2205 XNUMX
- AIME (konkurs matematyczny z narzędziami): ~87.9%
- Ławka zdrowia:Znacznie przewyższa o4-mini w zadaniach z zakresu zapewnienia jakości i diagnostyki klinicznej
- Tau-Bench (zadania z zakresu handlu detalicznego i rozumowania): ~62% średnio
Wersja modelu
- Wariant domyślny:
gpt-oss-120b(V1.0) - Aktywne parametry: 5.1 B (dynamiczny wybór MoE)
- Wydania uzupełniające:Planowane poprawki mające na celu poprawę filtry bezpieczeństwa oraz specjalistyczne dostrajanie domeny
Ograniczenia
Mimo swojej mocy modele GPT‑OSS mają pewne ograniczenia:
- Interfejs tylko tekstowy:W przeciwieństwie do GPT-4o lub Gemini, GPT‑OSS nie obsługuje danych wejściowych multimodalnych (obrazów, dźwięku, wideo).
- Brak przejrzystości zestawu treningowego:OpenAI nie ujawniło szczegółów dotyczących konkretnych wykorzystanych zestawów danych, co może budzić obawy dotyczące powtarzalności wyników badań naukowych lub audytu stronniczości.
- Niespójność wydajności:Niektóre testy porównawcze społeczności (np. Simple-Bench) wykazują słabe wyniki w określonych testach rozumowania (~22% w niektórych zadaniach dla 120b), co sugeruje wydajność może się znacznie różnić w zależności od domeny.
- Ograniczenia sprzętoweModel 120B wymaga znacznych mocy obliczeniowych do wnioskowania lokalnego, przez co jest niedostępny dla zwykłych programistów niemających dostępu do procesora graficznego.
- Kompromisy bezpieczeństwa:Mimo że modele te testowano w scenariuszach dostrajania w warunkach rywalizacji, ich otwarta natura oznacza, że nadal mogą być niewłaściwie wykorzystywane — np. do rozsyłania spamu, dezinformacji lub dokonywania jailbreaków — jeśli nie będą odpowiednio kontrolowane.
Mimo to OpenAI informuje, że modele gpt‑oss nie powodują obecnych zagrożeń bezpieczeństwa na poziomie granicznym, zwłaszcza w obszarach ryzyka biologicznego i cyberbezpieczeństwa.
Jak zadzwonić gpt-oss-120b API z CometAPI
gpt-oss-120b Ceny API w CometAPI, 20% zniżki od ceny oficjalnej:
| Tokeny wejściowe | $0.16 |
| Tokeny wyjściowe | $0.80 |
Wymagane kroki
- Zaloguj się do pl.com. Jeśli jeszcze nie jesteś naszym użytkownikiem, zarejestruj się najpierw
- Pobierz klucz API uwierzytelniania dostępu do interfejsu. Kliknij „Dodaj token” przy tokenie API w centrum osobistym, pobierz klucz tokena: sk-xxxxx i prześlij.
- Uzyskaj adres URL tej witryny: https://api.cometapi.com/
Użyj metody
- Wybierz „
gpt-oss-120b” punkt końcowy do wysłania żądania API i ustawienia treści żądania. Metoda żądania i treść żądania są pobierane z naszej witryny internetowej API doc. Nasza witryna internetowa udostępnia również test Apifox dla Twojej wygody. - Zastępować za pomocą aktualnego klucza CometAPI ze swojego konta.
- Wpisz swoje pytanie lub prośbę w polu treści — model odpowie właśnie na tę wiadomość.
- . Przetwórz odpowiedź API, aby uzyskać wygenerowaną odpowiedź.
CometAPI zapewnia w pełni kompatybilne API REST, co umożliwia bezproblemową migrację. Kluczowe szczegóły Dokumentacja API:
- Punkt końcowy: https://api.cometapi.com/v1/chat/completions
- Parametr modelu: gpt-oss-120b
- Poświadczenie:
Bearer YOUR_CometAPI_API_KEY - Typ zawartości:
application/json. - Podstawowe parametry:
prompt,max_tokens_to_sample,temperature,stop_sequences
Chociaż GPT‑OSS można używać całkowicie w trybie offline, obsługuje on również Interfejsy API czatu zgodne z OpenAI w przypadku hostowania w usługach takich jak Hugging Face czy AWS Bedrock.
Oto przykład integracji przy użyciu Pythona:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://api.cometapi.com/v1/chat/completions", # or AWS/Azure provider
api_key=cometapi_key
)
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[
{"role": "user", "content": "Explain how quantum tunneling works."}
]
)
print(response.choices.message.content)
Alternatywnie możesz uruchomić modele lokalnie, korzystając z narzędzi takich jak Wdrażanie LMDeploy, **Wnioskowanie dotyczące generowania tekstu (TGI)**lub vLLM.
Zobacz także GPT-OSS-20B
