Specyfikacje techniczne omni-moderation-latest
| Atrybut | Szczegóły |
|---|---|
| ID modelu | omni-moderation-latest |
| Dostawca | OpenAI |
| Typ modelu | Model moderacji do klasyfikacji pod kątem bezpieczeństwa |
| Główny przypadek użycia | Wykrywanie potencjalnie szkodliwych treści w danych wejściowych użytkowników lub wynikach modeli |
| Obsługiwane dane wejściowe | Tekst i obrazy |
| Typ wyjścia | Ustrukturyzowane wyniki moderacji w formie tekstu/JSON, w tym flagi, kategorie i wyniki punktowe |
| Punkt końcowy | Moderations API |
| Obsługa multimodalna | Tak; obsługuje wielomodalne obiekty wejściowe, w tym adresy URL obrazów lub dane obrazów zakodowane w base64 |
| Status domyślny/najnowszy | OpenAI dokumentuje go jako najnowszy model moderacji omni i zaleca go do nowych integracji moderacji |
| Alternatywa starszej generacji | text-moderation-latest to starsza, wyłącznie tekstowa opcja z mniejszą liczbą kategoryzacji |
| Profil wydajności | OpenAI określa go jako moderację o wysokiej wydajności i średniej szybkości |
| Cennik | OpenAI opisuje modele moderacji jako bezpłatne |
Czym jest omni-moderation-latest?
omni-moderation-latest to aktualny model moderacji OpenAI do identyfikowania niebezpiecznych lub wrażliwych pod kątem polityk treści w tekście i obrazach. Jest przeznaczony dla deweloperów, którzy muszą filtrować monity użytkowników, przesyłane multimedia lub wygenerowane przez modele odpowiedzi, zanim zostaną pokazane użytkownikom końcowym lub przekazane do systemów downstream.
OpenAI wprowadziło omni-moderation-latest jako multimodalne rozszerzenie wcześniejszych modeli moderacji. Zgodnie z dokumentacją OpenAI, jest on bardziej kompetentny niż starsze, wyłącznie tekstowe opcje moderacji, obsługuje szerszą kategoryzację i jest najlepszym wyborem dla nowych aplikacji korzystających z punktu końcowego moderacji.
W praktyce zespoły używają omni-moderation-latest do moderacji danych wejściowych i wyników, procesów trust-and-safety, filtrowania forów, przeglądu treści społecznościowych oraz wykrywania nadużyć w przepływach pracy, w których potrzebna jest szybka, zautomatyzowana triaż przed ręczną weryfikacją lub egzekwowaniem zasad. To wniosek na poziomie aplikacji, oparty na wytycznych moderacyjnych OpenAI i projekcie API.
Główne funkcje omni-moderation-latest
- Moderacja wielomodalna: Model przyjmuje zarówno dane tekstowe, jak i obrazy, dzięki czemu nadaje się do nowoczesnych aplikacji oceniających wiadomości użytkowników wraz z przesłanymi treściami wizualnymi.
- Szersza kategoryzacja bezpieczeństwa: OpenAI podaje, że rodzina modeli omni moderation obsługuje więcej kategorii niż starsze, tekstowe modele moderacji.
- Ustrukturyzowane dane wyjściowe dot. bezpieczeństwa: Odpowiedzi zawierają obiekt moderacji z polami takimi jak
flagged, etykiety kategorii oraz wyniki punktowe kategorii, co ułatwia automatyzację logiki zezwalania, blokowania, kierowania do przeglądu lub eskalacji. - Zwiększona dokładność: OpenAI raportuje, że
omni-moderation-latestjest dokładniejszy niż poprzednia generacja modeli moderacji, zwłaszcza dla treści w językach innych niż angielski. - Obsługa klasyfikacji z uwzględnieniem obrazów: API może przyjmować adresy URL obrazów lub dane obrazów zakodowane w base64 jako dane wejściowe do moderacji, umożliwiając screening przesyłanych lub linkowanych zasobów wizualnych.
- Najlepszy wybór dla nowych integracji: Przewodnik moderacji OpenAI wyraźnie zaleca nowsze modele omni moderation do nowych zastosowań zamiast starszej rodziny modeli wyłącznie tekstowych.
- Darmowe wykorzystanie moderacji po stronie dostawcy: W zestawieniu modeli OpenAI moderacja jest opisana jako bezpłatna, co może być atrakcyjne dla szeroko zakrojonych przepływów filtrowania pod kątem bezpieczeństwa.
Jak uzyskać dostęp i zintegrować omni-moderation-latest
Krok 1: Zarejestruj się i uzyskaj klucz API
Aby zacząć korzystać z omni-moderation-latest, zarejestruj się w CometAPI i wygeneruj klucz API w panelu. Po utworzeniu klucza bezpiecznie przechowaj go w zmiennej środowiskowej, na przykład COMETAPI_API_KEY. Ten klucz będzie używany do uwierzytelniania każdego żądania wysyłanego do modelu.
Krok 2: Wysyłaj żądania do interfejsu API omni-moderation-latest
Gdy masz już klucz API, możesz wywołać zgodny z OpenAI punkt końcowy czatu w CometAPI, określając omni-moderation-latest jako model. Przykład:
curl https://api.cometapi.com/v1/moderations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $COMETAPI_API_KEY" \
-d '{
"model": "omni-moderation-latest",
"input": "Sample text to classify for safety."
}'
Możesz również przesyłać multimodalne dane wejściowe do moderacji, gdy Twój przepływ pracy obejmuje obrazy, pod warunkiem że klient i format żądania są zgodne z obsługiwanym przez model schematem moderacji. Dokumentacja API moderacji OpenAI pokazuje, że omni-moderation-latest obsługuje łańcuchy tekstowe, tablice łańcuchów oraz wielomodalne obiekty wejściowe.
Krok 3: Pobierz i zweryfikuj wyniki
Odpowiedź API zwróci obiekt wyniku moderacji zawierający użyty model, decyzję flagged, etykiety kategorii oraz wyniki punktowe kategorii. Po otrzymaniu odpowiedzi sprawdź, czy treść przekracza progi polityk Twojej aplikacji, zanim dopuścisz ją do dalszego przepływu produktu. W środowisku produkcyjnym wiele zespołów łączy automatyczne progi z rejestrowaniem, kolejkami ręcznego przeglądu oraz regułami biznesowymi specyficznymi dla danej polityki.