omni-moderation-latest

Tekniske spesifikasjoner for omni-moderation-latest

Hva er omni-moderation-latest?

omni-moderation-latest er OpenAIs nåværende modereringsmodell for å identifisere utrygt eller policy-sensitivt innhold i tekst og bilder. Den er utviklet for utviklere som trenger å skjerme brukerforespørsler, opplastede medier eller modellgenererte utdata før disse vises for sluttbrukere eller sendes videre til nedstrøms systemer.

OpenAI introduserte omni-moderation-latest som en multimodal oppgradering av tidligere modereringsmodeller. Ifølge OpenAIs dokumentasjon er den mer kapabel enn eldre tekst-only modereringsalternativer, støtter bredere kategorisering og er det beste valget for nye applikasjoner som bruker modereringsendepunktet.

I praksis bruker team omni-moderation-latest til inndata-moderering, utdata-moderering, tillit- og sikkerhetsflyter, forumfiltrering, gjennomgang av innhold i sosiale kanaler og misbruksdeteksjon der rask, automatisert triagering er nødvendig før manuell gjennomgang eller håndhevelseslogikk. Dette er en slutning på applikasjonsnivå basert på OpenAIs modereringsveiledning og API-design.

Hovedfunksjoner i omni-moderation-latest

• Multimodal moderering: Modellen godtar både tekst- og bildekilder, noe som gjør den egnet for moderne applikasjoner som må vurdere brukermeldinger sammen med opplastet visuelt innhold.
• Bredere sikkerhetskategorisering: OpenAI opplyser at omni-modereringsfamilien støtter flere kategorier enn eldre tekstmoderering.
• Strukturert sikkerhetsutdata: Svar inkluderer et modereringsobjekt med felt som flagged, kategorietiketter og kategoripoeng, noe som gjør det enklere å automatisere logikk for tillat, blokker, gjennomgang eller eskalering.
• Forbedret nøyaktighet: OpenAI rapporterer at omni-moderation-latest er mer nøyaktig enn forrige generasjon, spesielt for ikke-engelsk innhold.
• Støtte for bildebevisst klassifisering: API-et kan ta inn bilde-URL-er eller base64-kodede bildedata som modereringsinndata, slik at opplastede eller lenkede visuelle ressurser kan screenes.
• Best egnet for nye integrasjoner: OpenAIs modereringsveiledning anbefaler uttrykkelig de nyere omni-modelleringsmodellene for nye applikasjoner fremfor eldre kun-tekst-modeller.
• Gratis modereringsbruk fra leverandørsiden: OpenAIs modelloversikt beskriver modereringsmodeller som gratis, noe som kan være attraktivt for storskala sikkerhetsfiltrering.

Slik får du tilgang til og integrerer omni-moderation-latest

Trinn 1: Registrer deg og hent en API-nøkkel

For å begynne å bruke omni-moderation-latest, registrer deg på CometAPI og generer API-nøkkelen din fra dashbordet. Etter at nøkkelen er opprettet, lagre den sikkert i en miljøvariabel som COMETAPI_API_KEY. Denne nøkkelen brukes til å autentisere hver forespørsel du sender til modellen.

Trinn 2: Send forespørsler til omni-moderation-latest-API-et

Når du har API-nøkkelen, kan du kalle det OpenAI-kompatible chat-endepunktet på CometAPI og angi omni-moderation-latest som modell. Eksempel:

curl https://api.cometapi.com/v1/moderations \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $COMETAPI_API_KEY" \
  -d '{
    "model": "omni-moderation-latest",
    "input": "Sample text to classify for safety."
  }'

Du kan også sende multimodale modereringsinndata når arbeidsflyten din inkluderer bilder, forutsatt at klienten og forespørselsformatet følger oppstrøms modereringsskjemaet som modellen støtter. OpenAIs Moderations API-dokumentasjon viser at omni-moderation-latest støtter tekststrenger, matriser av strenger og multimodale inndataobjekter.

Trinn 3: Hent og verifiser resultater

API-svaret returnerer et modereringsresultatobjekt som inneholder modellen som ble brukt, en flagged-beslutning, kategorinivå-etiketter og kategoripoeng. Etter mottak bør du verifisere om innholdet krysser applikasjonens policyterskel før det tillates i produktflyten. For produksjonsbruk kombinerer mange team automatiske terskler med logging, manuelle gjennomgangskøer og policyspesifikke forretningsregler.