omni-moderation-latest

Tekniske specifikationer for omni-moderation-latest

Hvad er omni-moderation-latest?

omni-moderation-latest er OpenAIs nuværende modereringsmodel til at identificere usikkert eller politikfølsomt indhold i tekst og billeder. Den er designet til udviklere, der skal screene brugerprompter, uploadede medier eller modelgenereret output, før disse vises for slutbrugere eller sendes videre til downstream-systemer.

OpenAI introducerede omni-moderation-latest som en multimodal opgradering af tidligere modereringsmodeller. Ifølge OpenAIs dokumentation er den mere kapabel end de ældre kun-tekst modereringsmuligheder, understøtter bredere kategorisering og er det bedste valg til nye applikationer, der bruger modererings-endpointet.

I praksis bruger teams omni-moderation-latest til input-moderering, output-moderering, trust-and-safety-pipelines, forumfiltrering, gennemgang af socialt indhold og arbejdsgange til misbrugsdetektion, hvor hurtig automatisk triage er nødvendig før manuel gennemgang eller håndhævelseslogik. Dette er en fortolkning på applikationsniveau baseret på OpenAIs modereringsvejledning og API-design.

Hovedfunktioner i omni-moderation-latest

• Multimodal moderering: Modellen accepterer både tekst- og billedinput, hvilket gør den velegnet til moderne applikationer, der skal evaluere brugermeddelelser sammen med uploadet visuelt indhold.
• Bredere sikkerhedskategorisering: OpenAI oplyser, at omni-modereringsfamilien understøtter flere kategoriseringsmuligheder end de ældre tekstmoderationsmodeller.
• Struktureret sikkerhedsoutput: Svar inkluderer et modereringsobjekt med felter som flagged, kategorietiketter og kategoriscore, hvilket gør det lettere at automatisere tillad-, blokér-, gennemse- eller eskalationslogik.
• Forbedret nøjagtighed: OpenAI har rapporteret, at omni-moderation-latest er mere præcis end den forrige modereringsgeneration, især for ikke-engelsk indhold.
• Billedbevidst klassifikationsunderstøttelse: API'et kan indlæse billed-URL'er eller base64-kodede billeddata som modereringsinput, hvilket muliggør screening af uploadede eller linkede visuelle aktiver.
• Bedst egnet til nye integrationer: OpenAIs modereringsvejledning anbefaler eksplicit de nyere omni-modereringsmodeller til nye applikationer frem for den ældre kun-tekst modelfamilie.
• Gratis modereringsbrug fra udbydersiden: OpenAIs modelliste beskriver modereringsmodeller som gratis, hvilket kan gøre dem attraktive til storskala sikkerhedsfiltreringsarbejdsgange.

Sådan får du adgang til og integrerer omni-moderation-latest

Trin 1: Tilmeld dig for at få en API-nøgle

For at begynde at bruge omni-moderation-latest skal du først tilmelde dig på CometAPI og generere din API-nøgle fra dashboardet. Når nøglen er oprettet, skal du gemme den sikkert i en miljøvariabel som COMETAPI_API_KEY. Denne nøgle bruges til at godkende hver anmodning, du sender til modellen.

Trin 2: Send anmodninger til omni-moderation-latest-API'et

Når du har din API-nøgle, kan du kalde det OpenAI-kompatible chat-endpoint på CometAPI og angive omni-moderation-latest som modellen. Eksempel:

curl https://api.cometapi.com/v1/moderations \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $COMETAPI_API_KEY" \
  -d '{
    "model": "omni-moderation-latest",
    "input": "Sample text to classify for safety."
  }'

Du kan også sende multimodalt modereringsinput, når din arbejdsgang inkluderer billeder, forudsat at din klient og anmodningsformatet følger det upstream-modereringsskema, som modellen understøtter. OpenAIs modererings-API-dokumentation viser, at omni-moderation-latest understøtter tekststrenge, arrays af strenge og multimodale inputobjekter.

Trin 3: Hent og verificér resultater

API-svaret returnerer et modereringsresultatobjekt, der indeholder den anvendte model, en flagged-beslutning, etiketter på kategoriniveau og kategoriscore. Efter modtagelse af svaret skal du verificere, om indholdet overskrider din applikations politikgrænse, før det tillades i dit produktflow. Til produktionsbrug kombinerer mange teams automatiske tærskler med logning, manuelle gennemgangskøer og politikspecifikke forretningsregler.