Specifiche tecniche di omni-moderation-latest
| Attributo | Dettagli |
|---|---|
| ID modello | omni-moderation-latest |
| Provider | OpenAI |
| Tipo di modello | Modello di moderazione per la classificazione di sicurezza |
| Caso d'uso principale | Rilevamento di contenuti potenzialmente nocivi negli input degli utenti o negli output del modello |
| Input supportati | Testo e immagini |
| Tipo di output | Risultati di moderazione strutturati in formato testo/JSON, incluse segnalazioni, categorie e punteggi |
| Endpoint | Moderations API |
| Supporto multimodale | Sì; supporta oggetti di input multimodali, incluse URL di immagini o dati immagine base64 |
| Stato predefinito/più recente | OpenAI lo documenta come l’ultimo modello omni di moderazione e la scelta consigliata per nuove integrazioni di moderazione |
| Alternativa legacy | text-moderation-latest è l’opzione precedente solo testo con meno categorizzazioni |
| Profilo di prestazioni | OpenAI lo indica come moderazione ad alte prestazioni con velocità media |
| Prezzi | OpenAI descrive i modelli di moderazione come gratuiti |
Che cos’è omni-moderation-latest?
omni-moderation-latest è l’attuale modello di moderazione di OpenAI per identificare contenuti non sicuri o sensibili alle policy in testi e immagini. È progettato per gli sviluppatori che devono filtrare prompt degli utenti, media caricati o output del modello prima che tali elementi vengano mostrati agli utenti finali o inviati a sistemi a valle.
OpenAI ha introdotto omni-moderation-latest come upgrade multimodale rispetto ai modelli di moderazione precedenti. Secondo la documentazione di OpenAI, è più capace delle opzioni legacy solo testo, supporta una categorizzazione più ampia ed è la scelta migliore per le nuove applicazioni che utilizzano l’endpoint di moderazione.
In pratica, i team usano omni-moderation-latest per la moderazione degli input, la moderazione degli output, pipeline di trust-and-safety, filtraggio di forum, revisione di contenuti social e flussi di rilevamento abusi in cui serve uno smistamento automatico rapido prima della revisione umana o della logica di applicazione. Si tratta di un’inferenza a livello di applicazione basata sulle linee guida di moderazione di OpenAI e sul design dell’API.
Funzionalità principali di omni-moderation-latest
- Moderazione multimodale: Il modello accetta input sia testuali sia di immagine, risultando adatto ad applicazioni moderne che devono valutare i messaggi degli utenti insieme a contenuti visivi caricati.
- Categorizzazione di sicurezza più ampia: OpenAI afferma che la famiglia omni moderation supporta più opzioni di categorizzazione rispetto ai modelli legacy di moderazione testuale.
- Output di sicurezza strutturato: Le risposte includono un oggetto di moderazione con campi come
flagged, etichette di categoria e punteggi di categoria, facilitando l’automazione della logica di allow, block, review o escalation. - Accuratezza migliorata: OpenAI ha riportato che
omni-moderation-latestè più accurato rispetto alla generazione precedente, soprattutto per contenuti non in inglese. - Supporto alla classificazione sensibile alle immagini: L’API può acquisire URL di immagini o dati immagine codificati in base64 come input di moderazione, consentendo il controllo di asset visivi caricati o collegati.
- La scelta migliore per nuove integrazioni: La guida alla moderazione di OpenAI raccomanda esplicitamente i modelli omni moderation più recenti per le nuove applicazioni, invece della famiglia legacy solo testo.
- Uso della moderazione gratuito dal lato del provider: L’elenco dei modelli di OpenAI descrive i modelli di moderazione come gratuiti, rendendoli interessanti per flussi di filtraggio di sicurezza su larga scala.
Come accedere e integrare omni-moderation-latest
Passaggio 1: Registrati per ottenere una chiave API
Per iniziare a usare omni-moderation-latest, registrati su CometAPI e genera la tua chiave API dalla dashboard. Dopo aver creato la chiave, conservala in modo sicuro in una variabile d’ambiente come COMETAPI_API_KEY. Questa chiave verrà usata per autenticare ogni richiesta inviata al modello.
Passaggio 2: Invia richieste all’API di omni-moderation-latest
Una volta ottenuta la tua chiave API, puoi chiamare l’endpoint chat compatibile con OpenAI su CometAPI specificando omni-moderation-latest come modello. Esempio:
curl https://api.cometapi.com/v1/moderations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $COMETAPI_API_KEY" \
-d '{
"model": "omni-moderation-latest",
"input": "Sample text to classify for safety."
}'
Puoi anche inviare input di moderazione multimodali quando il tuo workflow include immagini, a condizione che il client e il formato della richiesta seguano lo schema di moderazione upstream supportato dal modello. La documentazione dell’API di moderazione di OpenAI mostra che omni-moderation-latest supporta stringhe di testo, array di stringhe e oggetti di input multimodali.
Passaggio 3: Recupera e verifica i risultati
La risposta dell’API restituirà un oggetto di risultati di moderazione contenente il modello usato, una decisione flagged, etichette a livello di categoria e punteggi di categoria. Dopo aver ricevuto la risposta, verifica se il contenuto supera la soglia di policy della tua applicazione prima di consentirne l’ingresso nel flusso del prodotto. Per l’uso in produzione, molti team combinano soglie automatizzate con logging, code di revisione manuale e regole di business specifiche per le policy.