Come eseguire test A/B sui modelli di IA

Eseguire lo stesso prompt su più modelli dovrebbe richiedere minuti, non giorni di lavoro d’integrazione. Quando un singolo endpoint espone ogni modello, confrontare GPT-5.6, Claude Sonnet 5 e Gemini 3.1 Pro sui tuoi prompt passa da un compito da sprint a un esperimento di un pomeriggio — e la scelta del modello smette di essere un’ipotesi.

Perché di solito il confronto tra modelli non avviene

Chiedi a un team come ha scelto il modello dietro a una certa funzionalità e la risposta onesta è spesso “è quello che abbiamo integrato per primo”. Non perché fosse il più adatto — ma perché passare a confrontare avrebbe significato lavoro d’integrazione per cui nessuno aveva tempo. Il modello che è stato rilasciato è quello che è rimasto, e se un altro sarebbe stato più economico, veloce o accurato per quella funzionalità specifica resta una domanda aperta a cui nessuno ha trovato il tempo di rispondere.

La ragione è l’attrito, non l’indifferenza. Nell’impostazione tradizionale, ogni provider implica il proprio SDK, la propria autenticazione, il proprio formato di richiesta e di risposta. Confrontare tre modelli correttamente significa integrare tre provider — tre set di credenziali, tre percorsi di codice, tre set di particolarità nel parsing delle risposte da gestire. È lavoro di ingegneria reale, e compete con il backlog delle funzionalità. Così il confronto viene rimandato, poi abbandonato, e il primo modello integrato vince per default. La decisione che dovrebbe essere guidata da evidenze è invece guidata da ciò che è stato più facile collegare.

Il problema di fondo: un confronto corretto tra modelli richiede di eseguire lo stesso prompt su più modelli. Quando ogni modello vive dietro la propria integrazione, sono giorni di setup — quindi non avviene, e la selezione del modello predefinisce ciò che è stato integrato per primo. Se fai crollare il costo di integrazione a quasi zero, il confronto diventa qualcosa che fai davvero.

Cosa cambia quando ogni modello è a un endpoint di distanza

La svolta è architetturale. Quando ogni modello è dietro un singolo endpoint compatibile con OpenAI, raggiungibile con un’unica credenziale, il costo d’integrazione per confrontare i modelli scende quasi a zero. Non stai più integrando tre provider per confrontare tre modelli — stai cambiando una singola stringa, il nome del modello, e inviando la stessa richiesta allo stesso endpoint. Il confronto che prima costava uno sprint ora costa il tempo di iterare su un elenco.

Concretamente, un confronto tra modelli diventa così semplice. Un client, un endpoint, e un ciclo sui modelli che vuoi testare:

from openai import OpenAI client = OpenAI( api_key="sk-your-unified-key", base_url="https://api.cometapi.com/v1") prompt = "Riassumi questo ticket di supporto e suggerisci un livello di priorità: ..."models = ["gpt-5.5", "claude-sonnet-4-6", "gemini-3.1-pro"] for model in models: response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": prompt}] ) print(f"--- {model} ---") print(response.choices[0].message.content)

Questo è l’intero harness di confronto. Lo stesso prompt, la stessa struttura di richiesta, lo stesso parsing di risposta — l’unica cosa che varia è la stringa del modello. Non c’è un secondo SDK, una seconda autenticazione, un secondo formato di risposta da gestire. Aggiungere un quarto modello al confronto è aggiungere una stringa all’elenco. Questa è la differenza tra fare del confronto tra modelli un progetto e farne un esperimento di un pomeriggio.

Poiché la forma della risposta è identica su ogni modello esposto dall’endpoint, tutto ciò che sta a valle della chiamata — parsing, scoring, logging — è scritto una volta e funziona per tutti. Puoi estendere lo stesso loop per catturare latenza, uso dei token e costo per modello, trasformando un rapido confronto a occhio in uno propriamente quantitativo. Confronti testa a testa pubblicati come Claude 4.6/4.7 vs GPT-5.4/5.5 sono utili per orientarsi, ma il punto di questo workflow è che puoi eseguire lo stesso confronto sui tuoi prompt invece di basarti su quelli di altri.

Prima di scrivere codice: il livello del playground

Per la primissima passata, spesso non serve scrivere affatto del codice. Un playground di confronto — un’interfaccia web dove scrivi un prompt e vedi gli output di più modelli affiancati — accorcia il ciclo di feedback ancora di più. È il modo più veloce per una prima lettura su quali modelli valga persino la pena includere in un test più rigoroso.

Il playground e l’harness di codice sono due fasi dello stesso workflow e servono momenti diversi:

• Il playground è per la prima lettura rapida. Incolla un prompt rappresentativo, vedi come tre o quattro modelli lo gestiscono affiancati, ed elimina subito quelli che chiaramente non vanno. Richiede minuti e nessun setup. È dove restringi il campo da “ogni modello” ai “due o tre che vale la pena testare davvero”.

• L’harness di codice è per il test rigoroso. Una volta ristretto il campo, il loop di cui sopra esegue i tuoi prompt reali — idealmente un batch di casi rappresentativi, non solo uno — e cattura i segnali quantitativi: qualità dell’output sui tuoi input reali, latenza e costo. Qui si prende la decisione, su evidenze del tuo carico di lavoro.

La sequenza è importante perché allinea lo sforzo con l’informazione. Il playground richiede sforzo quasi nullo ed elimina in fretta gli evidenti non idonei. L’harness di codice richiede un po’ più di sforzo e produce evidenze a livello decisionale. Insieme portano una questione di selezione modello da “dovremmo pianificarla” a “l’abbiamo risolta questo pomeriggio”.

Cosa misurare davvero

Lo scopo di un A/B test è una decisione, quindi misura ciò che guida la decisione per la tua funzionalità specifica. Quattro dimensioni coprono la maggior parte dei casi; il loro peso relativo dipende da ciò che la funzionalità richiede.

La disciplina critica: misura queste dimensioni sui tuoi prompt, non in astratto. Un modello che è in cima a una classifica pubblica può sottoperformare sul tuo compito specifico, e un modello più economico può essere più che sufficiente per ciò che serve davvero alla tua funzionalità. Benchmark e report di confronto — come il rapporto di benchmark dei modelli 2026 — sono un solido punto di partenza per decidere quali modelli includere, ma il test che decide la tua funzionalità è quello eseguito sui tuoi input.

L’errore più comune: scegliere un modello per la reputazione nei benchmark invece che per le prestazioni sul tuo carico di lavoro. I benchmark misurano capacità generali su compiti standardizzati; la tua funzionalità ha prompt specifici, soglie di qualità specifiche e vincoli specifici di costo e latenza. L’A/B test esiste precisamente per colmare il divario tra “buono in generale” e “buono per questo”.

Un workflow concreto di A/B testing

Mettendo tutto insieme, ecco un workflow che porta una domanda di selezione modello da aperta a risolta in un pomeriggio:

1. Assembla un set di prompt rappresentativo. Raccogli 10–20 esempi reali di ciò che questa funzionalità elabora davvero — non un prompt scelto ad hoc, ma un ventaglio che rifletta la reale varietà degli input. Questo set è la spina dorsale di tutto il test; un buon campione rende affidabile il risultato.

2. Restringi il campo nel playground. Esegui due o tre prompt rappresentativi in un playground affiancato per eliminare gli evidenti non idonei e scegliere i due o tre modelli che vale la pena testare in modo rigoroso.

3. Esegui l’intero set con l’harness di codice. Esegui l’intero set di prompt sui modelli preselezionati usando lo schema del singolo endpoint illustrato sopra. Cattura output, latenza e uso dei token per ogni coppia prompt-modello. Poiché è un unico endpoint, è un unico script.

4. Valuta rispetto alla soglia reale della tua funzionalità. Valuta gli output rispetto a ciò che la funzionalità richiede — accuratezza, formato, tono, qualunque cosa conti. Per alcune funzionalità questo è automatizzabile; per altre è una lettura umana. In ogni caso, valuta sui requisiti effettivi della funzionalità, non su un senso generico di qualità.

5. Pesa qualità rispetto a costo e latenza. Il modello migliore in qualità non è automaticamente la scelta giusta. Se un modello che costa un terzo supera la soglia di qualità, quello è il modello giusto per una funzionalità ad alto volume. Effettua il trade-off in modo esplicito, usando i numeri che hai raccolto.

6. Riesegui il test quando serve. I modelli si aggiornano, ne arrivano di nuovi e le esigenze della tua funzionalità cambiano. Poiché l’harness esiste già e l’endpoint è unificato, ripetere il confronto più avanti costa poco — così puoi rivedere la decisione quando arriva un nuovo modello invece di restare vincolato alla scelta originale.

L’angolo specifico alla funzionalità qui conta: il modello giusto varia davvero in base alla funzionalità. Un confronto focalizzato su una dimensione — per esempio quale modello usare quando l’allucinazione conta — può portare a una conclusione diversa rispetto a un confronto incentrato su costo o velocità. È esattamente per questo che eseguire il test sulle priorità della tua funzionalità, invece di importare un verdetto generale, rende il risultato utilizzabile.

Dove ti lascia tutto questo

Di solito il confronto tra modelli non avviene perché il costo d’integrazione lo rende un progetto che nessuno pianifica — quindi la selezione predefinisce ciò che è stato rilasciato per primo. Un endpoint unificato, compatibile con OpenAI, rimuove quel costo: lo stesso prompt su ogni modello è un loop su un elenco di stringhe, non tre integrazioni separate. Questo trasforma la scelta del modello da ipotesi a esperimento che puoi eseguire in un pomeriggio — restringi il campo in un playground, esegui i tuoi prompt reali in un unico harness, e decidi su qualità, costo e latenza misurati sul tuo carico di lavoro invece che sul benchmark di qualcun altro.

Il prossimo passo pratico: assembla 10–20 prompt reali per una funzionalità su cui sei incerto e eseguili su GPT-5.5, Claude Sonnet 4.6 e Gemini 3.1 Pro tramite un singolo endpoint. L’intero test è uno script e un pomeriggio. Qualunque cosa emerga, sceglierai il modello in base a evidenze del tuo carico di lavoro — che è l’unico confronto che risponde davvero alla domanda.

L’A/B testing dei modelli è difficile solo quando ogni modello richiede la propria integrazione. Dietro un unico endpoint compatibile con OpenAI, confrontare i modelli è un loop su stringhe di modelli — stesso prompt, stessa richiesta, stesso parsing, uno script. Restringi il campo in un playground, testa i tuoi prompt reali in un harness e decidi su qualità, costo e latenza misurati sui tuoi input. La selezione del modello diventa un esperimento di un pomeriggio invece che un default permanente.

Fonti: pattern di workflow per il confronto tra modelli e comportamento dell’endpoint unificato verificati rispetto alla documentazione dell’endpoint CometAPI e alla prassi corrente dei provider compatibili con OpenAI, giugno 2026. I nomi dei modelli riflettono la generazione attuale a giugno 2026 e cambieranno con il rilascio di nuove versioni.

.