AUTO API

Che cos'è Auto API in CometAPI?

CometAPI Auto API è un endpoint di instradamento intelligente dei modelli che consente agli sviluppatori di accedere a modelli di IA adatti senza specificare un nome di modello fisso per ogni richiesta. Invece di selezionare un singolo modello come GPT, Claude, Gemini o un altro modello supportato, gli sviluppatori possono inviare model=auto e CometAPI determina automaticamente un modello appropriato in base alle caratteristiche e ai requisiti della richiesta.

Per carichi di lavoro in cui si preferisce una qualità di risposta superiore, gli sviluppatori possono usare auto-high. Sia auto sia auto-high sono opzioni di instradamento, non modelli di IA fissi.

Questo approccio consente alle applicazioni di usare una API coerente mentre CometAPI gestisce la selezione del modello dietro le quinte.

Parametri e specifiche di Auto API

Auto API usa la stessa struttura di richiesta API supportata dal corrispondente endpoint CometAPI. La differenza principale è il valore del parametro model.

Come funziona Auto API?

Quando una richiesta usa model=auto o model=auto-high, CometAPI esamina innanzitutto le caratteristiche della richiesta. Queste caratteristiche possono includere il tipo di client, se la richiesta contiene immagini o file, la lunghezza stimata dell'input, l'uso degli strumenti, i requisiti di output strutturato, lo streaming e i parametri relativi al ragionamento.

In base a queste caratteristiche, la richiesta viene associata allo scenario di instradamento appropriato. CometAPI seleziona quindi un modello idoneo dal pool di modelli corrispondente in base al livello di qualità configurato, alla disponibilità del modello, alla priorità, al peso, alle autorizzazioni del gruppo di utenti, alle capacità, ai prezzi e alla disponibilità dei canali.

Dopo la selezione del modello, la richiesta prosegue attraverso il normale sistema di instradamento dei canali di CometAPI. L'instradamento automatico determina quindi quale modello deve gestire la richiesta, mentre l'instradamento dei canali determina quale canale del provider disponibile deve elaborare la richiesta per quel modello.

L'instradamento automatico non crea automaticamente canali né aggira la configurazione dei canali esistente. Un modello deve avere la necessaria configurazione dei prezzi e delle route di canale prima di poter elaborare correttamente le richieste.

Il modello restituito nella risposta API può quindi essere diverso dal modello specificato nella richiesta. Ad esempio, una richiesta che usa model=auto può restituire un nome di modello effettivo nel campo model. Questo comportamento è previsto e indica quale modello è stato selezionato in definitiva dal router.

Auto vs Auto-High: Qual è la differenza?

auto e auto-high utilizzano lo stesso concetto di instradamento intelligente ma mirano a livelli di qualità diversi.

Auto è l'opzione di instradamento generale. È pensata per fornire un equilibrio pratico tra qualità della risposta, costo, velocità e disponibilità. È adatta come scelta predefinita per la maggior parte delle applicazioni quotidiane.

Auto-High è progettata per chi preferisce modelli più potenti e una qualità di risposta superiore. È più adatta per ragionamento complesso, coding avanzato, analisi dettagliate e altri carichi di lavoro sensibili alla qualità.

auto-high non significa che ogni richiesta venga inviata a un unico modello premium specifico. Come auto, seleziona dinamicamente un modello dal pool di modelli di alta qualità configurato in base alle caratteristiche della richiesta.

In termini semplici, usa auto quando desideri un'impostazione predefinita equilibrata e usa auto-high quando la qualità della risposta è la priorità più alta.

Casi d'uso

Applicazioni IA generali

Auto è una scelta comoda per chatbot, generazione di contenuti, sintesi, classificazione, assistenza clienti e altre applicazioni IA generiche. Gli sviluppatori non devono mantenere una strategia di selezione del modello fissa per ogni richiesta.

Sviluppo e programmazione

Le applicazioni di sviluppo possono beneficiare dell'instradamento Auto perché le richieste legate al coding possono essere indirizzate verso modelli configurati per i compiti di ingegneria del software. Ciò è utile per assistenti di coding, integrazioni IDE, generazione di codice, debug, revisione del codice e agenti per lo sviluppo.

Analisi e ragionamento complessi

auto-high è adatto per attività in cui la qualità della risposta è più importante della minimizzazione del costo del modello. Esempi includono analisi tecniche, ragionamento complesso, attività di ricerca, analisi dettagliata di documenti e workflow di agenti sofisticati.

Applicazioni multimodali

Quando supportato dalle regole di instradamento configurate e dai modelli candidati, Auto può instradare richieste contenenti immagini o file verso modelli in grado di elaborare tali input.

Applicazioni ad alto volume

Auto può essere utile anche per applicazioni che gestiscono un'ampia varietà di richieste. Invece di implementare e mantenere una logica di selezione del modello nel codice dell'applicazione, gli sviluppatori possono lasciare che CometAPI gestisca centralmente la selezione del modello.

Quali sono i limiti di Auto API?

Auto non garantisce che ogni richiesta venga gestita dallo stesso modello. Poiché la selezione del modello è dinamica, il modello sottostante può cambiare man mano che cambiano le condizioni e le configurazioni di instradamento.

Auto non garantisce nemmeno il prezzo più basso possibile. È progettato per una selezione intelligente del modello, non per scegliere semplicemente il modello più economico disponibile.

Un'altra limitazione è che le capacità specifiche del modello possono variare. Modelli diversi possono supportare diverse lunghezze di contesto, strumenti, input di immagini, output strutturati o altre funzionalità. Pertanto, Auto funziona al meglio quando i modelli candidati configurati dispongono di informazioni accurate sulle loro capacità.

Infine, la selezione di un modello non garantisce che la richiesta possa essere completata con successo. Il modello selezionato deve comunque avere una route di canale disponibile per il gruppo di utenti pertinente. Se non è disponibile alcun canale idoneo, la richiesta può fallire anche se Auto ha identificato correttamente un modello.

In che modo Auto gestisce diversi tipi di richieste?

Il vantaggio principale di Auto è che gli sviluppatori non devono mantenere manualmente una logica di selezione del modello separata per ogni tipo comune di richiesta.

Una normale richiesta testuale può essere gestita dal pool di modelli predefinito. Una richiesta di coding può essere indirizzata verso un pool di modelli orientato allo sviluppo. Una richiesta con ampio contesto può essere associata a modelli che supportano la dimensione di input richiesta. Una richiesta di immagini può essere instradata verso un modello con capacità di visione.

Ciò consente allo stesso punto di ingresso API di supportare diversi scenari applicativi mantenendo semplice l'integrazione lato client.

Quali sono i vantaggi dell'uso di CometAPI Auto API?

Il vantaggio principale di Auto è che separa la logica dell'applicazione dalla logica di selezione del modello.

Senza instradamento automatico, gli sviluppatori spesso devono decidere quale modello dovrebbe gestire ciascuna richiesta e quindi mantenere strategie di fallback quando i modelli diventano non disponibili, costosi o inadatti a un particolare carico di lavoro.

Con Auto, le applicazioni possono usare un identificatore di instradamento stabile mentre la strategia di modello sottostante è gestita centralmente.

Questo approccio può semplificare le applicazioni multi-modello, facilitare la distribuzione di modifiche ai modelli e ridurre la quantità di logica specifica del modello da mantenere all'interno dell'applicazione.

Per i team che lavorano con più provider di IA e con capacità dei modelli in rapida evoluzione, questa astrazione può essere particolarmente preziosa.

Auto API vs modello specifico

Come usare CometAPI Auto API

CometAPI Auto API è progettata per funzionare con una OpenAI-compatible Chat Completions API. Non è necessario scegliere un modello sottostante specifico. È sufficiente impostare il parametro model su auto o auto-high, e CometAPI selezionerà automaticamente un modello appropriato in base alla richiesta.

Passaggio 1: Ottenere l'accesso all'API

Accedi a CometAPI. Se non sei ancora un nostro utente, registrati prima. Accedi alla tua CometAPI console. Ottieni la credenziale di accesso API key dell'interfaccia. Fai clic su “Add Token” nella sezione API token del centro personale, ottieni la chiave del token: sk-xxxxx e invia.

Passaggio 2: Inviare richieste all'Auto API

Seleziona l’endpoint “auto" o "auto-high” per inviare la richiesta API e imposta il corpo della richiesta. Il metodo e il corpo della richiesta sono riportati nella documentazione API del nostro sito. Il nostro sito fornisce anche un test Apifox per tua comodità. Sostituisci <YOUR_API_KEY> con la tua chiave CometAPI effettiva dal tuo account.

La differenza è semplice:

• auto — scelta equilibrata per carichi di lavoro generali.
• auto-high — dà priorità alla selezione di modelli di qualità superiore.

Nessuna delle due rappresenta un modello sottostante fisso.

Passaggio 3: Come viene selezionato un modello da CometAPI Auto?

Quando invii una richiesta con model=auto o model=auto-high, CometAPI identifica innanzitutto le caratteristiche della richiesta e determina quale scenario di instradamento è più adatto. Il sistema può considerare fattori come il tipo di client, se la richiesta contiene immagini o file, la lunghezza del contesto di input stimata, l'uso degli strumenti, i requisiti di output strutturato, lo streaming e altre funzionalità supportate.

Dopo aver identificato il percorso di instradamento appropriato, CometAPI seleziona i modelli candidati dal corrispondente pool di modelli auto o auto-high. I modelli disabilitati, non disponibili per il gruppo di utenti, incompatibili con la richiesta o incapaci di supportare il contesto o le funzionalità richieste vengono esclusi. I candidati rimanenti vengono quindi valutati in base alla priorità di instradamento configurata, al peso e alla disponibilità.

Il modello selezionato viene quindi passato al sistema di instradamento dei canali esistente di CometAPI, che trova un canale disponibile per quel modello e quel gruppo di utenti. Di conseguenza, il modello finale non è necessariamente fissato in anticipo e può variare in base alla richiesta e alla configurazione di instradamento corrente.