AUTO API

Czym jest Auto API w CometAPI?

CometAPI Auto API to inteligentny punkt końcowy do trasowania modeli, który umożliwia deweloperom dostęp do odpowiednich modeli AI bez konieczności wskazywania stałej nazwy modelu przy każdym żądaniu. Zamiast wybierać konkretny model, taki jak GPT, Claude, Gemini lub inny obsługiwany model, deweloperzy mogą wysłać model=auto, a CometAPI automatycznie określi odpowiedni model na podstawie cech i wymagań żądania.

W przypadku obciążeń, w których preferowana jest wyższa jakość odpowiedzi, deweloperzy mogą użyć auto-high. Zarówno auto, jak i auto-high to opcje trasowania, a nie stałe modele AI.

Takie podejście pozwala aplikacjom korzystać ze spójnego API, podczas gdy CometAPI zajmuje się doborem modelu „w tle”.

Parametry i specyfikacje Auto API

Auto API używa tej samej struktury żądania API, którą obsługuje odpowiadający mu punkt końcowy CometAPI. Główna różnica polega na wartości parametru model.

Jak działa Auto API?

Gdy żądanie używa model=auto lub model=auto-high, CometAPI najpierw analizuje cechy żądania. Cechy te mogą obejmować typ klienta, to, czy żądanie zawiera obrazy lub pliki, szacowaną długość wejścia, użycie narzędzi, wymagania dotyczące ustrukturyzowanego wyjścia, strumieniowanie oraz parametry związane z rozumowaniem.

Na podstawie tych cech żądanie jest dopasowywane do odpowiedniego scenariusza trasowania. Następnie CometAPI wybiera kwalifikujący się model z odpowiedniej puli modeli zgodnie ze skonfigurowanym poziomem jakości, dostępnością modeli, priorytetem, wagą, uprawnieniami grup użytkowników, możliwościami, cenami i dostępnością kanałów.

Po wybraniu modelu żądanie przechodzi przez standardowy system trasowania kanałów CometAPI. Trasowanie Auto określa więc, który model powinien obsłużyć żądanie, podczas gdy trasowanie kanałów określa, który dostępny kanał dostawcy powinien przetworzyć żądanie dla tego modelu.

Trasowanie Auto nie tworzy automatycznie kanałów ani nie omija istniejącej konfiguracji kanałów. Model musi mieć niezbędną konfigurację cen i tras kanałów, aby mógł pomyślnie przetwarzać żądania.

Model zwrócony w odpowiedzi API może różnić się od modelu określonego w żądaniu. Na przykład, żądanie z model=auto może zwrócić rzeczywistą nazwę modelu w polu model. Jest to oczekiwane zachowanie i wskazuje, który model został finalnie wybrany przez router.

Auto vs Auto-High: Jaka jest różnica?

auto i auto-high korzystają z tej samej koncepcji inteligentnego trasowania, ale celują w różne poziomy jakości.

Auto to uniwersalna opcja trasowania. Ma zapewniać praktyczną równowagę między jakością odpowiedzi, kosztem, szybkością i dostępnością. Nadaje się jako domyślny wybór dla większości codziennych zastosowań.

Auto-High jest przeznaczone dla użytkowników, którzy preferują silniejsze modele i wyższą jakość odpowiedzi. Bardziej nadaje się do złożonego rozumowania, zaawansowanego kodowania, szczegółowych analiz i innych obciążeń wrażliwych na jakość.

auto-high nie oznacza, że każde żądanie trafia do jednego konkretnego modelu premium. Podobnie jak auto, dynamicznie wybiera model z skonfigurowanej puli modeli wysokiej jakości, zgodnie z cechami żądania.

W prostych słowach: używaj auto, gdy chcesz zrównoważonego domyślnego wyboru, a auto-high, gdy priorytetem jest jakość odpowiedzi.

Przypadki użycia

Ogólne aplikacje AI

Auto to wygodny wybór dla chatbotów, generowania treści, podsumowań, klasyfikacji, obsługi klienta i innych ogólnych zastosowań AI. Deweloperzy nie muszą utrzymywać stałej strategii doboru modeli dla każdego żądania.

Programowanie i rozwój oprogramowania

Aplikacje programistyczne mogą skorzystać z trasowania Auto, ponieważ żądania związane z kodowaniem mogą być kierowane do modeli skonfigurowanych pod zadania inżynierii oprogramowania. Ma to zastosowanie w asystentach kodowania, integracjach z IDE, generowaniu kodu, debugowaniu, przeglądach kodu i agentach developerskich.

Złożona analiza i rozumowanie

auto-high nadaje się do zadań, w których jakość odpowiedzi jest ważniejsza niż minimalizacja kosztu modelu. Przykłady obejmują analizy techniczne, złożone rozumowanie, zadania badawcze, szczegółową analizę dokumentów oraz zaawansowane przepływy pracy agentów.

Aplikacje multimodalne

Gdy pozwalają na to skonfigurowane reguły trasowania i modele-kandydaci, Auto może kierować żądania zawierające obrazy lub pliki do modeli zdolnych do przetwarzania takich danych wejściowych.

Aplikacje o dużej skali

Auto może być przydatne także w aplikacjach przetwarzających szeroką gamę żądań. Zamiast implementować i utrzymywać logikę doboru modelu w kodzie aplikacji, deweloperzy mogą pozwolić CometAPI centralnie zarządzać wyborem modelu.

Jakie są ograniczenia Auto API?

Auto nie gwarantuje, że każde żądanie będzie obsługiwane przez ten sam model. Ponieważ wybór modelu jest dynamiczny, używany model może się zmieniać wraz ze zmianami warunków i konfiguracji trasowania.

Auto nie gwarantuje także najniższej możliwej ceny. Zostało zaprojektowane do inteligentnego wyboru modelu, a nie do prostego wybierania najtańszej dostępnej opcji.

Innym ograniczeniem jest zmienność możliwości specyficznych dla modelu. Różne modele mogą wspierać różne długości kontekstu, narzędzia, wejścia obrazów, ustrukturyzowane wyjścia lub inne funkcje. Dlatego Auto działa najlepiej, gdy skonfigurowane modele-kandydaci mają dokładnie opisane możliwości.

Wreszcie, wybór modelu nie gwarantuje, że żądanie uda się pomyślnie zrealizować. Wybrany model musi nadal mieć dostępny kanał trasowania dla odpowiedniej grupy użytkowników. Jeśli nie ma odpowiedniego kanału, żądanie może się nie powieść, mimo że Auto prawidłowo zidentyfikowało model.

Jak Auto obsługuje różne typy żądań?

Kluczową korzyścią Auto jest to, że deweloperzy nie muszą ręcznie utrzymywać oddzielnej logiki wyboru modeli dla każdego typowego rodzaju żądania.

Zwykłe żądanie tekstowe może być obsłużone przez domyślną pulę modeli. Żądanie dotyczące kodowania może zostać skierowane do puli modeli ukierunkowanych na zadania programistyczne. Żądanie o dużym kontekście może zostać dopasowane do modeli obsługujących wymaganą wielkość wejścia. Żądanie z obrazem może zostać pokierowane do modelu z możliwościami wizji.

Pozwala to, aby ten sam punkt wejścia API obsługiwał różne scenariusze aplikacyjne, przy zachowaniu prostoty integracji po stronie klienta.

Jakie są korzyści z używania CometAPI Auto API?

Główną korzyścią Auto jest oddzielenie logiki aplikacji od logiki wyboru modelu.

Bez automatycznego trasowania deweloperzy często muszą decydować, który model powinien obsłużyć każde żądanie, a następnie utrzymywać strategie awaryjne, gdy modele stają się niedostępne, droższe lub nieodpowiednie dla danego obciążenia.

Dzięki Auto aplikacje mogą używać stabilnego identyfikatora trasowania, podczas gdy strategia doboru modelu jest zarządzana centralnie.

Takie podejście może uprościć aplikacje wielomodelowe, ułatwić wdrażanie zmian modeli i zmniejszyć ilość logiki trasowania specyficznej dla modelu, którą trzeba utrzymywać w samej aplikacji.

Dla zespołów pracujących z wieloma dostawcami AI i szybko zmieniającymi się możliwościami modeli, ta abstrakcja może być szczególnie cenna.

Auto API vs konkretny model

Jak korzystać z CometAPI Auto API

CometAPI Auto API zostało zaprojektowane do pracy z API Chat Completions kompatybilnym z OpenAI. Nie musisz wybierać konkretnego modelu bazowego. Wystarczy ustawić parametr model na auto lub auto-high, a CometAPI automatycznie wybierze odpowiedni model na podstawie żądania.

Krok 1: Uzyskaj dostęp do API

Zaloguj się do CometAPI. Jeśli nie jesteś jeszcze naszym użytkownikiem, najpierw się zarejestruj. Zaloguj się do swojego CometAPI console. Uzyskaj poświadczenie dostępu — klucz API interfejsu. Kliknij „Add Token” przy tokenie API w centrum osobistym, pobierz klucz tokenu: sk-xxxxx i zatwierdź.

Krok 2: Wysyłanie żądań do Auto API

Wybierz punkt końcowy „auto” lub „auto-high”, aby wysłać żądanie API i ustaw ciało żądania. Metodę i ciało żądania znajdziesz w dokumentacji API na naszej stronie. Na naszej stronie dostępne są również testy w Apifox dla Twojej wygody. Zamień <YOUR_API_KEY> na swój rzeczywisty klucz CometAPI z konta.

Różnica jest prosta:

• auto — zrównoważony wybór dla ogólnych obciążeń.
• auto-high — priorytetyzuje wybór modeli o wyższej jakości.

Żaden z nich nie reprezentuje stałego modelu bazowego.

Krok 3: Jak CometAPI Auto wybiera model?

Gdy wysyłasz żądanie z model=auto lub model=auto-high, CometAPI najpierw identyfikuje cechy żądania i określa, który scenariusz trasowania najlepiej do niego pasuje. System może brać pod uwagę czynniki takie jak typ klienta, to, czy żądanie zawiera obrazy lub pliki, szacowana długość kontekstu wejściowego, użycie narzędzi, wymagania dotyczące ustrukturyzowanego wyjścia, strumieniowanie oraz inne obsługiwane możliwości.

Po zidentyfikowaniu odpowiedniego „pasa” trasowania CometAPI wybiera modele-kandydatów z odpowiadającej mu puli auto lub auto-high. Modele wyłączone, niedostępne dla grupy użytkownika, niezgodne z żądaniem lub nieobsługujące wymaganego kontekstu czy możliwości są wykluczane. Pozostali kandydaci są następnie oceniani zgodnie ze skonfigurowanym priorytetem trasowania, wagą i dostępnością.

Wybrany model jest następnie przekazywany do istniejącego systemu trasowania kanałów CometAPI, który znajduje dostępny kanał dla tego modelu i grupy użytkownika. W rezultacie model końcowy nie musi być z góry ustalony i może się różnić w zależności od żądania oraz bieżącej konfiguracji trasowania.