Apa itu Auto API di CometAPI?
CometAPI Auto API adalah endpoint perutean model cerdas yang memungkinkan pengembang mengakses model AI yang sesuai tanpa menetapkan nama model tetap untuk setiap permintaan. Alih-alih memilih model individual seperti GPT, Claude, Gemini, atau model lain yang didukung, pengembang dapat mengirim model=auto, dan CometAPI akan secara otomatis menentukan model yang sesuai berdasarkan karakteristik dan kebutuhan permintaan.
Untuk beban kerja yang memprioritaskan kualitas respons lebih tinggi, pengembang dapat menggunakan auto-high. Baik auto maupun auto-high adalah opsi perutean, bukan model AI tetap.
Pendekatan ini memungkinkan aplikasi menggunakan API yang konsisten sementara CometAPI menangani pemilihan model di balik layar.
Parameter dan Spesifikasi Auto API
Auto API menggunakan struktur permintaan API yang sama dengan endpoint CometAPI terkait. Perbedaan utama adalah nilai parameter model.
| Parameter | Tipe | Deskripsi |
|---|---|---|
| model | string | Diatur ke auto atau auto-high |
| messages | array | Pesan percakapan |
| stream | boolean | Mengaktifkan streaming bila didukung |
| tools | array | Definisi alat |
| response_format | object | Konfigurasi output terstruktur |
| Image input | object/array | Konten gambar bila didukung |
| File input | object/array | Konten file bila didukung |
| Reasoning parameters | object/string | Pengaturan terkait penalaran yang didukung model terpilih |
Bagaimana Auto API bekerja?
Saat sebuah permintaan menggunakan model=auto atau model=auto-high, CometAPI terlebih dahulu memeriksa karakteristik permintaan. Karakteristik tersebut dapat mencakup jenis klien, apakah permintaan berisi gambar atau file, perkiraan panjang input, penggunaan alat, persyaratan output terstruktur, streaming, dan parameter terkait penalaran.
Berdasarkan karakteristik ini, permintaan dicocokkan ke skenario perutean yang sesuai. CometAPI kemudian memilih model yang memenuhi syarat dari pool model terkait sesuai tingkatan kualitas yang dikonfigurasi, ketersediaan model, prioritas, bobot, perizinan grup pengguna, kapabilitas, harga, dan ketersediaan kanal.
Setelah model dipilih, permintaan melanjutkan melalui sistem perutean kanal normal CometAPI. Dengan demikian, perutean otomatis menentukan model mana yang harus menangani permintaan, sementara perutean kanal menentukan kanal penyedia mana yang tersedia untuk memproses permintaan model tersebut.
Perutean otomatis tidak secara otomatis membuat kanal atau melewati konfigurasi kanal yang ada. Sebuah model harus memiliki konfigurasi harga dan rute kanal yang diperlukan sebelum dapat berhasil memproses permintaan.
Model yang dikembalikan dalam respons API mungkin berbeda dari model yang ditentukan dalam permintaan. Misalnya, permintaan yang menggunakan model=auto dapat mengembalikan nama model aktual di bidang model. Ini adalah perilaku yang diharapkan dan menunjukkan model mana yang akhirnya dipilih oleh router.
Auto vs Auto-High: Apa Perbedaannya?
auto dan auto-high menggunakan konsep perutean cerdas yang sama tetapi menargetkan tingkat kualitas berbeda.
Auto adalah opsi perutean serbaguna. Dirancang untuk memberikan keseimbangan praktis antara kualitas respons, biaya, kecepatan, dan ketersediaan. Cocok sebagai pilihan default untuk sebagian besar aplikasi sehari-hari.
Auto-High dirancang untuk pengguna yang mengutamakan model yang lebih kuat dan kualitas respons lebih tinggi. Lebih cocok untuk penalaran kompleks, pengodean tingkat lanjut, analisis mendalam, dan beban kerja lain yang sensitif terhadap kualitas.
auto-high tidak berarti setiap permintaan dikirim ke satu model premium tertentu. Seperti auto, opsi ini secara dinamis memilih model dari pool model berkualitas tinggi yang dikonfigurasi sesuai karakteristik permintaan.
| Fitur | auto | auto-high |
|---|---|---|
| Tujuan | Perutean otomatis umum | Perutean otomatis berkualitas lebih tinggi |
| Pemilihan model | Otomatis | Otomatis |
| Model tetap | Tidak | Tidak |
| Fokus utama | Keseimbangan biaya, kecepatan, ketersediaan, dan kapabilitas | Pemilihan model berkualitas lebih tinggi |
| Terbaik untuk | Beban kerja produksi umum | Beban kerja kompleks atau sensitif kualitas |
| Model dapat berubah | Ya | Ya |
Secara sederhana, gunakan auto saat Anda menginginkan default yang seimbang, dan gunakan auto-high ketika kualitas respons menjadi prioritas utama.
Use Case
Aplikasi AI umum
Auto adalah pilihan yang praktis untuk chatbot, pembuatan konten, peringkasan, klasifikasi, dukungan pelanggan, dan aplikasi AI serbaguna lainnya. Pengembang tidak perlu mempertahankan strategi pemilihan model tetap untuk setiap permintaan.
Pengodean dan pengembangan
Aplikasi pengodean dapat memperoleh manfaat dari perutean Auto karena permintaan terkait pengodean dapat diarahkan ke model yang dikonfigurasi untuk tugas rekayasa perangkat lunak. Ini bermanfaat untuk asisten pengodean, integrasi IDE, pembuatan kode, debugging, code review, dan agen pengembangan.
Analisis dan penalaran kompleks
auto-high cocok untuk tugas di mana kualitas respons lebih penting daripada meminimalkan biaya model. Contohnya termasuk analisis teknis, penalaran kompleks, tugas riset, analisis dokumen mendetail, dan alur kerja agen yang canggih.
Aplikasi multimodal
Saat didukung oleh aturan perutean dan model kandidat yang dikonfigurasi, Auto dapat merutekan permintaan yang berisi gambar atau file ke model yang mampu memproses input tersebut.
Aplikasi volume tinggi
Auto juga berguna untuk aplikasi yang memproses berbagai jenis permintaan. Alih-alih menerapkan dan memelihara logika pemilihan model di kode aplikasi, pengembang dapat membiarkan CometAPI mengelola pemilihan model secara terpusat.
Apa Batasan Auto API?
Auto tidak menjamin bahwa setiap permintaan akan ditangani oleh model yang sama. Karena pemilihan model bersifat dinamis, model yang mendasari dapat berubah seiring perubahan kondisi dan konfigurasi perutean.
Auto juga tidak menjamin harga serendah mungkin. Auto dirancang untuk pemilihan model cerdas, bukan sekadar memilih model termurah yang tersedia.
Batasan lainnya adalah kapabilitas khusus model dapat bervariasi. Model berbeda mungkin mendukung panjang konteks, alat, input gambar, output terstruktur, atau fitur lain yang berbeda. Oleh karena itu, Auto bekerja paling baik ketika model kandidat yang dikonfigurasi memiliki informasi kapabilitas yang akurat.
Terakhir, pemilihan model tidak menjamin bahwa permintaan dapat diselesaikan dengan sukses. Model yang dipilih tetap harus memiliki rute kanal yang tersedia untuk grup pengguna terkait. Jika tidak ada kanal yang sesuai, permintaan dapat gagal meskipun Auto berhasil mengidentifikasi model.
Bagaimana Auto Menangani Berbagai Jenis Permintaan?
Manfaat utama Auto adalah pengembang tidak perlu secara manual mempertahankan logika pemilihan model terpisah untuk setiap tipe permintaan umum.
Permintaan teks normal dapat ditangani oleh pool model default. Permintaan pengodean dapat diarahkan ke pool model berorientasi pengodean. Permintaan konteks besar dapat dicocokkan dengan model yang mendukung ukuran input yang diperlukan. Permintaan gambar dapat dirutekan ke model dengan kapabilitas visi.
Hal ini memungkinkan titik masuk API yang sama mendukung berbagai skenario aplikasi sambil menjaga integrasi sisi klien tetap sederhana.
Apa Manfaat Menggunakan CometAPI Auto API?
Manfaat utama Auto adalah memisahkan logika aplikasi dari logika pemilihan model.
Tanpa perutean otomatis, pengembang sering perlu memutuskan model mana yang harus menangani setiap permintaan dan kemudian mempertahankan strategi fallback ketika model menjadi tidak tersedia, mahal, atau tidak cocok untuk beban kerja tertentu.
Dengan Auto, aplikasi dapat menggunakan pengenal perutean yang stabil sementara strategi model yang mendasarinya dikelola secara terpusat.
Pendekatan ini dapat menyederhanakan aplikasi multi-model, memudahkan penerapan perubahan model, dan mengurangi jumlah logika perutean spesifik model yang perlu dipertahankan di dalam aplikasi.
Bagi tim yang bekerja dengan banyak penyedia AI dan kapabilitas model yang berubah cepat, abstraksi ini bisa sangat berharga.
Auto API vs Model Spesifik
| Fitur | Auto | Model Spesifik |
|---|---|---|
| Pemilihan model otomatis | Ya | Tidak |
| Identitas model tetap | Tidak | Ya |
| Kesederhanaan aplikasi | Tinggi | Sedang |
| Kontrol model | Lebih rendah | Tinggi |
| Fleksibilitas | Tinggi | Lebih rendah |
| Prediktabilitas | Lebih rendah | Tinggi |
| Cocok untuk beban kerja campuran | Ya | Bergantung pada model |
| Cocok untuk pengujian reprodusibel | Terbatas | Ya |
| Terbaik untuk | Beban kerja produksi dinamis | Aplikasi spesifik model |
Cara Menggunakan CometAPI Auto API
CometAPI Auto API dirancang untuk bekerja dengan OpenAI-compatible Chat Completions API. Anda tidak perlu memilih model dasar tertentu. Cukup atur parameter model ke auto atau auto-high, dan CometAPI akan secara otomatis memilih model yang sesuai berdasarkan permintaan.
Langkah 1: Dapatkan Akses API
Masuk ke CometAPI. Jika Anda belum menjadi pengguna kami, silakan daftar terlebih dahulu. Masuk ke konsol CometAPI. Dapatkan API key kredensial akses untuk antarmuka. Klik “Add Token” pada API token di pusat personal, dapatkan token key: sk-xxxxx dan kirimkan.
Langkah 2: Kirim Permintaan ke Auto API
Pilih endpoint “auto" atau "auto-high” untuk mengirim permintaan API dan atur body permintaan. Metode permintaan dan body permintaan diperoleh dari dokumentasi API situs kami. Situs kami juga menyediakan pengujian Apifox untuk kenyamanan Anda. Ganti <YOUR_API_KEY> dengan CometAPI key Anda yang sebenarnya dari akun Anda.
Perbedaannya sederhana:
auto— pilihan seimbang untuk beban kerja umum.auto-high— memprioritaskan pemilihan model berkualitas lebih tinggi.
Keduanya tidak merepresentasikan model dasar yang tetap.
Langkah 3: Bagaimana Model Dipilih oleh CometAPI Auto?
Saat Anda mengirim permintaan dengan model=auto atau model=auto-high, CometAPI terlebih dahulu mengidentifikasi karakteristik permintaan dan menentukan skenario perutean mana yang paling cocok. Sistem dapat mempertimbangkan faktor seperti jenis klien, apakah permintaan berisi gambar atau file, perkiraan panjang konteks input, penggunaan alat, persyaratan output terstruktur, streaming, dan kapabilitas lain yang didukung.
Setelah mengidentifikasi jalur perutean yang sesuai, CometAPI memilih model kandidat dari pool model auto atau auto-high yang terkait. Model yang dinonaktifkan, tidak tersedia untuk grup pengguna, tidak kompatibel dengan permintaan, atau tidak dapat mendukung konteks atau kapabilitas yang diperlukan akan dikecualikan. Kandidat yang tersisa kemudian dievaluasi sesuai prioritas perutean, bobot, dan ketersediaan yang dikonfigurasi.
Model yang dipilih kemudian diteruskan ke sistem perutean kanal CometAPI yang sudah ada, yang menemukan kanal yang tersedia untuk model dan grup pengguna tersebut. Hasilnya, model final tidak harus ditetapkan sebelumnya dan dapat bervariasi sesuai permintaan dan konfigurasi perutean saat ini.