Mengintegrasikan LiteLLM dengan CometAPI — panduan praktikal untuk jurutera

CometAPI
AnnaSep 3, 2025
Mengintegrasikan LiteLLM dengan CometAPI — panduan praktikal untuk jurutera

Sejak beberapa bulan lalu, landskap AI telah berubah dengan cepat: OpenAI menghantar GPT-5 kepada pembangun dan menyegarkan timbunan masa nyatanya; Anthropic mengemas kini Claude dan dasar penggunaan datanya; dan Google mendorong Gemini lebih mendalam ke dalam ekosistem rumah dan peranti pintar. Peralihan tersebut penting kerana ia menukar model yang anda ingin capai dan cara anda memantaunya—tepat di mana "API + kebolehmerhatian bersatu" bergandingan seperti LiteLLM + CometAPI bersinar.

Dalam panduan ini, anda akan mendapat panduan penyepaduan yang praktikal dan berat kod LiteLLM bersama CometAPI (yang bercakap an Serasi OpenAI dialek), meliputi pemasangan, panggilan asas, penyegerakan & penstriman dan petua penggunaan. Di sepanjang jalan, kami akan mengaitkan perkara yang diisyaratkan oleh kemas kini model terbaharu untuk pilihan penyepaduan anda.

Apakah itu LiteLLM?

LiteLLM ialah SDK dan proksi Python sumber terbuka (pintu masuk LLM) yang mendedahkan API tunggal yang konsisten untuk banyak pembekal model (OpenAI, Anthropic, Vertex/Google, AWS Bedrock, Hugging Face, dll.). Ia menormalkan perbezaan pembekal (format input, ralat, bentuk keluaran), menyediakan logik cuba semula/sandaran/laluan dan menyokong kedua-dua SDK yang ringan and pelayan proksi untuk penghalaan LLM pusat dalam tindanan infra. Dengan kata lain: satu API untuk memanggil banyak model.

Ciri-ciri:

  • Python Bersatu berfungsi seperti completion, responses, embeddings.
  • Penghalaan serasi OpenAI (jadi pelanggan yang bercakap API gaya OpenAI boleh dihalakan kepada penyedia lain).
  • Async + sokongan penstriman (pembungkus async seperti acompletion, dan stream=True untuk jawapan berpotongan).

Cara model dan titik akhir LiteLLM memetakan

  • Penggunaan completion() (segerak) dan acompletion() (async) dalam Python SDK untuk panggilan gaya sembang/penyelesaian.
  • Untuk titik akhir yang serasi dengan OpenAI, LiteLLM menyokong satu api_base/api_key mengatasi supaya SDK tahu untuk mencapai laluan gaya OpenAI.

Apakah itu CometAPI?

CometAPI ialah perkhidmatan "satu API untuk banyak model" yang mendedahkan beratus-ratus model (termasuk OpenAI GPT-5, Anthropic Claude, xAI Grok, Qwen, GLM dan penjana imej/video) melalui Serasi OpenAI Antara muka REST. Kerana ia serasi, anda biasanya boleh menghalakan klien OpenAI anda ke CometAPI base_url dan mengekalkan skema permintaan/tindak balas yang sama—menjadikannya alternatif drop-in atau pelengkap kepada API pihak pertama.

Petua: Keserasian ini adalah apa yang LiteLLM jangkakan. Anda boleh merujuk model CometAPI melalui LiteLLM menggunakan panggilan gaya OpenAI, atau menghalakannya melalui Proksi LiteLLM dengan base_url mengatasi.

Prasyarat untuk menyepadukan LiteLLM dengan CometAPI

Sebelum anda boleh menyambungkan LiteLLM ke CometAPI, anda memerlukan beberapa perkara:

Persekitaran Python

  • Python 3.8+ (disyorkan: persekitaran maya melalui venv or conda).
  • pip dinaik taraf: python -m pip install --upgrade pip

LiteLLM dipasang pip install litellm (Pilihan: pasang litellm jika anda mahu menjalankan pelayan proksi LiteLLM.)

Akaun CometAPI & kunci API

  1. Mendaftar di cometapi.com.
  2. Dapatkan anda Kunci API daripada papan pemuka anda.
  3. Simpannya sebagai pembolehubah persekitaran: export COMETAPI_KEY="sk-xxxx"

Pemahaman asas tentang API serasi OpenAI

  • CometAPI mendedahkan Titik akhir gaya OpenAI seperti /v1/chat/completions.
  • LiteLLM menyokong format ini secara asli, jadi tiada pelanggan tersuai diperlukan.

Bagaimanakah cara saya membuat panggilan penyiapan asas (menggunakan LiteLLM → CometAPI)?

Gunakan fungsi penyiapan LiteLLM untuk menghantar mesej kepada model CometAPI. Anda boleh menentukan model seperti cometapi/gpt-5 atau cometapi/gpt-4o.

Kaedah 1: Gunakan pembolehubah persekitaran untuk kunci API (disyorkan).

from litellm import completion
import os

# Option A: use env var

os.environ = "sk_xxx" # CometAPI key

# Direct call with explicit api_base + api_key

resp = completion(
    model="cometapi/gpt-5",               
    api_key=os.environ,  
    api_base="https://www.cometapi.com/console/", # CometAPI base URL

    messages=[
        {"role":"system", "content":"You are a concise assistant."},
        {"role":"user", "content":"Explain why model-aggregation is useful in 3 bullets."}
    ],
    max_tokens=200,
    temperature=0.2
)

print(resp.choices.message)

Jika anda suka, anda juga boleh menetapkan OPENAI_API_KEY/OPENAI_API_BASE — LiteLLM menerima beberapa konvensyen pembekal; semak versi dokumen SDK anda.

Kaedah 2: Lulus kunci API secara eksplisit：

Contoh:

from litellm import completion
import os
# Define your messages (array of dictionaries with 'content' and 'role')

messages = 

api_key = 'your-cometapi-key-here'  # Alternative: Store it in a variable for explicit passing

# CometAPI call - Method 2: Explicitly passing API key

response_2 = completion(model="cometapi/gpt-4o", messages=messages, api_key=api_key)

# Print the responses

print(response_2.choices.message.content)

Bagaimanakah panggilan tak segerak dan penstriman berfungsi dengan LiteLLM → CometAPI?

Panggilan Asynchronous

  • Pengertian: Panggilan tak segerak ialah apabila permintaan dibuat untuk melakukan sesuatu (seperti mengambil data atau menjalankan tugas), tetapi bukannya menunggu ia selesai sebelum meneruskan, atur cara terus melaksanakan kod lain.
  • Idea Utama: “Jangan sekat, teruskan bekerja sambil menunggu.”
  • Contoh:
  • Dalam apl web: mengambil data daripada API tanpa membekukan UI.
  • Dalam Python: menggunakan async/await bersama asyncio.
  • Dalam JavaScript: menggunakan Promises or async/await.

Gunakan kes: Meningkatkan prestasi dan responsif dengan tidak menyekat utas utama.

Menstrim Panggilan

  • Pengertian: Panggilan penstriman bermakna daripada menunggu semua data bersedia dan kemudian menghantarnya semula sekali gus, pelayan menghantar sebahagian daripada data sebaik sahaja data itu tersedia.
  • Idea Utama: “Hantar data sekeping demi sekeping semasa ia dihasilkan.”
  • Contoh:
  • Menonton video YouTube sebelum keseluruhan fail video dimuat turun.
  • Apl sembang masa nyata atau kemas kini ticker saham.
  • Dalam API: daripada menunggu output penuh model, pelanggan menerima perkataan/token secara progresif (seperti cara ChatGPT menstrim teks).

An panggilan penstriman tak segerak meKedua-dua LiteLLM dan CometAPI menyokong penstriman dan penggunaan tak segerak. LiteLLM mendedahkan stream=True untuk menerima iterator ketulan, dan acompletion() untuk penggunaan async. Gunakan penstriman apabila anda mahukan output separa kependaman rendah (interaktiviti UI, pemprosesan token demi token).dan permintaan dibuat tanpa penyekatan dan keputusan dihantar secara progresif apabila ia sedia.Untuk aplikasi tanpa sekatan atau masa nyata, gunakan fungsi penyelesaian LiteLLM untuk panggilan tak segerak. Ini berguna dengan asyncio Python untuk mengendalikan concurrency.

Contoh:

from litellm import acompletion
import asyncio, os, traceback

async def completion_call():
    try:
        print("Testing asynchronous completion with streaming")
        response = await acompletion(
            model="cometapi/chatgpt-4o-latest", 
            messages=, 
            stream=True  # Enable streaming for chunked responses

        )
        print(f"Response object: {response}")

        # Iterate over the streamed chunks asynchronously

        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error occurred: {traceback.format_exc()}")
        pass

# Run the async function

await completion_call()

penjelasan:

  • acompletion ialah versi tak segerak bagi completion.
  • stream=True membolehkan penstriman, di mana respons dihasilkan dalam ketulan masa nyata.
  • Penggunaan asyncio untuk menjalankan fungsi (cth, dalam Buku Nota Jupyter dengan await atau melalui asyncio.run() dalam skrip).
  • Jika ralat berlaku, ia ditangkap dan dicetak untuk nyahpepijat.

Hasil yang diharapkan:Anda akan melihat objek tindak balas dan ketulan individu dicetak, cth:

Testing asynchronous completion with streaming
Response object: <async_generator object acompletion at 0x...>
Chunk: {'choices': }
Chunk: {'choices': }
... (full response streamed in parts)

Tips tambahan

  • Model tidak ditemui / tidak padan titik akhir: pastikan anda memilih nama model yang wujud pada CometAPI (senarai dokumen mereka yang tersedia pengecam) dan konvensyen awalan model LiteLLM anda sepadan (cth, cometapi/<model> apabila diperlukan).Model CometAPI mengikut format cometapi/, cth, cometapi/gpt-5, cometapi/gpt-4o, cometapi/chatgpt-4o-terkini. Semak dokumentasi CometAPI untuk model terkini.
  • Ralat Mengendalikan: Sentiasa bungkus panggilan dalam cubaan kecuali blok untuk mengendalikan isu seperti kunci tidak sah atau ralat rangkaian.
  • Ciri Lanjutan: LiteLLM menyokong parameter seperti suhu, max_tokens dan top_p untuk respons penalaan halus. Tambahkannya pada panggilan penyiapan atau penyelesaian, cth, penyiapan(…, suhu=0.7).
  • 403 / ralat pengesahan — pastikan anda menggunakan kunci CometAPI yang betul dan menghantarnya sama ada sebagai api_key kepada LiteLLM

Kesimpulan

Penyepaduan LiteLLM dengan CometAPI adalah geseran rendah kerana kedua-dua belah pihak menggunakan antara muka yang serasi dengan OpenAI dan didokumentasikan dengan baik. Gunakan LiteLLM untuk memusatkan penggunaan LLM dalam pangkalan kod anda, tetapkan api_base kepada CometAPI dan lulus kunci CometAPI, dan memanfaatkan pembantu penyegerakan/async/strim LiteLLM untuk mencipta aplikasi yang responsif dan fleksibel.

Bermula

CometAPI ialah platform API bersatu yang mengagregatkan lebih 500 model AI daripada pembekal terkemuka—seperti siri GPT OpenAI, Google Gemini, Anthropic's Claude, Midjourney, Suno dan banyak lagi—menjadi satu antara muka mesra pembangun. Dengan menawarkan pengesahan yang konsisten, pemformatan permintaan dan pengendalian respons, CometAPI secara dramatik memudahkan penyepaduan keupayaan AI ke dalam aplikasi anda. Sama ada anda sedang membina chatbots, penjana imej, komposer muzik atau saluran paip analitik terdorong data, CometAPI membolehkan anda mengulangi dengan lebih pantas, mengawal kos dan kekal sebagai vendor-agnostik—semuanya sambil memanfaatkan penemuan terkini merentas ekosistem AI.

Untuk memulakan, terokai keupayaan model dalam Taman Permainan dan berunding dengan Panduan Integrasi LiteLLM untuk arahan terperinci. Sebelum mengakses, sila pastikan anda telah log masuk ke CometAPI dan memperoleh kunci API. CometAPI menawarkan harga yang jauh lebih rendah daripada harga rasmi untuk membantu anda menyepadukan.

Baca Lagi

500+ Model dalam Satu API

Sehingga 20% Diskaun