LiteLLM-ді CometAPI-мен біріктіру — инженерлерге арналған практикалық нұсқаулық

CometAPI
AnnaSep 3, 2025
LiteLLM-ді CometAPI-мен біріктіру — инженерлерге арналған практикалық нұсқаулық

Соңғы бірнеше айда AI пейзажы тез өзгерді: OpenAI GPT-5-ті әзірлеушілерге жіберіп, нақты уақыттағы стекін жаңартты; Антропикалық жаңартылған Клод және оның деректерді пайдалану саясаты; және Google Gemini-ді үй мен смарт-құрылғы экожүйесіне тереңірек итермеледі. Бұл ауысымдар маңызды, себебі олар сіз қол жеткізгіңіз келетін үлгілерді және оларды қалай бақылайтыныңызды өзгертеді — дәл осы жерде «бірыңғай API + бақылау мүмкіндігі» жұптамасы сияқты. LiteLLM + CometAPI жарқырайды.

Бұл нұсқаулықта сіз интеграцияның практикалық, коды көп қадамын аласыз LiteLLM бірге CometAPI (ол сөйлейді OpenAI-үйлесімді диалект), орнатуды, негізгі қоңырауларды, синхрондау және ағынды және орналастыру бойынша кеңестерді қамтиды. Жол бойында біз ең жаңа үлгі жаңартулары интеграция таңдауларыңызға нені білдіретінін қарастырамыз.

LiteLLM дегеніміз не?

LiteLLM – бұл көптеген үлгі провайдерлері (OpenAI, Anthropic, Vertex/Google, AWS Bedrock, Hugging Face және т. Ол провайдер айырмашылықтарын қалыпқа келтіреді (енгізу пішімі, қателер, шығыс пішіндері), қайталау/қайталау/бағыттау логикасын қамтамасыз етеді және жеңіл SDK екеуін де қолдайды. және инфра стектерде орталық LLM бағыттауға арналған прокси сервер. Басқаша айтқанда: көптеген үлгілерді шақыру үшін бір API.

Мүмкіндік:

  • Бірыңғай Python функциялары сияқты completion, responses, embeddings.
  • OpenAI-үйлесімді маршруттау (осылайша OpenAI стиліндегі API тілінде сөйлейтін клиенттерді басқа провайдерлерге көрсетуге болады).
  • Асинхронды + ағынды қолдау (синхронды орауыштар сияқты acompletion, және stream=True кесінді жауаптар үшін).

LiteLLM үлгілері мен соңғы нүктелерін қалай салыстырады

  • пайдалану completion() (синхрондау) және acompletion() сөйлесу/аяқтау стиліндегі қоңырауларға арналған Python SDK ішіндегі (синхронды).
  • OpenAI-үйлесімді соңғы нүктелер үшін LiteLLM қолдайды api_base/api_key SDK OpenAI стиліндегі жолға жетуді білуі үшін қайта анықтау.

CometAPI дегеніміз не?

CometAPI ашатын «көп үлгілерге арналған бір API» қызметі жүздеген модельдер (оның ішінде OpenAI GPT-5, Anthropic Claude, xAI Grok, Qwen, GLM және кескін/бейне генераторлары) OpenAI-үйлесімді REST интерфейсі. Ол үйлесімді болғандықтан, әдетте OpenAI клиентін CometAPI-ге бағыттай аласыз base_url және бірдей сұрау/жауап схемасын сақтаңыз — оны бірінші тарап API интерфейстеріне ашылмалы балама немесе толықтыру етеді.

Кеңес: Бұл үйлесімділік дәл LiteLLM күткен нәрсе. OpenAI стиліндегі қоңырауларды пайдаланып LiteLLM арқылы CometAPI үлгілеріне сілтеме жасай аласыз немесе оларды LiteLLM прокси арқылы бағыттай аласыз. base_url қайта анықтайды.

LiteLLM-ді CometAPI-мен біріктірудің алғышарттары

LiteLLM жүйесін CometAPI жүйесіне қосу үшін сізге бірнеше нәрсе қажет:

Python ортасы

  • Python 3.8+ (ұсынылады: виртуалды орта venv or conda).
  • pip жаңартылды: python -m pip install --upgrade pip

LiteLLM орнатылған pip install litellm (Қосымша: орнату litellm LiteLLM прокси серверін іске қосқыңыз келсе.)

CometAPI тіркелгісі және API кілті

  1. Тіркелу cometapi.com.
  2. сіздің алу API кілті бақылау тақтасынан.
  3. Оны орта айнымалысы ретінде сақтаңыз: export COMETAPI_KEY="sk-xxxx"

OpenAI-үйлесімді API интерфейстері туралы негізгі түсінік

  • CometAPI көрсетеді OpenAI стиліндегі соңғы нүктелер сияқты /v1/chat/completions.
  • LiteLLM бұл пішімді жергілікті түрде қолдайды, сондықтан реттелетін клиент қажет емес.

Негізгі аяқтау қоңырауын қалай жасауға болады (LiteLLM → CometAPI көмегімен)?

CometAPI үлгісіне хабар жіберу үшін LiteLLM аяқтау функциясын пайдаланыңыз. Сіз cometapi/gpt-5 немесе cometapi/gpt-4o сияқты үлгілерді көрсете аласыз.

1-әдіс: API кілті үшін орта айнымалы мәнін пайдаланыңыз (ұсынылады).

from litellm import completion
import os

# Option A: use env var

os.environ = "sk_xxx" # CometAPI key

# Direct call with explicit api_base + api_key

resp = completion(
    model="cometapi/gpt-5",               
    api_key=os.environ,  
    api_base="https://www.cometapi.com/console/", # CometAPI base URL

    messages=[
        {"role":"system", "content":"You are a concise assistant."},
        {"role":"user", "content":"Explain why model-aggregation is useful in 3 bullets."}
    ],
    max_tokens=200,
    temperature=0.2
)

print(resp.choices.message)

Қаласаңыз, орнатуға да болады OPENAI_API_KEY/OPENAI_API_BASE — LiteLLM провайдердің бірнеше конвенцияларын қабылдайды; SDK құжаттарының нұсқасын тексеріңіз.

2-әдіс: API кілтін анық беріңіз:

Мысал:

from litellm import completion
import os
# Define your messages (array of dictionaries with 'content' and 'role')

messages = 

api_key = 'your-cometapi-key-here'  # Alternative: Store it in a variable for explicit passing

# CometAPI call - Method 2: Explicitly passing API key

response_2 = completion(model="cometapi/gpt-4o", messages=messages, api_key=api_key)

# Print the responses

print(response_2.choices.message.content)

LiteLLM → CometAPI көмегімен асинхронды және ағынды қоңыраулар қалай жұмыс істейді?

Асинхронды қоңыраулар

  • мағынасы: Асинхронды шақыру дегеніміз бірдеңені орындау үшін сұрау жасалған кезде (мысалы, деректерді алу немесе тапсырманы орындау), бірақ әрі қарай қозғалмас бұрын оның аяқталуын күтудің орнына, бағдарлама басқа кодты орындауды жалғастырады.
  • Негізгі идея: «Блоктамаңыз, күту кезінде жұмысты жалғастырыңыз.»
  • мысал:
  • Веб-қолданбаларда: пайдаланушы интерфейсін қатырмай API деректерін алу.
  • Python тілінде: пайдалану async/await бірге asyncio.
  • JavaScript тілінде: пайдалану Promises or async/await.

Қолдану жағдайы: Негізгі ағынды блоктамау арқылы өнімділік пен жауап беруді жақсартады.

Ағынды қоңыраулар

  • мағынасы: Ағынды қоңырау барлық деректердің дайын болуын күтіп, оны бір уақытта қайта жіберудің орнына, сервер қол жетімді болған кезде деректер бөліктерін жіберетінін білдіреді.
  • Негізгі идея: «Деректерді өндіру кезінде бөлшектеп жіберу.»
  • мысал:
  • Бүкіл бейне файлы жүктелмей тұрып YouTube бейнесін көру.
  • Нақты уақыттағы чат қолданбалары немесе биржалық коды жаңартулары.
  • API интерфейстерінде: модельдің толық шығуын күтудің орнына, клиент сөздерді/токендерді біртіндеп қабылдайды (ChatGPT мәтінді ағынмен жіберу сияқты).

An асинхронды ағынды қоңырау meLiteLLM және CometAPI екеуі ағынды және асинхронды пайдалануды қолдайды. LiteLLM көрсетеді stream=True бөліктердің итераторын алу үшін және acompletion() асинхронды пайдалану үшін. Төмен кідіріспен ішінара шығыстарды (UI интерактивтілігі, таңбалауыш бойынша өңдеу) қажет болғанда ағынды пайдаланыңыз. Сұрау блоктаусыз жасалады және нәтижелер дайын болған кезде біртіндеп жеткізіледі. Блокталмаған немесе нақты уақыттағы қолданбалар үшін асинхронды қоңыраулар үшін LiteLLM аяқтау функциясын пайдаланыңыз. Бұл параллельділікті өңдеу үшін Python асинсиосымен пайдалы.

Мысал:

from litellm import acompletion
import asyncio, os, traceback

async def completion_call():
    try:
        print("Testing asynchronous completion with streaming")
        response = await acompletion(
            model="cometapi/chatgpt-4o-latest", 
            messages=, 
            stream=True  # Enable streaming for chunked responses

        )
        print(f"Response object: {response}")

        # Iterate over the streamed chunks asynchronously

        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error occurred: {traceback.format_exc()}")
        pass

# Run the async function

await completion_call()

Түсіндіру:

  • acompletion асинхронды нұсқасы болып табылады completion.
  • stream=True ағынмен жіберуге мүмкіндік береді, мұнда жауап нақты уақыттағы бөліктерде беріледі.
  • пайдалану asyncio функцияны іске қосу үшін (мысалы, Jupyter жазу кітапшасында await немесе арқылы asyncio.run() сценарийлерде).
  • Қате орын алса, ол ұсталып, жөндеу үшін басып шығарылады.

Күтілетін нәтиже:Жауап нысанын және басып шығарылған жеке бөліктерді көресіз, мысалы:

Testing asynchronous completion with streaming
Response object: <async_generator object acompletion at 0x...>
Chunk: {'choices': }
Chunk: {'choices': }
... (full response streamed in parts)

Қосымша кеңестер

  • Үлгі табылмады / соңғы нүкте сәйкес келмеді: CometAPI (олардың құжаттар тізімі қолжетімді идентификаторлар) ішінде бар үлгі атауын таңдағаныңызға және LiteLLM үлгісінің префикс конвенцияларына сәйкес келетініне көз жеткізіңіз (мысалы, cometapi/<model> қажет болғанда).CometAPI үлгілері cometapi/ пішіміне сәйкес келеді, мысалы, cometapi/gpt-5, cometapi/gpt-4o, cometapi/chatgpt-4o-latest. Соңғы үлгілер үшін CometAPI құжаттамасын тексеріңіз.
  • Қатені өңдеу: Жарамсыз кілттер немесе желі қателері сияқты мәселелерді шешу үшін қоңырауларды әрқашан try-except блоктарына ораңыз.
  • Қосымша мүмкіндіктер: LiteLLM жауаптарды дәл баптау үшін температура, max_tokens және top_p сияқты параметрлерді қолдайды. Оларды аяқтау немесе аяқтау шақыруларына қосыңыз, мысалы, аяқтау (..., температура=0.7).
  • 403 / аутентификация қателері — дұрыс CometAPI кілтін пайдаланып жатқаныңызға және оны келесідей жібергеніңізге көз жеткізіңіз api_key LiteLLM

қорытынды

LiteLLM мен CometAPI интеграциясы төмен үйкеліс, себебі екі жақ OpenAI-үйлесімді, жақсы құжатталған интерфейстерді пайдаланады. LLM пайдалануды код базасында орталықтандыру үшін LiteLLM пайдаланыңыз, орнатыңыз api_base CometAPI жүйесіне және CometAPI кілтін өткізіңіз және LiteLLM синхрондау/асинхрондау/ағынды көмекшілерін жауап беретін және икемді қолданбаларды жасау үшін пайдаланыңыз.

Басталу

CometAPI – OpenAI GPT сериялары, Google Gemini, Anthropic's Claude, Midjourney, Suno және т.б. сияқты жетекші провайдерлердің 500-ден астам AI үлгілерін бір, әзірлеушілерге ыңғайлы интерфейске біріктіретін бірыңғай API платформасы. Тұрақты аутентификацияны, сұрауды пішімдеуді және жауаптарды өңдеуді ұсына отырып, CometAPI қолданбаларыңызға AI мүмкіндіктерін біріктіруді айтарлықтай жеңілдетеді. Чат-боттарды, кескін генераторларын, музыкалық композиторларды немесе деректерге негізделген аналитикалық құбырларды құрастырып жатсаңыз да, CometAPI сізге AI экожүйесіндегі соңғы жетістіктерге қол жеткізе отырып, жылдамырақ қайталауға, шығындарды басқаруға және жеткізуші-агностикалық күйде қалуға мүмкіндік береді.

Бастау үшін үлгінің мүмкіндіктерін зерттеңіз Ойын алаңы және кеңесіңіз LiteLLM біріктіру нұсқаулығы егжей-тегжейлі нұсқаулар үшін. Қол жеткізу алдында CometAPI жүйесіне кіріп, API кілтін алғаныңызға көз жеткізіңіз. CometAPI біріктіруге көмектесу үшін ресми бағадан әлдеқайда төмен баға ұсыныңыз.

Толығырақ оқу

500+ модель бір API-да

20%-ға дейін жеңілдік