LiteLLM'yi CometAPI ile entegre etme — mühendisler için pratik bir kılavuz - CometAPI

Son birkaç ayda yapay zeka manzarası hızla değişti: OpenAI, GPT-5'i geliştiricilere gönderdi ve gerçek zamanlı yığınını yeniledi; Anthropic, Claude ve veri kullanım politikalarını güncelledi; ve Google, Gemini'yi ev ve akıllı cihaz ekosisteminin derinliklerine yerleştirdi. Bu değişimler önemli çünkü hangi modellere ulaşmak istediğinizi ve bunları nasıl izleyeceğinizi değiştiriyor; tam da böyle bir "birleşik API + gözlemlenebilirlik" eşleştirmesinin... LiteLLM + CometAPI parlıyor.

Bu kılavuzda, entegrasyonun pratik, kod ağırlıklı bir adım adım anlatımını bulacaksınız LiteLLM ile Kuyrukluyıldız API'si (konuşan bir OpenAI uyumlu Kurulum, temel çağrılar, eşzamansız ve akış ve dağıtım ipuçlarını kapsayan (lehçe) bir eğitim. Bu süreçte, en yeni model güncellemelerinin entegrasyon seçenekleriniz için ne anlama geldiğini de ele alacağız.

LiteLLM nedir?

LiteLLM, birçok model sağlayıcısı (OpenAI, Anthropic, Vertex/Google, AWS Bedrock, Hugging Face vb.) için tek ve tutarlı bir API sunan açık kaynaklı bir Python SDK ve proxy'sidir (LLM ağ geçidi). Sağlayıcı farklılıklarını (giriş biçimi, hatalar, çıktı şekilleri) normalleştirir, yeniden deneme/geri alma/yönlendirme mantığı sağlar ve hem hafif bir SDK'yı hem de ve Altyapı yığınlarında merkezi LLM yönlendirmesi için bir proxy sunucusu. Başka bir deyişle: birçok modeli çağırmak için tek bir API.

Özelliği:

Birleşik Python işlevleri şöyledir: completion, responses, embeddings.
OpenAI uyumlu yönlendirme (böylece OpenAI tarzı API'leri konuşan istemciler diğer sağlayıcılara yönlendirilebilir).
Asenkron + akış desteği (eşzamansız sarmalayıcılar gibi) acompletion, ve stream=True (parçalanmış yanıtlar için).

LiteLLM modelleri ve uç noktaları nasıl eşlenir?

Kullanım completion() (senkronizasyon) ve acompletion() (async) Python SDK'sında sohbet/tamamlama tarzı çağrılar için.
OpenAI uyumlu uç noktalar için LiteLLM, api_base/api_key SDK'nın OpenAI tarzı bir yola girmesi gerektiğini bilmesi için geçersiz kılın.

CometAPI nedir?

Kuyrukluyıldız API'si birçok model için tek bir API hizmetidir yüzlerce model (OpenAI GPT-5, Anthropic Claude, xAI Grok, Qwen, GLM ve görüntü/video üreteçleri dahil) OpenAI uyumlu REST arayüzü. Uyumlu olduğu için, OpenAI istemcinizi genellikle CometAPI'ye yönlendirebilirsiniz. base_url ve aynı istek/yanıt şemasını koruyun; bu da onu birinci taraf API'lerine anında bir alternatif veya tamamlayıcı haline getirir.

Bahşiş: Bu uyumluluk, LiteLLM'nin tam olarak beklediği şeydir. CometAPI modellerine LiteLLM üzerinden OpenAI tarzı çağrılar kullanarak başvurabilir veya bunları LiteLLM Proxy'si aracılığıyla yönlendirebilirsiniz. base_url geçersiz kılar.

LiteLLM'yi CometAPI ile entegre etmek için ön koşullar

LiteLLM'yi CometAPI'ye bağlamadan önce birkaç şeyin yerinde olması gerekir:

Python ortamı

Python 3.8+ (önerilen: sanal bir ortam aracılığıyla) venv or conda).
pip yükseltildi: python -m pip install --upgrade pip

LiteLLM kuruldu pip install litellm (İsteğe bağlı: kurulum litellm (LiteLLM proxy sunucusunu çalıştırmak istiyorsanız.)

CometAPI hesabı ve API anahtarı

en kaydol cometapi.com.
Referans API anahtarı kontrol panelinizden.
Bunu bir ortam değişkeni olarak saklayın: export COMETAPI_KEY="sk-xxxx"

OpenAI uyumlu API'lerin temel anlayışı

CometAPI ifşa ediyor OpenAI tarzı uç noktalar sevmek /v1/chat/completions.
LiteLLM bu formatı doğal olarak desteklediğinden özel bir istemciye ihtiyaç duyulmaz.

Temel tamamlama çağrısını nasıl yaparım (LiteLLM → CometAPI kullanarak)?

LiteLLM'nin tamamlama işlevini kullanarak bir CometAPI modeline mesaj gönderin. Cometapi/gpt-5 veya cometapi/gpt-4o gibi modeller belirleyebilirsiniz.

Yöntem 1: API anahtarı için ortam değişkenini kullanın (önerilir).

from litellm import completion
import os

# Option A: use env var

os.environ = "sk_xxx" # CometAPI key

# Direct call with explicit api_base + api_key

resp = completion(
    model="cometapi/gpt-5",               
    api_key=os.environ,  
    api_base="https://www.cometapi.com/console/", # CometAPI base URL

    messages=[
        {"role":"system", "content":"You are a concise assistant."},
        {"role":"user", "content":"Explain why model-aggregation is useful in 3 bullets."}
    ],
    max_tokens=200,
    temperature=0.2
)

print(resp.choices.message)

İsterseniz, şunları da ayarlayabilirsiniz: OPENAI_API_KEY/OPENAI_API_BASE — LiteLLM çeşitli sağlayıcı kurallarını kabul eder; SDK belgelerinin sürümünüzü kontrol edin.

Yöntem 2: API anahtarını açıkça iletin：

Örnek:

from litellm import completion
import os
# Define your messages (array of dictionaries with 'content' and 'role')

messages = 

api_key = 'your-cometapi-key-here'  # Alternative: Store it in a variable for explicit passing

# CometAPI call - Method 2: Explicitly passing API key

response_2 = completion(model="cometapi/gpt-4o", messages=messages, api_key=api_key)

# Print the responses

print(response_2.choices.message.content)

LiteLLM → CometAPI ile asenkron ve akışlı çağrılar nasıl çalışır?

Asenkron Çağrılar

anlam: Eşzamanlı olmayan çağrı, bir şey yapmak için (örneğin veri getirmek veya bir görevi çalıştırmak) istekte bulunulduğunda, ancak devam etmeden önce isteğin bitmesini beklemek yerine, programın diğer kodu yürütmeye devam etmesidir.
Ana Fikir: “Engellemeyin, beklerken çalışmaya devam edin.”
Örnek E-posta:
Web uygulamalarında: Kullanıcı arayüzünü dondurmadan bir API'den veri alma.
Python'da: kullanarak async/await ile asyncio.
JavaScript'te: kullanarak Promises or async/await.

Kullanım örneği: Ana iş parçacığını engellemeyerek performansı ve tepki süresini iyileştirir.

Akışlı Çağrılar

anlam:Akışlı çağrı, tüm verilerin hazır olmasını bekleyip sonra tek seferde geri göndermek yerine, sunucunun veri parçalarını kullanılabilir olur olmaz göndermesi anlamına gelir.
Ana Fikir: “Veri üretilirken parça parça gönder.”
Örnek E-posta:
Tüm video dosyası indirilmeden önce bir YouTube videosunu izlemek.
Gerçek zamanlı sohbet uygulamaları veya borsadaki hisse senedi güncellemeleri.
API'lerde: Modelin tam çıktısını beklemek yerine, istemci kelimeleri/tokenleri aşamalı olarak alır (ChatGPT'nin metin akışına benzer şekilde).

An eşzamansız akış çağrısı Hem LiteLLM hem de CometAPI, akış ve eşzamansız kullanımı destekler. LiteLLM şunları sunar: stream=True parçaların bir yineleyicisini almak ve acompletion() Eşzamansız kullanım için. Düşük gecikmeli kısmi çıktılar (kullanıcı arayüzü etkileşimi, belirteç bazında işlem) istediğinizde akış yöntemini kullanın. İstek engellenmeden yapılır ve sonuçlar hazır olduğunda aşamalı olarak iletilir. Engellemeyen veya gerçek zamanlı uygulamalar için, LiteLLM'nin eşzamansız çağrılar için tamamlama işlevini kullanın. Bu, eşzamanlılığı yönetmek için Python'un asyncio özelliğiyle kullanışlıdır.

Örnek:

from litellm import acompletion
import asyncio, os, traceback

async def completion_call():
    try:
        print("Testing asynchronous completion with streaming")
        response = await acompletion(
            model="cometapi/chatgpt-4o-latest", 
            messages=, 
            stream=True  # Enable streaming for chunked responses

        )
        print(f"Response object: {response}")

        # Iterate over the streamed chunks asynchronously

        async for chunk in response:
            print(chunk)
    except Exception:
        print(f"Error occurred: {traceback.format_exc()}")
        pass

# Run the async function

await completion_call()

açıklama:

acompletion asenkron versiyonudur completion.
stream=True Yanıtın gerçek zamanlı parçalar halinde üretildiği akışı mümkün kılar.
Kullanım asyncio fonksiyonu çalıştırmak için (örneğin, bir Jupyter Notebook'ta) await aracılığıyla veya asyncio.run() (senaryolarda).
Bir hata oluşursa, bu yakalanır ve hata ayıklama için yazdırılır.

Beklenen çıktı:Yanıt nesnesini ve ayrı parçaların yazdırıldığını göreceksiniz, örneğin:

Testing asynchronous completion with streaming
Response object: <async_generator object acompletion at 0x...>
Chunk: {'choices': }
Chunk: {'choices': }
... (full response streamed in parts)

Ek İpuçları

Model bulunamadı / uç nokta uyumsuzluğu: CometAPI'de mevcut olan bir model adı seçtiğinizden (dokümanlarında mevcut tanımlayıcılar listelenmiştir) ve LiteLLM model önek kurallarınızın eşleştiğinden emin olun (örneğin, cometapi/<model> Gerektiğinde).CometAPI modelleri cometapi/ formatını takip eder, örneğin cometapi/gpt-5, cometapi/gpt-4o, cometapi/chatgpt-4o-latest. En son modeller için CometAPI belgelerine bakın.
Hata yönetimi: Geçersiz anahtarlar veya ağ hataları gibi sorunları ele almak için çağrıları her zaman try-except bloklarına sarın.
Gelişmiş ÖzelliklerLiteLLM, yanıtları ince ayar yapmak için temperature, max_tokens ve top_p gibi parametreleri destekler. Bunları tamamlama veya acompletion çağrılarına ekleyin, örneğin completion(…, temperature=0.7).
403 / yetkilendirme hataları — doğru CometAPI anahtarını kullandığınızdan ve onu şu şekilde gönderdiğinizden emin olun: api_key LiteLLM'ye

Sonuç

LiteLLM'nin CometAPI ile entegrasyonu Her iki taraf da OpenAI uyumlu, iyi belgelenmiş arayüzler kullandığından düşük sürtünmelidir. LLM kullanımını kod tabanınızda merkezileştirmek için LiteLLM kullanın, api_base CometAPI'ye bağlanın ve CometAPI anahtarını iletin ve duyarlı ve esnek uygulamalar oluşturmak için LiteLLM'nin senkronizasyon/eşzamansız/akış yardımcılarından yararlanın.

Başlamak

CometAPI, OpenAI'nin GPT serisi, Google'ın Gemini, Anthropic'in Claude, Midjourney, Suno ve daha fazlası gibi önde gelen sağlayıcılardan 500'den fazla AI modelini tek bir geliştirici dostu arayüzde toplayan birleşik bir API platformudur. Tutarlı kimlik doğrulama, istek biçimlendirme ve yanıt işleme sunarak CometAPI, AI yeteneklerinin uygulamalarınıza entegrasyonunu önemli ölçüde basitleştirir. İster sohbet robotları, görüntü oluşturucular, müzik bestecileri veya veri odaklı analiz hatları oluşturuyor olun, CometAPI daha hızlı yineleme yapmanızı, maliyetleri kontrol etmenizi ve satıcıdan bağımsız kalmanızı sağlar; tüm bunları yaparken AI ekosistemindeki en son atılımlardan yararlanırsınız.

Başlamak için, modelin yeteneklerini keşfedin Oyun Alanı ve danışın LiteLLM Entegrasyon Kılavuzu Ayrıntılı talimatlar için. Erişimden önce, lütfen CometAPI'ye giriş yaptığınızdan ve API anahtarını edindiğinizden emin olun. Kuyrukluyıldız API'si Entegrasyonunuza yardımcı olmak için resmi fiyattan çok daha düşük bir fiyat teklif ediyoruz.

LiteLLM'yi CometAPI ile entegre etme — mühendisler için pratik bir kılavuz