LlamaIndex'i CometAPI ile nasıl entegre edebilirim?

CometAPI
AnnaSep 10, 2025
LlamaIndex'i CometAPI ile nasıl entegre edebilirim?

CometAPI, birçok modele (GPT ailesi, Anthropic/Claude, Google Gemini ve daha fazlası) tek bir OpenAI uyumlu ağ geçidi sağlar. LlamaIndex (alma destekli LLM uygulamaları oluşturmak için "veri çerçevesi") artık yerel bir CometAPI LLM entegrasyonu sunuyor; bu da herhangi bir modeli LlamaIndex'ten CometAPI aracılığıyla çağırabileceğiniz anlamına geliyor.

LlamaIndex (bilgi yardımcıları oluşturmak için veri çerçevesi) artık resmi olarak destekleniyor Kuyrukluyıldız API'si LLM arka ucu olarak. Bu kılavuz, bunları neden eşleştireceğinizi, ortamın nasıl kurulacağını, adım adım entegrasyonu (kodla), somut bir RAG kullanım örneğini ve güvenilirliği, maliyeti ve gözlemlenebilirliği iyileştirme ipuçlarını göstermektedir. Örnekler aşağıdaki gibidir: LlamaIndex belgeleri ve CometAPI entegrasyon örnekleri.

LlamaIndex nedir ve temel özellikleri nelerdir?

LlamaIndex (eski adıyla GPT-Index), belgeleri alarak, dizinler oluşturarak ve RAG tarzı uygulamalar için alma ve komut istemi iş akışlarını düzenleyerek büyük dil modellerini (LLM'ler) kendi verilerinize bağlayan bir veri soyutlama ve alma çerçevesidir. Temel özellikleri arasında belge alma bağlayıcıları (PDF'ler, web, veritabanları), vektör/anahtar kelime/grafik dizinleri, esnek sorgu motorları ve LLM sağlayıcılarını değiştirmek için bir soyutlama katmanı bulunur. LlamaIndex, herhangi bir LLM programına "kendi verilerinizi getirmenize" olanak sağlamak üzere tasarlanmıştır ve belge bölümleme, yerleştirme, alma ve komut istemi düzenlemesi için gerekli altyapıyı oluşturur.

Başlıca özellikleri nelerdir?

  • Veri bağlantıları: dosyalardan, veritabanlarından ve birçok SaaS kaynağından alın.
  • Dizinleme ilkel öğeleri: vektör depolama dizinleri, ağaç/grafik dizinleri ve alma hatları.
  • Sorgu motorları: esnek sorgu düzenlemesi (yeniden sıralama, yanıt sentezi, çok adımlı istemler).
  • LLM adaptörleri: takılabilir LLM arka uçları — OpenAI, Anthropic, Vertex ve şimdi CometAPI ve diğerleri.
  • Gözlemlenebilirlik ve geri aramalar: LLM çağrılarını izlemek ve takip etmek için kancalar.

CometAPI nedir ve neden LlamaIndex ile birlikte kullanılmalıdır?

CometAPI nedir?

CometAPI, yüzlerce üçüncü taraf yapay zeka modelini (LLM'ler, görüntü/video oluşturucular ve yerleştirmeler) tek bir OpenAI uyumlu REST arayüzünün arkasında sunan bir API ağ geçididir. Her model sağlayıcısı için ayrı bir SDK ve anahtar kullanmak yerine, CometAPI'nin temel URL'sini çağırır ve istek gövdesinde model adını seçersiniz; örneğin gpt, claude, geminiveya çeşitli özel yerleştirme/görüntüleme motorları. Bu "500'den fazla model için tek API" yaklaşımı, denemeleri hızlandırır ve operasyonel yükü azaltır.

CometAPI'yi LlamaIndex ile neden eşleştirmeliyiz?

LlamaIndex, belgelerinizi endekslere (vektör ve diğerleri) dönüştüren ve nihai cevap sentezi için bir LLM (Lise Yüksek Lisansı) kullanan bir veri çerçevesidir. CometAPI, OpenAI tarzı bir API kullandığı için LlamaIndex şunlardan birini yapabilir:

  • onun kullan yerleşik CometAPI LLM entegrasyonu (önerilir) veya
  • OpenAI/“OpenAI uyumlu” LLM ve yerleştirme adaptörlerini kullanarak api_base CometAPI'ye.

LlamaIndex zaten özel bir CometAPI LLM sarmalayıcısı ve örnekler — böylece entegrasyon özellikle basittir.

Entegrasyonun faydaları nelerdir?

  1. RAG + esnek model seçimi — LlamaIndex veri alma ve hızlı sentezleme işlemlerini gerçekleştirir; CometAPI, boru hattınızı yeniden yapılandırmadan çağırdığınız LLM'leri seçmenize olanak tanır.
  2. Maliyet/gecikme optimizasyonu — Rutin sorgular için daha ucuz veya daha hızlı modelleri, ağır muhakemeler için ise daha kaliteli modelleri deneyin.
  3. Satıcı taşınabilirliği — yalnızca model adlarını veya küçük istemci yapılandırmasını değiştirerek model sağlayıcılarını değiştirin.
  4. Hızlı deneyler — indeksleme ve alma hattınızı sabit tutarken A/B modellerini kolayca oluşturun.

Ön koşullar ve ortam kurulumu nelerdir?

Hesaplar ve anahtarlar

CometAPI'ye kaydolun ve CometAPI konsolundan bir API anahtarı alın: https://api.cometapi.com/console/token(İstekleri doğrulamak için bu değere ihtiyacınız olacak.)

Python ve paketler

  • Python 3.9+ önerilir.
  • Jupyter Notebook veya Python ortamı (Etkileşimli testler için Google Colab önerilir).
  • Kurulacak paketler: llama-index (çekirdek) ve llama-index-llms-cometapi (CometAPI adaptörü / entegrasyonu)
  • İsteğe bağlı: Kullanmayı planladığınız vektör depolama kitaplıkları (örneğin, faiss-cpu, pinecone-client, vb.) LlamaIndex'in resmi/vektör mağaza rehberleri vardır.

Ortam Değişkenleri

Yaygın uygulama: CometAPI anahtarını bir ortam değişkeni olarak ayarlayın (örn. COMETAPI_KEY) veya anahtarı doğrudan LlamaIndex CometAPI oluşturucusuna iletin. LlamaIndex belgeleri her iki yaklaşımı da gösterir; belirsizliği ve testleri önlemek için, api_key= açıkça kurucuya bağlamak en güvenlisidir.

LlamaIndex ve CometAPI adım adım nasıl entegre edilir?

Aşağıdaki adım adım liste tam olarak şu eylemleri kapsamaktadır: bir hesap oluşturma, paketleri yükleme, anahtarları ayarlama, CometAPI'yi kullanmak için LlamaIndex'i yapılandırma.

1) CometAPI hesabı nasıl oluşturabilirim ve API anahtarı nasıl alabilirim?

  1. CometAPI'nin sitesini ziyaret edin ve bir hesap oluşturun. (Anasayfaları ve kayıt akışı sizi API konsoluna yönlendirecektir.)
  2. CometAPI konsolunda (dokümanlar referansı) https://api.cometapi.com/console/token), API belirtecinizi oluşturun veya kopyalayın. Buna ihtiyacınız olacak COMETAPI_API_KEY (aşağıya bakınız).

2) LlamaIndex ve CometAPI entegrasyonunu nasıl kurarım?

Bu pip komutlarını çalıştırın (sanal bir ortamda önerilir):

# core LlamaIndex

pip install llama-index

# CometAPI LLM integration for LlamaIndex

pip install llama-index-llms-cometapi

# optional: vectorstore (FAISS example)

pip install faiss-cpu

(If you're in a Jupyter/Colab environment you can prefix with `%pip`.)

Notlar:

  • LlamaIndex, her şeyin çekirdekte gönderilmesini önlemek için ad alanlı entegrasyon paketleri kullanır. CometAPI LLM entegrasyonu şu şekilde sağlanır: llama-index-llms-cometapi.

3) CometAPI anahtarını (ortam değişkenini) nasıl ayarlarım?

LlamaIndex'in CometAPI LLM sınıfı, API anahtarını bir oluşturucu parametresinden veya bir ortam değişkeninden okur. Entegrasyon kodu, ortam değişkeni adını bekler. COMETAPI_API_KEY (Anahtarı doğrudan sınıf oluşturucusuna da geçirebilirsiniz). Ayrıca şunu da destekler: COMETAPI_API_BASE API tabanlı URL'yi geçersiz kılmanız gerekiyorsa.

Önerilen (açık) — API anahtarını oluşturucuya iletinAyrıca ortam değişkenini de ayarlayabilirsiniz COMETAPI_KEY Eğer tercih edersen.

import os
# Option A: set env var (optional)

os.environ = "sk-xxxx-your-key"

# Option B: pass the key explicitly (recommended for clarity)

api_key = os.getenv("COMETAPI_KEY", "sk-xxxx-your-key")

Bunu yerel olarak ayarlayın (Unix/macOS):

export COMETAPI_API_KEY="sk-<your-cometapi-key>"
# optional override:

export COMETAPI_API_BASE="https://www.cometapi.com/console/"

Windows'ta (PowerShell):

$env:COMETAPI_API_KEY = "sk-<your-cometapi-key>"

4) LlamaIndex'i CometAPI kullanacak şekilde yapılandırın

Aşağıda uçtan uca basit bir örnek verilmiştir: belgeleri içe aktarın, bir vektör dizini oluşturun ve bir sorgu gönderin. Bu örnek, modern LlamaIndex API'sini kullanır (Örnek A: ServiceContext + vektör dizini); daha eski/daha yeni bir LlamaIndex sürümü kullanıyorsanız adları uyarlayın.

minimal RAG example using CometAPI as the LLM backend
from llama_index import SimpleDirectoryReader, VectorStoreIndex, ServiceContext
from llama_index.llms.cometapi import CometAPI
from llama_index.core.llms import ChatMessage

# 1) API key and LLM client

api_key = "sk-xxxx-your-key"  # or read from env

llm = CometAPI(
    api_key=api_key,
    model="gpt-4o-mini",      # pick a CometAPI-supported model

    max_tokens=512,
    context_window=4096,
)

# 2) Optional: wrap in ServiceContext (customize prompt settings, embedding model etc)

service_context = ServiceContext.from_defaults(llm=llm)

# 3) Load documents (assumes a ./data directory with files)

documents = SimpleDirectoryReader("data").load_data()

# 4) Build a vector index (FAISS, default vector store)

index = VectorStoreIndex.from_documents(documents, service_context=service_context)

# 5) Query the index

query_engine = index.as_query_engine()
resp = query_engine.query("Summarize the main points in the documents.")
print(resp)
  • Model adları ve mevcut özellikler CometAPI'ye bağlıdır; kullanım durumunuza en uygun modeli seçmek için CometAPI belgelerini inceleyin. LlamaIndex Comet adaptörü, sohbet ve tamamlama modlarını ve akışı destekler.
  • Eğer akışlı yanıtlar istiyorsanız arayabilirsiniz llm.stream_chat() veya kullanım stream_complete belgelerde gösterilen varyant.

Not: LlamaIndex sürümünüze bağlı olarak, tam API as_query_engine kabul etmek llm argüman değişebilir. Sürümünüz kabul etmiyorsa lServiceContext Burada, aşağıdaki LLM'yi inceleyin. CometAPI LLM şu şekilde uygulanır: CometAPI in llama_index.llms.cometapi.

Örnek B — CometAPI LLM'nin asgari düzeyde, doğrudan kullanımı (netlik açısından önerilir)

import os
from llama_index.llms.cometapi import CometAPI
from llama_index import VectorStoreIndex, SimpleDirectoryReader

# ensure env var set, or pass api_key explicitly

os.environ = "sk-<your-key>"  # or set externally

api_key = os.getenv("COMETAPI_API_KEY")
llm = CometAPI(
    api_key=api_key,          # or pass None to use env var

    model="gpt-4o-mini",      # change model string as required

    max_tokens=256,
    context_window=4096,
)

# build a simple index (local documents)

documents = SimpleDirectoryReader("data/").load_data()
index = VectorStoreIndex.from_documents(documents)

# get a query engine that uses the default llm (you can often pass llm to the query method)

query_engine = index.as_query_engine(llm=llm)   # some LlamaIndex versions accept llm here

response = query_engine.query("Summarize the key points of the corpus.")
print(response)

LlamaIndex'in CometAPI özelliklerini nasıl kullanabilirim? (gelişmiş örnekler)

1) Çağrı chat ChatMessage Listesi ile

Örnek:

# Initialize LLM

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="gpt-5-chat-latest",
)

# Chat call using ChatMessage

from llama_index.core.llms import ChatMessage

messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Use complete method

resp = llm.complete("Who is Kaiming He")
print(resp)

Beklenen çıktı:

  • Sohbet yanıtı: örneğin, assistant: Hi
  • Tamamlama yanıtı: örneğin Kaiming He hakkında ResNet'teki bilgileri içeren bir metin açıklaması.

Bu, sohbet semantiğini (sistem/kullanıcı/yardımcı rolleri) yeniden üretir ve genellikle daha kontrol edilebilir çıktılar sağlar. Basit bir mesaj gönderir ve model yanıtını alır. Daha karmaşık etkileşimler için mesajları özelleştirebilirsiniz.

CometAPI akışı destekliyor mu?

Evet — CometAPI, sohbet/tamamlama akışını destekler ve LlamaIndex, LLM sarmalayıcılarında akış yöntemlerini açığa çıkarır (stream_chat, stream_complete, streamable Desenler). Gerçek zamanlı uygulamalar için, yanıtları aktarmak amacıyla stream_chat veya stream_complete yöntemlerini kullanın. Örnek:

# Streaming chat

message = ChatMessage(role="user", content="Tell me what ResNet is")
resp = llm.stream_chat()
for r in resp:
    print(r.delta, end="")

# Streaming completion

resp = llm.stream_complete("Tell me about Large Language Models")
for r in resp:
    print(r.delta, end="")

Beklenen çıktı: Örneğin ResNet'in bir açıklaması veya büyük dil modellerine genel bir bakış gibi basılı yanıt içeriğinin parçalar halinde yayınlanması.

Açıklama: stream_chat ve stream_complete, gerçek zamanlı çıktı için uygun, parça parça yanıtlar üretir. Bir hata oluşursa, konsolda görüntülenir.

Bu, diğer OpenAI uyumlu LLM'ler için LlamaIndex örneklerini yansıtır ve Comet'in akış uç noktalarıyla çalışır. Üretimde güçlü yeniden deneme/zaman aşımı mantığıyla geri basınç ve ağ hatalarını yönetin.

Hızlı bir şekilde model değiştirme

# try Claude from CometAPI

claude_llm = CometAPI(api_key=api_key, model="claude-3-7-sonnet-latest", max_tokens=300)
svc = ServiceContext.from_defaults(llm=claude_llm)
index = VectorStoreIndex.from_documents(documents, service_context=svc)
print(index.as_query_engine().query("Explain in one paragraph."))

CometAPI uç noktaları normalleştirdiğinden, modelleri değiştirmek yalnızca bir oluşturucu değişikliğidir; anında işlem hattı yeniden yazma işlemi gerekmez.

İpuçları ve geliştirme teknikleri

Maliyet ve tokenlar nasıl yönetilir?

  • Geri alma yöntemini kullanın: yalnızca alınan bağlamı gönderin, tüm metni değil.
  • Geri çağırma/özetleme için daha küçük modeller ve nihai cevap sentezi için daha büyük modellerle denemeler yapın. CometAPI, model değişimlerini önemsiz hale getirir.

Güvenilirlik ve hız sınırlaması

  • Uygulamak yeniden deneme + geri çekilme geçici hatalar için.
  • CometAPI hız sınırlarına uyun ve istek başına bir token bütçesi uygulayın. max_tokens yapıcıda.

Gözlemlenebilirlik ve hata ayıklama

  • İstemleri, yanıtları ve belirteç kullanımını yakalamak için LlamaIndex geri arama yöneticisini kullanın. Bu günlükleri izleme kanalınıza ekleyin. LlamaIndex belgeleri, gözlemlenebilirlik kalıplarını ve entegrasyonları kapsar.

Önbelleğe alma ve gecikme

  • Tekrarlanan sorgular veya kesin istemler (örneğin, standart özetler) için LLM çıktılarını önbelleğe alın.
  • İlk aşamada küçük ve daha hızlı bir model kullanmayı düşünün ve yalnızca gerektiğinde daha yüksek maliyetli bir modele geçin.

Güvenlik

  • CometAPI anahtarını gizli bir depoda (Kasa / bulut gizlileri) saklayın; koda sabit kodlama yapmayın.
  • Veriler hassassa, seçtiğiniz CometAPI planının veya modelinin uyumluluk gerekliliklerini karşıladığından emin olun.

Sorun giderme kontrol listesi

  • Yanlış ortam değişkeni: Eğer LlamaIndex bir anahtar bulamazsa, şunu geçin: api_key= içinde CometAPI() constructor'ın açıkça belirtilmesi gerekir. (Dokümanlar hem env değişkenini hem de constructor seçeneklerini gösterir.)
  • Model desteklenmiyor: Model adını CometAPI'nin model listesiyle doğrulayın; her ad her hesapta mevcut değildir.
  • İndeksleme hataları: Belgelerin doğru şekilde ayrıştırıldığından emin olun (kodlama, dosya türleri). SimpleDirectoryReader hızlı bir test alımı için.
  • Sürüm kayması: LlamaIndex aktif olarak geliştiriliyor (ServiceContext → Ayarlar geçişi). Bir örnek başarısız olursa, yüklediğiniz sürümün belgelerini ve geçiş kılavuzunu kontrol edin.

Başlamak

CometAPI, OpenAI'nin GPT serisi, Google'ın Gemini, Anthropic'in Claude, Midjourney, Suno ve daha fazlası gibi önde gelen sağlayıcılardan 500'den fazla AI modelini tek bir geliştirici dostu arayüzde toplayan birleşik bir API platformudur. Tutarlı kimlik doğrulama, istek biçimlendirme ve yanıt işleme sunarak CometAPI, AI yeteneklerinin uygulamalarınıza entegrasyonunu önemli ölçüde basitleştirir. İster sohbet robotları, görüntü oluşturucular, müzik bestecileri veya veri odaklı analiz hatları oluşturuyor olun, CometAPI daha hızlı yineleme yapmanızı, maliyetleri kontrol etmenizi ve satıcıdan bağımsız kalmanızı sağlar; tüm bunları yaparken AI ekosistemindeki en son atılımlardan yararlanırsınız.

Başlamak için, modelin yeteneklerini keşfedin Oyun Alanı ve danışın LamaIndex Ayrıntılı talimatlar için. Erişimden önce, lütfen CometAPI'ye giriş yaptığınızdan ve API anahtarını edindiğinizden emin olun. Kuyrukluyıldız API'si Entegrasyonunuza yardımcı olmak için resmi fiyattan çok daha düşük bir fiyat teklif ediyoruz.

Gitmeye hazır mısınız?→ Bugün CometAPI'ye kaydolun !

SSS

Gecikme veya yayın kesintilerini nasıl giderebilirim?

  • Akış çerçevelerini incelemek için yerel ağ yakalamayı (veya HTTP istemcinizde oturum açmayı) kullanın.
  • Darboğazın modelin kendisi değil, ağ/SDK yolu olduğunu doğrulamak için daha basit bir model deneyin.

Hangi modeli seçmeliyim?

  • Daha küçük/daha ucuz sohbet modelleri kullanın (örn. gpt-4o-mini, o4-mini, veya satıcıya özel kompakt modeller) yüksek QPS veya kısa cevaplar için.
  • Pahalı muhakeme görevleri için büyük çok modlu/düşünce zinciri modelleri ayırın.
  • Gecikme ve maliyet kıyaslaması: CometAPI'nin avantajlarından biri, aynı kod yolundaki modelleri değiştirmektir; birden fazla modeli hızlıca deneyebilirsiniz.

Hangi endeks ve vektör mağazasını seçmeliyim?

  • FAİS şirket içi / tek düğüm hızı için.
  • Çam kozalağı / Weaviate Yönetilen ölçek ve çok bölgeli kullanılabilirlik için (LlamaIndex, entegrasyonlar aracılığıyla birçok vektör deposunu destekler). Ölçek ve gecikmeye göre seçim yapın.
Devamını Oku

500+ Model Tek Bir API'de

%20'ye Varan İndirim