CometAPI menyediakan pintu masuk tunggal yang serasi OpenAI kepada banyak model (GPT-keluarga, Anthropic/Claude, Google Gemini dan banyak lagi). LlamaIndex ("rangka kerja data" untuk membina apl LLM yang ditambah perolehan semula) kini mendedahkan integrasi LLM CometAPI asli — bermakna anda boleh **memanggil mana-mana model melalui CometAPI daripada LlamaIndex.
LlamaIndex (rangka kerja data untuk membina pembantu pengetahuan) kini menyokong secara rasmi CometAPI sebagai bahagian belakang LLM. Panduan ini menunjukkan sebab anda akan memasangkannya, cara menyediakan persekitaran, penyepaduan langkah demi langkah (dengan kod), kes penggunaan RAG yang konkrit dan petua untuk meningkatkan kebolehpercayaan, kos dan kebolehmerhatian. Contoh mengikuti Dokumen LlamaIndex dan juga Contoh integrasi CometAPI.
Apakah LlamaIndex dan apakah ciri utamanya?
LlamaIndex (dahulunya GPT-Index) ialah rangka kerja abstraksi dan perolehan data yang menghubungkan model bahasa besar (LLM) kepada data anda sendiri dengan menelan dokumen, membina indeks dan mengatur pengambilan semula + menggesa aliran kerja untuk aplikasi gaya RAG. Ciri utama termasuk penyambung pengingesan dokumen (PDF, web, pangkalan data), indeks vektor/kata kunci/graf, enjin pertanyaan fleksibel dan lapisan abstraksi untuk menukar penyedia LLM. LlamaIndex direka bentuk untuk membolehkan anda "membawa data anda sendiri" ke mana-mana LLM dan membina paip untuk penggumpalan dokumen, pembenaman, pengambilan semula dan orkestrasi segera.
Apakah ciri-ciri utama?
- Penyambung data: menelan daripada fail, pangkalan data dan banyak sumber SaaS.
- Mengindeks primitif: indeks kedai vektor, indeks pokok/graf dan saluran paip perolehan semula.
- Enjin pertanyaan: orkestrasi pertanyaan fleksibel (penyusun semula, sintesis tindak balas, gesaan berbilang langkah).
- Penyesuai LLM: hujung belakang LLM boleh pasang — OpenAI, Anthropic, Vertex dan kini CometAPI antara lain.
- Kebolehlihatan & panggilan balik: cangkuk untuk mengesan dan memantau panggilan LLM.
Apakah CometAPI dan mengapa menggunakannya dengan LlamaIndex?
Apakah itu CometAPI?
CometAPI ialah gerbang API yang mendedahkan beratus-ratus model AI pihak ketiga (LLM, penjana imej/video dan benam) di belakang satu antara muka REST yang serasi OpenAI. Daripada menyesuaikan SDK dan kunci yang berbeza untuk setiap vendor model, anda memanggil URL asas CometAPI dan memilih nama model dalam badan permintaan — contohnya gpt, claude, gemini, atau pelbagai enjin benam/imej khusus. Pendekatan "satu API untuk 500+ model" ini mempercepatkan percubaan dan mengurangkan overhed operasi.
Mengapa memasangkan CometAPI dengan LlamaIndex?
LlamaIndex ialah rangka kerja data yang menukar dokumen anda kepada indeks (vektor dan lain-lain) dan menggunakan LLM untuk sintesis jawapan akhir. Oleh kerana CometAPI menggunakan API gaya OpenAI, LlamaIndex boleh sama ada:
- Gunakannya terbina dalam
CometAPIPenyepaduan LLM (disyorkan), atau - Gunakan OpenAI/"OpenAI-compatible" LLM dan penyesuai benam dengan menunjuk
api_basekepada CometAPI.
LlamaIndex sudah menyediakan khusus CometAPI Pembalut dan contoh LLM — jadi penyepaduan itu sengaja dibuat secara mudah.
Apakah faedah yang diberikan oleh integrasi?
- Pilihan model RAG + fleksibel — LlamaIndex mengendalikan pengambilan data dan sintesis segera; CometAPI membolehkan anda memilih LLM yang anda panggil tanpa mereka bina semula saluran paip anda.
- Pengoptimuman kos/latency — cuba model yang lebih murah atau lebih pantas untuk pertanyaan rutin dan model berkualiti tinggi untuk alasan yang berat.
- Mudah alih vendor — menukar pembekal model dengan hanya menukar nama model atau konfigurasi klien kecil.
- Eksperimen pantas — model A/B dengan mudah sambil mengekalkan saluran paip pengindeksan dan pengambilan anda tetap.
Apakah prasyarat dan persediaan persekitaran?
Akaun & kunci
Daftar untuk CometAPI dan dapatkan kunci API daripada konsol CometAPI: https://api.cometapi.com/console/token. (Anda memerlukan nilai ini untuk mengesahkan permintaan.)
Python dan pakej
- Python 3.9+ disyorkan.
- Persekitaran Jupyter Notebook atau Python (Google Colab disyorkan untuk ujian interaktif).
- Pakej untuk dipasang:
llama-index(teras) danllama-index-llms-cometapi(penyesuai / penyepaduan CometAPI) - Pilihan: perpustakaan kedai vektor yang anda bercadang untuk menggunakan (cth,
faiss-cpu,pinecone-client, dsb.). LlamaIndex mempunyai panduan kedai rasmi/vektor.
Pemboleh ubah persekitaran
Amalan biasa: tetapkan kunci CometAPI sebagai env var (cth COMETAPI_KEY), atau hantar kunci terus kepada pembina LlamaIndex CometAPI. Dokumen LlamaIndex menunjukkan kedua-dua pendekatan — untuk mengelakkan kekaburan dan ujian, lulus api_key= secara eksplisit kepada pembina adalah paling selamat.
Bagaimanakah anda mengintegrasikan LlamaIndex dan CometAPI langkah demi langkah?
Senarai langkah demi langkah berikut merangkumi tindakan yang tepat: buat akaun, pasang pakej, tetapkan kunci, konfigurasikan LlamaIndex untuk menggunakan CometAPI.
1) Bagaimanakah cara saya membuat akaun CometAPI dan mendapatkan kunci API?
- Lawati tapak CometAPI dan daftar untuk akaun. (Halaman utama dan aliran pendaftaran mereka akan mengarahkan anda ke konsol API.)
- Dalam konsol CometAPI (rujukan dokumen
https://api.cometapi.com/console/token), buat atau salin token API anda. Anda perlukan ini untukCOMETAPI_API_KEY(lihat di bawah).
2) Bagaimanakah cara saya memasang LlamaIndex dan integrasi CometAPI?
Jalankan arahan pip ini (disyorkan dalam persekitaran maya):
# core LlamaIndex
pip install llama-index
# CometAPI LLM integration for LlamaIndex
pip install llama-index-llms-cometapi
# optional: vectorstore (FAISS example)
pip install faiss-cpu
(If you're in a Jupyter/Colab environment you can prefix with `%pip`.)
Nota:
- LlamaIndex menggunakan pakej penyepaduan ruang nama untuk mengelakkan penghantaran segala-galanya dalam teras. Penyepaduan CometAPI LLM disediakan sebagai
llama-index-llms-cometapi.
3) Bagaimanakah cara saya menetapkan kunci CometAPI (pembolehubah persekitaran)?
Kelas CometAPI LLM LlamaIndex membaca kunci API sama ada daripada parameter pembina atau pembolehubah persekitaran. Kod integrasi menjangkakan nama pembolehubah persekitaran COMETAPI_API_KEY (anda juga boleh menghantar kunci terus kepada pembina kelas). Ia juga menyokong COMETAPI_API_BASE jika anda mesti mengatasi URL asas API.
Disyorkan (jelas) — lulus kunci API kepada pembina. Anda juga boleh menetapkan env var COMETAPI_KEY jika anda lebih suka.
import os
# Option A: set env var (optional)
os.environ = "sk-xxxx-your-key"
# Option B: pass the key explicitly (recommended for clarity)
api_key = os.getenv("COMETAPI_KEY", "sk-xxxx-your-key")
Tetapkannya secara setempat (Unix/macOS):
export COMETAPI_API_KEY="sk-<your-cometapi-key>"
# optional override:
export COMETAPI_API_BASE="https://www.cometapi.com/console/"
Pada Windows (PowerShell):
$env:COMETAPI_API_KEY = "sk-<your-cometapi-key>"
4) Konfigurasikan LlamaIndex untuk menggunakan CometAPI
Di bawah ialah contoh hujung ke hujung yang minimum: menelan dokumen, membina indeks vektor dan mengeluarkan pertanyaan. Contoh ini menggunakan API LlamaIndex moden (Contoh A: ServiceContext + indeks vektor); sesuaikan nama jika anda menggunakan keluaran LlamaIndex yang lebih lama/baru.
minimal RAG example using CometAPI as the LLM backend
from llama_index import SimpleDirectoryReader, VectorStoreIndex, ServiceContext
from llama_index.llms.cometapi import CometAPI
from llama_index.core.llms import ChatMessage
# 1) API key and LLM client
api_key = "sk-xxxx-your-key" # or read from env
llm = CometAPI(
api_key=api_key,
model="gpt-4o-mini", # pick a CometAPI-supported model
max_tokens=512,
context_window=4096,
)
# 2) Optional: wrap in ServiceContext (customize prompt settings, embedding model etc)
service_context = ServiceContext.from_defaults(llm=llm)
# 3) Load documents (assumes a ./data directory with files)
documents = SimpleDirectoryReader("data").load_data()
# 4) Build a vector index (FAISS, default vector store)
index = VectorStoreIndex.from_documents(documents, service_context=service_context)
# 5) Query the index
query_engine = index.as_query_engine()
resp = query_engine.query("Summarize the main points in the documents.")
print(resp)
- Nama model dan keupayaan tersedia bergantung pada CometAPI — semak dokumen CometAPI untuk memilih model terbaik untuk kes penggunaan anda. Penyesuai LlamaIndex Comet menyokong mod sembang dan penyelesaian serta penstriman.
- Jika anda mahukan respons penstriman anda boleh menghubungi
llm.stream_chat()atau menggunakanstream_completevarian ditunjukkan dalam dokumen.
Nota: bergantung pada versi LlamaIndex anda, API yang tepat untuk
as_query_enginemenerima anllmhujah mungkin berbeza-beza. Jika versi anda tidak menerimalServiceContextdi sini, lihat LLM di bawah. CometAPI LLM dilaksanakan sebagaiCometAPIinllama_index.llms.cometapi.
Contoh B — Minimum, penggunaan langsung CometAPI LLM (disyorkan untuk kejelasan)
import os
from llama_index.llms.cometapi import CometAPI
from llama_index import VectorStoreIndex, SimpleDirectoryReader
# ensure env var set, or pass api_key explicitly
os.environ = "sk-<your-key>" # or set externally
api_key = os.getenv("COMETAPI_API_KEY")
llm = CometAPI(
api_key=api_key, # or pass None to use env var
model="gpt-4o-mini", # change model string as required
max_tokens=256,
context_window=4096,
)
# build a simple index (local documents)
documents = SimpleDirectoryReader("data/").load_data()
index = VectorStoreIndex.from_documents(documents)
# get a query engine that uses the default llm (you can often pass llm to the query method)
query_engine = index.as_query_engine(llm=llm) # some LlamaIndex versions accept llm here
response = query_engine.query("Summarize the key points of the corpus.")
print(response)
Bagaimanakah saya boleh menggunakan ciri CometAPI daripada LlamaIndex? (contoh lanjutan)
1) Panggil chat dengan Senarai ChatMessage
Contoh:
# Initialize LLM
llm = CometLLM(
api_key=api_key,
max_tokens=256,
context_window=4096,
model="gpt-5-chat-latest",
)
# Chat call using ChatMessage
from llama_index.core.llms import ChatMessage
messages = [
ChatMessage(role="system", content="You are a helpful assistant"),
ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)
# Use complete method
resp = llm.complete("Who is Kaiming He")
print(resp)
Hasil yang diharapkan:
- Respons sembang: cth,
assistant: Hi - Respons penyelesaian: cth, penerangan teks tentang Kaiming He, termasuk maklumat di ResNet.
Ini menghasilkan semula semantik sembang (peranan sistem / pengguna / pembantu) dan selalunya menghasilkan output yang lebih terkawal. Ini menghantar mesej ringkas dan mendapatkan semula respons model. Anda boleh menyesuaikan mesej untuk interaksi yang lebih kompleks.
Adakah CometAPI menyokong penstriman?
Ya — CometAPI menyokong penstriman sembang/penyelesaian dan LlamaIndex mendedahkan kaedah penstriman pada pembalut LLMnya (stream_chat, stream_complete, streamable corak). Untuk aplikasi masa nyata, gunakan kaedah stream_chat atau stream_complete untuk respons penstriman.. Contoh:
# Streaming chat
message = ChatMessage(role="user", content="Tell me what ResNet is")
resp = llm.stream_chat()
for r in resp:
print(r.delta, end="")
# Streaming completion
resp = llm.stream_complete("Tell me about Large Language Models")
for r in resp:
print(r.delta, end="")
Hasil yang diharapkan: Menstrim kandungan respons bercetak, cth, penjelasan ResNet atau gambaran keseluruhan model bahasa yang besar, muncul dalam ketulan.
Keterangan: stream_chat dan stream_complete menjana respons potongan demi potongan, sesuai untuk output masa nyata. Jika ralat berlaku, ia akan dipaparkan dalam konsol.
Ini mencerminkan contoh LlamaIndex untuk LLM lain yang serasi dengan OpenAI dan berfungsi dengan titik akhir penstriman Comet. Kendalikan ralat tekanan belakang dan rangkaian dengan logik percubaan semula/masa tamat yang mantap dalam pengeluaran.
Menukar model dengan cepat
# try Claude from CometAPI
claude_llm = CometAPI(api_key=api_key, model="claude-3-7-sonnet-latest", max_tokens=300)
svc = ServiceContext.from_defaults(llm=claude_llm)
index = VectorStoreIndex.from_documents(documents, service_context=svc)
print(index.as_query_engine().query("Explain in one paragraph."))
Oleh kerana CometAPI menormalkan titik akhir, menukar model ialah perubahan pembina sahaja — tiada penulisan semula saluran paip segera diperlukan.
Petua dan teknik peningkatan
Bagaimana untuk menguruskan kos dan token
- Gunakan pengambilan semula: hantar hanya konteks yang diperoleh semula, bukan keseluruhan korpus.
- Eksperimen dengan model yang lebih kecil untuk mendapatkan semula/ringkasan dan model yang lebih besar untuk sintesis jawapan akhir. CometAPI menjadikan pertukaran model remeh.
Kebolehpercayaan dan pengehadan kadar
- Melaksanakan cuba semula + mundur untuk kesilapan sementara.
- Hormati had kadar CometAPI dan laksanakan belanjawan token bagi setiap permintaan. Jejak
max_tokensdalam pembina.
Kebolehlihatan & penyahpepijatan
- Gunakan pengurus panggil balik LlamaIndex untuk menangkap gesaan, respons dan penggunaan token. Sambungkan log tersebut ke dalam saluran pemantauan anda. Dokumen LlamaIndex merangkumi corak kebolehmerhatian dan penyepaduan.
Caching dan kependaman
- Cache LLM output untuk pertanyaan berulang atau gesaan deterministik (cth, ringkasan standard).
- Pertimbangkan untuk menggunakan model yang kecil dan lebih pantas untuk laluan pertama dan naikkan kepada model kos yang lebih tinggi hanya apabila diperlukan.
Keselamatan
- Simpan kunci CometAPI dalam stor rahsia (Vault / rahsia awan) — jangan kod keras dalam kod.
- Jika data sensitif, pastikan pelan atau model CometAPI pilihan anda memenuhi keperluan pematuhan.
Senarai semak penyelesaian masalah
- env var yang salah: Jika LlamaIndex tidak dapat mencari kunci, lulus
api_key=dalamCometAPI()pembina menjadi eksplisit. (Dokumen menunjukkan pilihan env var dan pembina.) - Model tidak disokong: Sahkan nama model dengan senarai model CometAPI — bukan semua nama wujud pada setiap akaun.
- Ralat pengindeksan: Pastikan dokumen dihuraikan dengan betul (pengekodan, jenis fail). guna
SimpleDirectoryReaderuntuk pengambilan ujian yang cepat. - Versi drift: LlamaIndex sedang berkembang secara aktif (ServiceContext → Penghijrahan tetapan). Jika contoh gagal, semak dokumen dan panduan migrasi untuk versi yang telah anda pasang.
Bermula
CometAPI ialah platform API bersatu yang mengagregatkan lebih 500 model AI daripada pembekal terkemuka—seperti siri GPT OpenAI, Google Gemini, Anthropic's Claude, Midjourney, Suno dan banyak lagi—menjadi satu antara muka mesra pembangun. Dengan menawarkan pengesahan yang konsisten, pemformatan permintaan dan pengendalian respons, CometAPI secara dramatik memudahkan penyepaduan keupayaan AI ke dalam aplikasi anda. Sama ada anda sedang membina chatbots, penjana imej, komposer muzik atau saluran paip analitik terdorong data, CometAPI membolehkan anda mengulangi dengan lebih pantas, mengawal kos dan kekal sebagai vendor-agnostik—semuanya sambil memanfaatkan penemuan terkini merentas ekosistem AI.
Untuk memulakan, terokai keupayaan model dalam Taman Permainan dan berunding dengan CallIndex untuk arahan terperinci. Sebelum mengakses, sila pastikan anda telah log masuk ke CometAPI dan memperoleh kunci API. CometAPI menawarkan harga yang jauh lebih rendah daripada harga rasmi untuk membantu anda menyepadukan.
Bersedia untuk Pergi?→ Daftar untuk CometAPI hari ini !
Soalan Lazim
Bagaimanakah cara saya menyahpepijat kependaman atau rehat penstriman?
- Gunakan tangkapan rangkaian tempatan (atau log masuk klien HTTP anda) untuk memeriksa bingkai penstriman.
- Cuba model yang lebih mudah untuk mengesahkan bahawa laluan rangkaian/SDK, bukan model itu sendiri, adalah halangan.
Model mana yang patut saya pilih?
- Gunakan model sembang yang lebih kecil / lebih murah (cth,
gpt-4o-mini,o4-mini, atau model padat khusus vendor) untuk QPS tinggi atau jawapan pendek. - Tempah model multimodal / rantaian pemikiran yang besar untuk tugas penaakulan yang mahal.
- Kependaman dan kos penanda aras: salah satu faedah CometAPI ialah menukar model dalam laluan kod yang sama — cuba berbilang model dengan cepat.
Kedai indeks & vektor manakah yang harus saya pilih?
- FAISS untuk kelajuan on-prem / nod tunggal.
- Pinecone / Anyaman untuk skala terurus dan ketersediaan berbilang wilayah (LlamaIndex menyokong banyak kedai vektor melalui penyepaduan). Pilih berdasarkan skala dan kependaman.