วิธีการรวม LlamaIndex เข้ากับ CometAPI

CometAPI มอบเกตเวย์เดียวที่เข้ากันได้กับ OpenAI สำหรับโมเดลมากมาย (ตระกูล GPT, Anthropic/Claude, Google Gemini และอื่นๆ) LlamaIndex ("กรอบข้อมูล" สำหรับการสร้างแอปพลิเคชัน LLM ที่เสริมการดึงข้อมูล) นำเสนอการผสานรวม CometAPI LLM แบบเนทีฟ ซึ่งหมายความว่าคุณสามารถ**เรียกใช้โมเดลใดๆ ผ่าน CometAPI จาก LlamaIndex ได้

LlamaIndex (กรอบข้อมูลสำหรับการสร้างผู้ช่วยด้านความรู้) รองรับอย่างเป็นทางการแล้ว โคเมทเอพีไอ ในฐานะแบ็กเอนด์ LLM คู่มือนี้จะแสดงเหตุผลที่คุณควรจับคู่แบ็กเอนด์เหล่านี้ วิธีการตั้งค่าสภาพแวดล้อม การผสานรวมแบบทีละขั้นตอน (พร้อมโค้ด) กรณีการใช้งาน RAG ที่เป็นรูปธรรม และเคล็ดลับในการปรับปรุงความน่าเชื่อถือ ต้นทุน และความสามารถในการสังเกตการณ์ ตัวอย่างต่อไปนี้ เอกสาร LlamaIndex และ ตัวอย่างการรวม CometAPI.

LlamaIndex คืออะไร และมีคุณสมบัติหลักอะไรบ้าง?

LlamaIndex (เดิมชื่อ GPT-Index) คือเฟรมเวิร์กสำหรับการแยกและดึงข้อมูล (Data-abstraction and retrieval framework) ที่เชื่อมโยงโมเดลภาษาขนาดใหญ่ (LLM) เข้ากับข้อมูลของคุณเอง โดยการนำเอกสารเข้ามาสร้างดัชนี และจัดการเวิร์กโฟลว์การดึงข้อมูลและการแจ้งคำสั่งสำหรับแอปพลิเคชันแบบ RAG คุณสมบัติหลักประกอบด้วยตัวเชื่อมต่อการแยกเอกสาร (ไฟล์ PDF, เว็บ, ฐานข้อมูล), ดัชนีเวกเตอร์/คีย์เวิร์ด/กราฟ, เอ็นจินการค้นหาที่ยืดหยุ่น และเลเยอร์การแยกข้อมูลสำหรับการแลกเปลี่ยนผู้ให้บริการ LLM LlamaIndex ออกแบบมาเพื่อให้คุณ "นำข้อมูลของคุณเอง" มาใช้กับ LLM ใดๆ ก็ได้ และสร้างระบบสำหรับการแบ่งเอกสาร การฝัง การดึงข้อมูล และการประสานคำสั่ง

คุณสมบัติหลักคืออะไร?

ตัวเชื่อมต่อข้อมูล: ดึงข้อมูลจากไฟล์ ฐานข้อมูล และแหล่ง SaaS อื่นๆ มากมาย
การสร้างดัชนีเบื้องต้น: ดัชนีการจัดเก็บเวกเตอร์ ดัชนีต้นไม้/กราฟ และไปป์ไลน์การดึงข้อมูล
เครื่องมือค้นหา: การประสานงานแบบสอบถามที่ยืดหยุ่น (การจัดอันดับใหม่ การสังเคราะห์การตอบสนอง คำเตือนหลายขั้นตอน)
อะแดปเตอร์ LLM:แบ็กเอนด์ LLM แบบปลั๊กอิน — OpenAI, Anthropic, Vertex และตอนนี้ก็มี CometAPI เป็นต้น
การสังเกตและการเรียกกลับ:ฮุกสำหรับการติดตามและตรวจสอบการเรียก LLM

CometAPI คืออะไร และทำไมจึงต้องใช้ร่วมกับ LlamaIndex?

CometAPI คืออะไร?

CometAPI คือ API-gateway ที่เปิดเผยโมเดล AI ของบุคคลที่สามหลายร้อยโมเดล (LLM, โปรแกรมสร้างภาพ/วิดีโอ และ Embedding) ภายใต้อินเทอร์เฟซ REST เดียวที่เข้ากันได้กับ OpenAI แทนที่จะต้องจัดการ SDK และคีย์ที่แตกต่างกันสำหรับแต่ละโมเดลเวนเดอร์ คุณสามารถเรียกใช้ URL พื้นฐานของ CometAPI และเลือกชื่อโมเดลในเนื้อหาคำขอได้ เช่น gpt, claude, geminiหรือเอ็นจิ้นฝัง/อิมเมจเฉพาะทางต่างๆ แนวทาง "API เดียวสำหรับโมเดลมากกว่า 500 แบบ" นี้ช่วยเพิ่มความเร็วในการทดลองและลดค่าใช้จ่ายในการดำเนินงาน

เหตุใดจึงต้องจับคู่ CometAPI กับ LlamaIndex?

LlamaIndex คือเฟรมเวิร์กข้อมูลที่แปลงเอกสารของคุณให้เป็นดัชนี (เวกเตอร์และอื่นๆ) และใช้ LLM สำหรับการสังเคราะห์คำตอบสุดท้าย เนื่องจาก CometAPI ใช้ API แบบ OpenAI LlamaIndex จึงสามารถ:

ใช้ built-in CometAPI การบูรณาการ LLM (แนะนำ) หรือ
ใช้ OpenAI/LLM และอะแดปเตอร์แบบฝังตัว “OpenAI-compatible” โดยการชี้ไปที่ api_base สู่ CometAPI

LlamaIndex มีให้เฉพาะแล้ว CometAPI LLM wrapper และตัวอย่าง — เพื่อให้การรวมระบบเป็นไปอย่างตรงไปตรงมาโดยตั้งใจ

การบูรณาการให้ประโยชน์อะไรบ้าง?

RAG + ตัวเลือกโมเดลที่ยืดหยุ่น — LlamaIndex จัดการการดึงข้อมูลและการสังเคราะห์อย่างรวดเร็ว; CometAPI ช่วยให้คุณเลือก LLM ที่คุณเรียกใช้ได้โดยไม่ต้องสร้างสถาปัตยกรรมขั้นตอนการทำงานใหม่
การเพิ่มประสิทธิภาพต้นทุน/เวลาแฝง — ลองใช้โมเดลราคาถูกกว่าหรือเร็วกว่าสำหรับการค้นหาทั่วไป และโมเดลคุณภาพสูงกว่าสำหรับการใช้เหตุผลที่หนักหน่วง
ความสามารถในการพกพาของผู้ขาย — สลับผู้ให้บริการโมเดลโดยเปลี่ยนเฉพาะชื่อโมเดลหรือการกำหนดค่าไคลเอนต์ขนาดเล็กเท่านั้น
การทดลองอย่างรวดเร็ว — สร้างแบบจำลอง A/B ได้อย่างง่ายดายในขณะที่รักษาการจัดทำดัชนีและการดึงข้อมูลให้คงที่

ข้อกำหนดเบื้องต้นและการตั้งค่าสภาพแวดล้อมมีอะไรบ้าง?

บัญชีและคีย์

ลงทะเบียน CometAPI และรับรหัส API จากคอนโซล CometAPI: https://api.cometapi.com/console/token(คุณจะต้องใช้ค่านี้เพื่อยืนยันคำขอ)

Python และแพ็คเกจ

แนะนำให้ใช้ Python 3.9 ขึ้นไป
Jupyter Notebook หรือสภาพแวดล้อม Python (แนะนำโดย Google Colab สำหรับการทดสอบแบบโต้ตอบ)
แพ็คเกจที่จะติดตั้ง: llama-index (แกน)และ llama-index-llms-cometapi (อะแดปเตอร์ CometAPI / การรวม)
ทางเลือก: ไลบรารีที่เก็บเวกเตอร์ที่คุณวางแผนจะใช้ (เช่น faiss-cpu, pinecone-client, ฯลฯ) LlamaIndex มีคำแนะนำเกี่ยวกับร้านค้าเวกเตอร์อย่างเป็นทางการ

ตัวแปรสภาพแวดล้อม

แนวทางปฏิบัติทั่วไป: ตั้งค่าคีย์ CometAPI เป็น env var (เช่น COMETAPI_KEY) หรือส่งคีย์โดยตรงไปยังคอนสตรัคเตอร์ CometAPI ของ LlamaIndex เอกสารของ LlamaIndex แสดงทั้งสองวิธี — เพื่อหลีกเลี่ยงความคลุมเครือและการทดสอบ การส่ง api_key= ระบุให้ผู้สร้างทราบอย่างชัดเจนจะปลอดภัยที่สุด

คุณจะบูรณาการ LlamaIndex และ CometAPI ทีละขั้นตอนได้อย่างไร

รายการทีละขั้นตอนต่อไปนี้ครอบคลุมการดำเนินการที่ชัดเจน: สร้างบัญชี, ติดตั้งแพ็คเกจ, ตั้งค่าคีย์, กำหนดค่า LlamaIndex เพื่อใช้ CometAPI

1) ฉันจะสร้างบัญชี CometAPI และรับรหัส API ได้อย่างไร

เยี่ยมชมเว็บไซต์ของ CometAPI และลงทะเบียนบัญชี (หน้าแรกและขั้นตอนการสมัครจะนำคุณไปยังคอนโซล API)
ในคอนโซล CometAPI (เอกสารอ้างอิง https://api.cometapi.com/console/token) สร้างหรือคัดลอกโทเค็น API ของคุณ คุณจะต้องใช้สิ่งนี้สำหรับ COMETAPI_API_KEY (ดูด้านล่าง)

2) ฉันจะติดตั้ง LlamaIndex และการรวม CometAPI ได้อย่างไร

เรียกใช้คำสั่ง pip เหล่านี้ (แนะนำให้ใช้ภายในสภาพแวดล้อมเสมือน):

# core LlamaIndex

pip install llama-index

# CometAPI LLM integration for LlamaIndex

pip install llama-index-llms-cometapi

# optional: vectorstore (FAISS example)

pip install faiss-cpu

(If you're in a Jupyter/Colab environment you can prefix with `%pip`.)

หมายเหตุ:

LlamaIndex ใช้แพ็กเกจการรวมเนมสเปซเพื่อหลีกเลี่ยงการจัดส่งทุกอย่างในแกนหลัก การรวม CometAPI LLM มีให้ใช้งานดังนี้ llama-index-llms-cometapi.

3) ฉันจะตั้งค่าคีย์ CometAPI (ตัวแปรสภาพแวดล้อม) ได้อย่างไร

คลาส CometAPI LLM ของ LlamaIndex อ่านคีย์ API จากพารามิเตอร์คอนสตรัคเตอร์หรือตัวแปรสภาพแวดล้อม โค้ดของการรวมระบบต้องการชื่อตัวแปรสภาพแวดล้อม COMETAPI_API_KEY (คุณสามารถส่งคีย์โดยตรงไปยังตัวสร้างคลาสได้) นอกจากนี้ยังรองรับ COMETAPI_API_BASE หากคุณต้องแทนที่ URL ฐาน API

แนะนำ (ชัดเจน) — ส่งรหัส API ไปยังผู้สร้างคุณยังสามารถตั้งค่า env var ได้ด้วย COMETAPI_KEY หากคุณต้องการ

import os
# Option A: set env var (optional)

os.environ = "sk-xxxx-your-key"

# Option B: pass the key explicitly (recommended for clarity)

api_key = os.getenv("COMETAPI_KEY", "sk-xxxx-your-key")

ตั้งค่าในเครื่อง (Unix/macOS):

export COMETAPI_API_KEY="sk-<your-cometapi-key>"
# optional override:

export COMETAPI_API_BASE="https://www.cometapi.com/console/"

บน Windows (PowerShell):

$env:COMETAPI_API_KEY = "sk-<your-cometapi-key>"

4) กำหนดค่า LlamaIndex ให้ใช้ CometAPI

ด้านล่างนี้เป็นตัวอย่างแบบ end-to-end ขั้นต่ำ: การนำเข้าเอกสาร สร้างดัชนีเวกเตอร์ และออกคิวรี ตัวอย่างนี้ใช้ LlamaIndex API สมัยใหม่ (ตัวอย่าง A: ServiceContext + ดัชนีเวกเตอร์) ปรับเปลี่ยนชื่อหากคุณใช้ LlamaIndex เวอร์ชันเก่า/ใหม่กว่า

minimal RAG example using CometAPI as the LLM backend
from llama_index import SimpleDirectoryReader, VectorStoreIndex, ServiceContext
from llama_index.llms.cometapi import CometAPI
from llama_index.core.llms import ChatMessage

# 1) API key and LLM client

api_key = "sk-xxxx-your-key"  # or read from env

llm = CometAPI(
    api_key=api_key,
    model="gpt-4o-mini",      # pick a CometAPI-supported model

    max_tokens=512,
    context_window=4096,
)

# 2) Optional: wrap in ServiceContext (customize prompt settings, embedding model etc)

service_context = ServiceContext.from_defaults(llm=llm)

# 3) Load documents (assumes a ./data directory with files)

documents = SimpleDirectoryReader("data").load_data()

# 4) Build a vector index (FAISS, default vector store)

index = VectorStoreIndex.from_documents(documents, service_context=service_context)

# 5) Query the index

query_engine = index.as_query_engine()
resp = query_engine.query("Summarize the main points in the documents.")
print(resp)

ชื่อโมเดลและความสามารถที่มีขึ้นอยู่กับ CometAPI — ตรวจสอบเอกสาร CometAPI เพื่อเลือกโมเดลที่เหมาะสมที่สุดกับกรณีการใช้งานของคุณ อะแดปเตอร์ LlamaIndex Comet รองรับโหมดแชทและโหมดการเสร็จสิ้น รวมถึงโหมดการสตรีม
หากคุณต้องการคำตอบแบบสตรีมมิ่ง คุณสามารถโทรได้ llm.stream_chat() หรือใช้ stream_complete รูปแบบที่แสดงในเอกสาร

หมายเหตุ: ขึ้นอยู่กับเวอร์ชัน LlamaIndex ของคุณ API ที่แน่นอนสำหรับ as_query_engine การยอมรับ llm ข้อโต้แย้งอาจแตกต่างกันไป หากเวอร์ชันของคุณไม่ยอมรับ lServiceContext ดูหลักสูตร LLM ด้านล่าง CometAPI LLM ถูกนำมาใช้เป็น CometAPI in llama_index.llms.cometapi.

ตัวอย่าง B — การใช้ CometAPI LLM โดยตรงขั้นต่ำ (แนะนำเพื่อความชัดเจน)

import os
from llama_index.llms.cometapi import CometAPI
from llama_index import VectorStoreIndex, SimpleDirectoryReader

# ensure env var set, or pass api_key explicitly

os.environ = "sk-<your-key>"  # or set externally

api_key = os.getenv("COMETAPI_API_KEY")
llm = CometAPI(
    api_key=api_key,          # or pass None to use env var

    model="gpt-4o-mini",      # change model string as required

    max_tokens=256,
    context_window=4096,
)

# build a simple index (local documents)

documents = SimpleDirectoryReader("data/").load_data()
index = VectorStoreIndex.from_documents(documents)

# get a query engine that uses the default llm (you can often pass llm to the query method)

query_engine = index.as_query_engine(llm=llm)   # some LlamaIndex versions accept llm here

response = query_engine.query("Summarize the key points of the corpus.")
print(response)

ฉันจะใช้ฟีเจอร์ CometAPI จาก LlamaIndex ได้อย่างไร (ตัวอย่างขั้นสูง)

1) โทร `chat` พร้อมรายการ ChatMessage

ตัวอย่าง:

# Initialize LLM

llm = CometLLM(
    api_key=api_key,
    max_tokens=256,
    context_window=4096,
    model="gpt-5-chat-latest",
)

# Chat call using ChatMessage

from llama_index.core.llms import ChatMessage

messages = [
    ChatMessage(role="system", content="You are a helpful assistant"),
    ChatMessage(role="user", content="Say 'Hi' only!"),
]
resp = llm.chat(messages)
print(resp)

# Use complete method

resp = llm.complete("Who is Kaiming He")
print(resp)

ผลผลิตที่คาดหวัง:

การตอบสนองการแชท เช่น assistant: Hi
การตอบสนองการเสร็จสมบูรณ์: เช่น คำอธิบายข้อความเกี่ยวกับ Kaiming He รวมถึงข้อมูลเกี่ยวกับ ResNet

การดำเนินการนี้จะสร้างความหมายของการแชท (บทบาทระบบ/ผู้ใช้/ผู้ช่วย) ขึ้นมาใหม่ และมักจะให้ผลลัพธ์ที่ควบคุมได้มากขึ้น การดำเนินการนี้จะส่งข้อความแบบง่ายๆ และดึงข้อมูลการตอบสนองจากแบบจำลอง คุณสามารถปรับแต่งข้อความสำหรับการโต้ตอบที่ซับซ้อนยิ่งขึ้นได้

CometAPI รองรับการสตรีมมิ่งหรือไม่?

ใช่ — CometAPI รองรับการแชท/การเสร็จสิ้นแบบสตรีมมิ่ง และ LlamaIndex เปิดเผยวิธีการสตรีมมิ่งบนตัวห่อ LLM (stream_chat, stream_complete, streamable รูปแบบ) สำหรับการใช้งานแบบเรียลไทม์ ให้ใช้เมธอด stream_chat หรือ stream_complete สำหรับการสตรีมการตอบสนอง ตัวอย่าง:

# Streaming chat

message = ChatMessage(role="user", content="Tell me what ResNet is")
resp = llm.stream_chat()
for r in resp:
    print(r.delta, end="")

# Streaming completion

resp = llm.stream_complete("Tell me about Large Language Models")
for r in resp:
    print(r.delta, end="")

ผลลัพธ์ที่คาดหวัง: การสตรีมเนื้อหาการตอบสนองที่พิมพ์ออกมา เช่น คำอธิบายของ ResNet หรือภาพรวมของโมเดลภาษาขนาดใหญ่ที่ปรากฏเป็นส่วนๆ

คำอธิบาย: stream_chat และ stream_complete สร้างการตอบกลับแบบทีละส่วน เหมาะสำหรับการแสดงผลแบบเรียลไทม์ หากเกิดข้อผิดพลาด ระบบจะแสดงข้อผิดพลาดในคอนโซล

ฟังก์ชันนี้สะท้อนตัวอย่าง LlamaIndex สำหรับ LLM อื่นๆ ที่เข้ากันได้กับ OpenAI และทำงานร่วมกับจุดสิ้นสุดการสตรีมของ Comet จัดการแรงดันย้อนกลับและข้อผิดพลาดของเครือข่ายด้วยตรรกะการลองใหม่/หมดเวลาที่มีประสิทธิภาพในการใช้งานจริง

การสลับโมเดลอย่างรวดเร็ว

# try Claude from CometAPI

claude_llm = CometAPI(api_key=api_key, model="claude-3-7-sonnet-latest", max_tokens=300)
svc = ServiceContext.from_defaults(llm=claude_llm)
index = VectorStoreIndex.from_documents(documents, service_context=svc)
print(index.as_query_engine().query("Explain in one paragraph."))

เนื่องจาก CometAPI ทำการปรับมาตรฐานจุดสิ้นสุด การเปลี่ยนแปลงโมเดลจึงเป็นเพียงการเปลี่ยนแปลงคอนสตรัคเตอร์เท่านั้น ไม่จำเป็นต้องเขียนขั้นตอนใหม่ทันที

เคล็ดลับและเทคนิคเพิ่มประสิทธิภาพ

วิธีจัดการต้นทุนและโทเค็น

ใช้การดึงข้อมูล: ส่งเฉพาะบริบทที่ดึงข้อมูลมาเท่านั้น ไม่ใช่ทั้งคอร์ปัส
ทดลองใช้แบบจำลองขนาดเล็กสำหรับการดึงข้อมูล/สรุปข้อมูล และแบบจำลองขนาดใหญ่สำหรับการสังเคราะห์คำตอบขั้นสุดท้าย CometAPI ช่วยให้การสลับแบบจำลองเป็นเรื่องง่าย

ความน่าเชื่อถือและการจำกัดอัตรา

Implement ลองใหม่อีกครั้ง + ถอยกลับ สำหรับข้อผิดพลาดชั่วคราว
เคารพขีดจำกัดอัตราของ CometAPI และนำงบประมาณโทเค็นมาใช้ต่อคำขอ ติดตาม max_tokens ในผู้สร้าง

การสังเกตและการแก้จุดบกพร่อง

ใช้ตัวจัดการคอลแบ็ก LlamaIndex เพื่อบันทึกข้อความแจ้งเตือน การตอบกลับ และการใช้โทเค็น เชื่อมต่อบันทึกเหล่านั้นเข้ากับกระบวนการตรวจสอบของคุณ เอกสารของ LlamaIndex ครอบคลุมรูปแบบการสังเกตการณ์และการผสานรวม

การแคชและความหน่วง

แคชเอาต์พุต LLM สำหรับการค้นหาซ้ำหรือคำเตือนแบบกำหนดแน่นอน (เช่น สรุปมาตรฐาน)
พิจารณาใช้โมเดลขนาดเล็กและเร็วกว่าสำหรับการดำเนินการครั้งแรก และยกระดับเป็นโมเดลที่มีต้นทุนสูงกว่าเมื่อจำเป็นเท่านั้น

⁠ความปลอดภัย

เก็บคีย์ CometAPI ไว้ในที่เก็บความลับ (Vault / cloud secrets) — อย่าเขียนโค้ดแบบฮาร์ดโค้ด
หากข้อมูลมีความละเอียดอ่อน โปรดตรวจสอบให้แน่ใจว่าแผนหรือโมเดล CometAPI ที่คุณเลือกเป็นไปตามข้อกำหนดการปฏิบัติตามกฎหมาย

รายการตรวจสอบการแก้ไขปัญหา

ตัวแปร env ผิด: หาก LlamaIndex ไม่พบคีย์ ให้ส่ง api_key= ที่ CometAPI() constructor จะต้องชัดเจน (เอกสารแสดงทั้ง env var และตัวเลือก constructor)
ไม่รองรับโมเดลนี้:ยืนยันชื่อโมเดลด้วยรายการโมเดลของ CometAPI — ไม่ใช่ทุกชื่อที่มีอยู่ในทุกบัญชี
ข้อผิดพลาดในการจัดทำดัชนี: ตรวจสอบให้แน่ใจว่าเอกสารได้รับการแยกวิเคราะห์อย่างถูกต้อง (การเข้ารหัส, ประเภทไฟล์) ใช้ SimpleDirectoryReader เพื่อการทดสอบการกลืนกินอย่างรวดเร็ว
เวอร์ชันดริฟท์:LlamaIndex กำลังพัฒนาอย่างต่อเนื่อง (ServiceContext → การย้ายการตั้งค่า) หากตัวอย่างล้มเหลว โปรดตรวจสอบเอกสารและคู่มือการย้ายสำหรับเวอร์ชันที่คุณติดตั้ง

เริ่มต้นใช้งาน

CometAPI เป็นแพลตฟอร์ม API แบบรวมที่รวบรวมโมเดล AI มากกว่า 500 โมเดลจากผู้ให้บริการชั้นนำ เช่น ซีรีส์ GPT ของ OpenAI, Gemini ของ Google, Claude ของ Anthropic, Midjourney, Suno และอื่นๆ ไว้ในอินเทอร์เฟซเดียวที่เป็นมิตรกับนักพัฒนา ด้วยการนำเสนอการตรวจสอบสิทธิ์ การจัดรูปแบบคำขอ และการจัดการการตอบสนองที่สอดคล้องกัน CometAPI จึงทำให้การรวมความสามารถของ AI เข้ากับแอปพลิเคชันของคุณง่ายขึ้นอย่างมาก ไม่ว่าคุณจะกำลังสร้างแชทบ็อต เครื่องกำเนิดภาพ นักแต่งเพลง หรือไพพ์ไลน์การวิเคราะห์ที่ขับเคลื่อนด้วยข้อมูล CometAPI ช่วยให้คุณทำซ้ำได้เร็วขึ้น ควบคุมต้นทุน และไม่ขึ้นอยู่กับผู้จำหน่าย ทั้งหมดนี้ในขณะที่ใช้ประโยชน์จากความก้าวหน้าล่าสุดในระบบนิเวศ AI

ในการเริ่มต้น ให้สำรวจความสามารถของโมเดลใน สนามเด็กเล่น และปรึกษา ลามะดัชนี สำหรับคำแนะนำโดยละเอียด ก่อนเข้าใช้งาน โปรดตรวจสอบให้แน่ใจว่าคุณได้เข้าสู่ระบบ CometAPI และได้รับรหัส API แล้ว โคเมทเอพีไอ เสนอราคาที่ต่ำกว่าราคาอย่างเป็นทางการมากเพื่อช่วยคุณบูรณาการ

พร้อมไปหรือยัง?→ ลงทะเบียน CometAPI วันนี้ !

คำถามที่พบบ่อย

ฉันจะแก้ไขความล่าช้าหรือการหยุดสตรีมได้อย่างไร

ใช้การจับภาพเครือข่ายท้องถิ่น (หรือการบันทึกในไคลเอนต์ HTTP ของคุณ) เพื่อตรวจสอบเฟรมสตรีมมิ่ง
ลองใช้โมเดลที่ง่ายกว่าเพื่อยืนยันว่าเส้นทางเครือข่าย/SDK ไม่ใช่โมเดลเองที่เป็นคอขวด

ฉันควรเลือกรุ่นไหนดี?

ใช้รูปแบบการแชทที่เล็กกว่า / ราคาถูกกว่า (เช่น gpt-4o-mini, o4-miniหรือรุ่นกะทัดรัดเฉพาะของผู้จำหน่าย) สำหรับ QPS สูงหรือคำตอบสั้นๆ
สำรองโมเดลหลายโหมด / ห่วงโซ่แห่งความคิดขนาดใหญ่สำหรับงานการใช้เหตุผลที่มีราคาแพง
ค่าความหน่วงและต้นทุนมาตรฐาน: ประโยชน์ประการหนึ่งของ CometAPI คือการสลับโมเดลในเส้นทางโค้ดเดียวกัน — ลองใช้โมเดลหลายๆ โมเดลอย่างรวดเร็ว

ฉันควรเลือกที่เก็บดัชนีและเวกเตอร์ตัวใด

ไฟส สำหรับความเร็วภายในองค์กร / โหนดเดียว
ลูกสน / วีเอียต สำหรับการจัดการขนาดและความพร้อมใช้งานหลายภูมิภาค (LlamaIndex รองรับร้านค้าเวกเตอร์จำนวนมากผ่านการผสานรวม) เลือกตามขนาดและเวลาแฝง

LlamaIndex คืออะไร และมีคุณสมบัติหลักอะไรบ้าง?

คุณสมบัติหลักคืออะไร?

CometAPI คืออะไร และทำไมจึงต้องใช้ร่วมกับ LlamaIndex?

CometAPI คืออะไร?

เหตุใดจึงต้องจับคู่ CometAPI กับ LlamaIndex?

การบูรณาการให้ประโยชน์อะไรบ้าง?

ข้อกำหนดเบื้องต้นและการตั้งค่าสภาพแวดล้อมมีอะไรบ้าง?

บัญชีและคีย์

Python และแพ็คเกจ

ตัวแปรสภาพแวดล้อม

คุณจะบูรณาการ LlamaIndex และ CometAPI ทีละขั้นตอนได้อย่างไร

1) ฉันจะสร้างบัญชี CometAPI และรับรหัส API ได้อย่างไร

2) ฉันจะติดตั้ง LlamaIndex และการรวม CometAPI ได้อย่างไร

3) ฉันจะตั้งค่าคีย์ CometAPI (ตัวแปรสภาพแวดล้อม) ได้อย่างไร

4) กำหนดค่า LlamaIndex ให้ใช้ CometAPI

ตัวอย่าง B — การใช้ CometAPI LLM โดยตรงขั้นต่ำ (แนะนำเพื่อความชัดเจน)

ฉันจะใช้ฟีเจอร์ CometAPI จาก LlamaIndex ได้อย่างไร (ตัวอย่างขั้นสูง)

1) โทร `chat` พร้อมรายการ ChatMessage

CometAPI รองรับการสตรีมมิ่งหรือไม่?

การสลับโมเดลอย่างรวดเร็ว

เคล็ดลับและเทคนิคเพิ่มประสิทธิภาพ

วิธีจัดการต้นทุนและโทเค็น

ความน่าเชื่อถือและการจำกัดอัตรา

การสังเกตและการแก้จุดบกพร่อง

การแคชและความหน่วง

⁠ความปลอดภัย

รายการตรวจสอบการแก้ไขปัญหา

เริ่มต้นใช้งาน

คำถามที่พบบ่อย

ฉันจะแก้ไขความล่าช้าหรือการหยุดสตรีมได้อย่างไร

ฉันควรเลือกรุ่นไหนดี?

ฉันควรเลือกที่เก็บดัชนีและเวกเตอร์ตัวใด

อ่านเพิ่มเติม

500+ โมเดลใน API เดียว

วิธีการรวม LlamaIndex เข้ากับ CometAPI

LlamaIndex คืออะไร และมีคุณสมบัติหลักอะไรบ้าง?

คุณสมบัติหลักคืออะไร?

CometAPI คืออะไร และทำไมจึงต้องใช้ร่วมกับ LlamaIndex?

CometAPI คืออะไร?

เหตุใดจึงต้องจับคู่ CometAPI กับ LlamaIndex?

การบูรณาการให้ประโยชน์อะไรบ้าง?

ข้อกำหนดเบื้องต้นและการตั้งค่าสภาพแวดล้อมมีอะไรบ้าง?

บัญชีและคีย์

Python และแพ็คเกจ

ตัวแปรสภาพแวดล้อม

คุณจะบูรณาการ LlamaIndex และ CometAPI ทีละขั้นตอนได้อย่างไร

1) ฉันจะสร้างบัญชี CometAPI และรับรหัส API ได้อย่างไร

2) ฉันจะติดตั้ง LlamaIndex และการรวม CometAPI ได้อย่างไร

3) ฉันจะตั้งค่าคีย์ CometAPI (ตัวแปรสภาพแวดล้อม) ได้อย่างไร

4) กำหนดค่า LlamaIndex ให้ใช้ CometAPI

ตัวอย่าง B — การใช้ CometAPI LLM โดยตรงขั้นต่ำ (แนะนำเพื่อความชัดเจน)

ฉันจะใช้ฟีเจอร์ CometAPI จาก LlamaIndex ได้อย่างไร (ตัวอย่างขั้นสูง)

1) โทร chat พร้อมรายการ ChatMessage

CometAPI รองรับการสตรีมมิ่งหรือไม่?

การสลับโมเดลอย่างรวดเร็ว

เคล็ดลับและเทคนิคเพิ่มประสิทธิภาพ

วิธีจัดการต้นทุนและโทเค็น

ความน่าเชื่อถือและการจำกัดอัตรา

การสังเกตและการแก้จุดบกพร่อง

การแคชและความหน่วง

⁠ความปลอดภัย

รายการตรวจสอบการแก้ไขปัญหา

เริ่มต้นใช้งาน

คำถามที่พบบ่อย

ฉันจะแก้ไขความล่าช้าหรือการหยุดสตรีมได้อย่างไร

ฉันควรเลือกรุ่นไหนดี?

ฉันควรเลือกที่เก็บดัชนีและเวกเตอร์ตัวใด

อ่านเพิ่มเติม

500+ โมเดลใน API เดียว

1) โทร `chat` พร้อมรายการ ChatMessage