ราคา API ของ Qwen 3.8 Max: $2 อินพุต, $6 เอาต์พุต, บริบท 1M
สรุปราคาเบสของ Qwen 3.8 Max
- อินพุต: $2 ต่อ 1M tokens
- เอาต์พุต: $6 ต่อ 1M tokens
ค่าคลังแคช (cache) และแนวทางลดต้นทุน
- แนวคิด: แยกพรีฟิกซ์ที่คงที่ (เช่น system prompt, นโยบาย, คำสั่งยาวๆ) ออกจากส่วนที่เปลี่ยนแปลง เพื่อให้ผู้ให้บริการสามารถแคชได้
- ค่าธรรมเนียมแคช: แตกต่างตามผู้ให้บริการ API/แพลตฟอร์ม (เช่น อาจคิดราคาถูกกว่าราคาต่ออินพุตปกติสำหรับ cache hit หรือคิดเฉพาะครั้งแรก) ควรตรวจสอบเอกสารของผู้ให้บริการที่คุณใช้งาน
- โครงสร้างพรอมป์ต์เพื่อใช้แคชได้ดี:
- วาง system prompt และกฎที่ไม่เปลี่ยนในส่วนต้นของข้อความ
- แยกข้อมูลชั่วคราว/ไดนามิกให้อยู่ท้ายข้อความหรือส่งเป็นส่วนย่อยที่ไม่กระทบพรีฟิกซ์
- ใช้ข้อความและรูปแบบที่สม่ำเสมอ เพื่อลด miss-cache
ค่าใช้จ่ายด้าน Tools (function calling/RAG/ฯลฯ)
- การเรียกใช้เครื่องมือ (function/tool calling): โดยทั่วไปค่าธรรมเนียมคือโทเค็นที่โมเดลใช้ในการ
- อธิบายสคีมาของเครื่องมือในพรอมป์ต์ (อินพุต)
- ขอเรียกใช้เครื่องมือ (เอาต์พุตของโมเดลเพื่อระบุเครื่องมือและอาร์กิวเมนต์)
- ส่งผลลัพธ์จากเครื่องมือกลับเข้าโมเดล (อินพุตรอบถัดไป)
ทั้งหมดนับเป็นโทเค็นอินพุต/เอาต์พุตตามเรตราคา $2/M และ $6/M
- ต้นทุนภายนอกของเครื่องมือ: ถ้าเครื่องมือไปเรียกบริการภายนอก (ฐานข้อมูล, เวกเตอร์สโตร์, เว็บ, คำนวณเฉพาะทาง) ค่าบริการส่วนนั้นคิดต่างหากตามผู้ให้บริการนั้น ไม่เกี่ยวกับค่าโมเดล
- Embedding/Rerank/Multimodal: ถ้ามีการใช้บริการแยก (เช่น embedding, reranker, vision I/O) จะมีเรตราคาเฉพาะของบริการนั้น แยกจากค่า LLM ตรวจสอบราคาในเอกสารของผู้ให้บริการ
ตัวอย่างคำนวณต้นทุน (ใช้เรตราคา $2/M อินพุต และ $6/M เอาต์พุต)
- สนทนาสั้น 1,000 in + 1,000 out tokens:
- อินพุต: 0.001M × $2 = $0.002
- เอาต์พุต: 0.001M × $6 = $0.006
- รวม ≈ $0.008 ต่อคำขอ
- RAG/พรอมป์ต์ยาว 10,000 in + 1,500 out tokens:
- อินพุต: 0.01M × $2 = $0.02
- เอาต์พุต: 0.0015M × $6 = $0.009
- รวม ≈ $0.029 ต่อคำขอ
- งานแบตช์ 100 คำขอ × (500 in + 300 out tokens ต่อคำขอ):
- ต่อคำขอ: (0.0005M × $2) + (0.0003M × $6) = $0.001 + $0.0018 = $0.0028
- รวม 100 คำขอ ≈ $0.28
- อิมแพ็กต์ของแคช (ตัวอย่างแนวคิด):
- สมมติมี system prompt คงที่ 8,000 tokens ใช้ซ้ำ 100 ครั้ง
- หากไม่มีแคช: อินพุตส่วนนี้คิดเต็มทุกครั้ง = 0.008M × $2 × 100 = $1.60 เฉพาะพรีฟิกซ์
- หากผู้ให้บริการคิดค่า cache hit ในอัตราที่ถูกลง (เช่น x% ของอัตราอินพุตปกติ) ต้นทุนพรีฟิกซ์โดยประมาณ = $0.016 (ครั้งแรกเต็ม) + $0.016 × x% × 99
- ค่าจริงขึ้นกับนโยบายแคชของแพลตฟอร์มที่ใช้
ขีดจำกัดและแนวปฏิบัติ
- ขนาดบริบท (context window) และ max output tokens: แตกต่างตามผู้ให้บริการ/แผน ควรกำหนด max_output_tokens เพื่อคุมต้นทุน และแบ่งงานยาวเป็นชิ้นๆ
- อัตราการเรียกใช้งาน (RPM/TPM/QPS) และการประมวลผลขนาน: มีเพดานรายบัญชี/รายรุ่น ตรวจสอบและขอเพิ่มโควต้าเมื่อจำเป็น
- ขนาดไฟล์/รูปภาพ/เอกสารต่อคำขอ: มีเพดานทั้งด้านจำนวนและขนาด
- การสตรีม: เปิดใช้สตรีมมิ่งเอาต์พุตเพื่อลด latency ที่รู้สึกได้ และตัดการตอบก่อนครบถ้าพอใจ ช่วยคุมโทเค็นเอาต์พุต
คำแนะนำย้ายงานจาก Qwen 3.7 ไป Qwen 3.8
- ความเข้ากันได้ของ API/รุ่น:
- เปลี่ยนชื่อรุ่นเป็นรุ่น 3.8 ที่ต้องการ และทดสอบกับเอ็นด์พอยต์เดิม
- ตรวจสอบพารามิเตอร์ที่อาจมีค่าเริ่มต้นต่างไป (เช่น temperature, top_p, penalties)
- การเรียกใช้เครื่องมือ:
- รักษาโครงสคีมาและชื่อฟังก์ชันให้สม่ำเสมอ
- ทดสอบรอบโต้ตอบหลายขั้น (คิด-เรียกเครื่องมือ-สรุปผล) เพราะ 3.8 อาจให้เหตุผลยาวขึ้น ทำให้โทเค็นเพิ่ม
- JSON/รูปแบบผลลัพธ์:
- หากผู้ให้บริการรองรับโหมดผลลัพธ์แบบบังคับรูปแบบ ให้เปิดใช้เมื่อส่งออกเป็น JSON
- กำหนดตัวอย่างเอาต์พุต (structured examples) เพื่อคุมความสม่ำเสมอ
- การควบคุมต้นทุน:
- ตั้งเพดาน max_output_tokens ตามกรณีใช้งาน
- เปิดสตรีมและหยุดเมื่อเพียงพอ
- เปิดใช้แคชสำหรับ system prompt/ความรู้คงที่ ถ้าผู้ให้บริการรองรับ
- คุณภาพและรีเกรสชัน:
- สร้าง golden set/benchmarks เดิมของ 3.7 แล้วรันเทียบบน 3.8
- ตรวจสอบการเปลี่ยนแปลงความยาวคำตอบ ความเคร่งครัดต่อคำสั่ง และความคงเส้นคงวาทางสไตล์
- การสังเกตการณ์และบิลลิ่ง:
- บันทึกโทเค็นแยกอินพุต/เอาต์พุต และแยกส่วนที่คงที่กับไดนามิก เพื่อติดตามผลแคชและจุดที่ต้นทุนสูง
- ตั้งการแจ้งเตือนเมื่อเกินงบ/โควต้า
หมายเหตุ
- อัตราค่าแคช, ขีดจำกัดโควต้า, และค่าบริการเสริม (embedding, rerank, vision) แตกต่างกันตามผู้ให้บริการ/แพลตฟอร์มที่คุณใช้ หากระบุผู้ให้บริการที่ใช้งานอยู่ จะสามารถให้ตัวเลขที่เฉพาะเจาะจงและแผนลดต้นทุนที่เหมาะสมได้มากขึ้น
