ความสามารถล่าสุดของ Claude 4 ถือเป็นวิวัฒนาการครั้งสำคัญในวิธีที่โมเดลภาษาขนาดใหญ่โต้ตอบกับเครื่องมือภายนอกและ API โดยในจำนวนนี้ การสตรีมเครื่องมือแบบละเอียด โดดเด่นในฐานะฟีเจอร์ล้ำสมัยที่ช่วยให้ผู้พัฒนาสามารถรับพารามิเตอร์อินพุตของเครื่องมือได้ในเวลาใกล้เคียงกับเวลาจริง โดยไม่ต้องรอการตรวจสอบ JSON เต็มรูปแบบ ฟีเจอร์นี้เปิดตัวเป็นรุ่นเบต้าในเดือนพฤษภาคม 2025 เพื่อแก้ไขปัญหาความล่าช้าที่เกี่ยวข้องกับการเรียกใช้เครื่องมือที่มีพารามิเตอร์ขนาดใหญ่ และช่วยให้แอปพลิเคชันตอบสนองและโต้ตอบได้มากขึ้น
เครื่องมือสตรีมมิ่งแบบละเอียดใน Claude 4 คืออะไร
การสตรีมเครื่องมือแบบละเอียด (Fine‑Grained Tool Streaming หรือ FGTS) ใน Claude 4 เป็นกลไกที่โมเดลแทรกการสร้างภาษาธรรมชาติด้วยการเรียกใช้ "เครื่องมือ" ภายนอกหรือในตัว (เช่น การทำงานของรหัส การค้นหา เครื่องคิดเลข) ในระดับความละเอียดของโทเค็นแต่ละรายการหรือข้อความขนาดเล็ก แทนที่จะแบ่งคำขอเครื่องมือทั้งหมดเป็นกลุ่มแล้วบล็อกการตอบกลับทั้งหมด Claude 4 สามารถทำได้ดังนี้:
- ปล่อยโทเค็นทริกเกอร์เครื่องมือกลางประโยค,
- เริ่มรับและนำเอาเอาท์พุตของเครื่องมือบางส่วนมาใช้ เมื่อมันมาถึง
- ดำเนินการสร้างโทเค็นถัดไปต่อไปซึ่งมีเงื่อนไขแบบไดนามิกสำหรับข้อมูลขาเข้าแต่ละชิ้น
ผลลัพธ์ที่ได้คือการผสมผสานระหว่างเหตุผลและการกระทำที่ราบรื่น โดยโมเดลนี้ไม่ได้หยุดชะงักอย่างน่าอึดอัดระหว่าง "ฉันต้องการเรียกใช้ API สภาพอากาศ" และ "นี่คือคำตอบ" แต่ข้อความจะไหลลื่นไม่สะดุดและเสริมแต่งแบบเรียลไทม์ด้วยผลลัพธ์สตรีมของเครื่องมือ
ในทางปฏิบัติ วิธีนี้ช่วยลดเวลาแฝงลงอย่างมากสำหรับการเรียกใช้เครื่องมือที่มีพารามิเตอร์ขนาดใหญ่ ตัวอย่างเช่น เมื่อขอให้ Claude เขียนบทกวีที่ยาวลงในไฟล์ผ่าน make_file เครื่องมือการสตรีมมาตรฐานอาจใช้เวลาประมาณ 15 วินาทีก่อนที่คุณจะเห็นข้อความในบทกวีใดๆ เมื่อเปิดใช้งานการสตรีมแบบละเอียด คุณจะเริ่มได้รับข้อมูลหลายบรรทัดในเวลาเพียงประมาณ 3 วินาที โดยแต่ละข้อมูลประกอบด้วยส่วนต่างๆ ที่สอดคล้องกันของบทกวีแทนที่จะเป็นส่วน JSON แบบสุ่ม วิธีการเดียวกันนี้ใช้ได้กับเครื่องมือใดๆ ที่มีอินพุตจำนวนมาก (เช่น การแปลงข้อมูลจำนวนมาก การคำนวณหลายขั้นตอน หรือการเรียกใช้ API หลายส่วน) ช่วยให้คุณเริ่มประมวลผลหรือแสดงผลลัพธ์ได้ทันทีโดยไม่ต้องรอให้ข้อมูลทั้งหมดปรากฏขึ้น
FGTS แตกต่างจากการสตรีมมาตรฐานอย่างไร?
พฤติกรรมการแบ่งกลุ่ม
เมื่อใช้การสตรีมแบบมาตรฐาน Claude จะแบ่งข้อมูล JSON ที่ถูกจัดรูปแบบเป็นลำดับออกเป็นชิ้นเล็กๆ โดยมักจะแยกมิดโทเค็นหรือมิดเวิร์ดออกไป ทำให้มีชิ้นส่วนเล็กๆ จำนวนมากก่อนที่จะมีเนื้อหาที่สำคัญใดๆ ปรากฏขึ้น สำหรับข้อมูลบทกวีหรือข้อมูลขนาดใหญ่ สิ่งนี้สามารถแสดงออกมาเป็นกลุ่มเล็กๆ หลายสิบชิ้นที่มีอักขระ 10–20 ตัวต่อชิ้น ในทางตรงกันข้าม การสตรีมแบบละเอียดจะปล่อยชิ้นส่วนที่ใหญ่กว่าและมีความสอดคล้องกันทางความหมาย เช่น ข้อความเต็มบรรทัด ส่งผลให้มีชิ้นส่วนที่ยาวกว่าและมีความหมายต่อผู้รับมากกว่า ()
การปรับปรุงความล่าช้า
ในการประเมินประสิทธิภาพในทางปฏิบัติ การเรียกใช้เครื่องมือโดยใช้การสตรีมมาตรฐานอาจต้องเสียค่าใช้จ่าย 15 วินาที ความล่าช้าก่อนที่จะส่งข้อมูลชิ้นแรกที่ถูกต้อง เนื่องจากบัฟเฟอร์และการตรวจสอบ JSON การสตรีมแบบละเอียดช่วยลดเวลาแฝงเริ่มต้นนี้ลงเหลือประมาณ 3 วินาทีช่วยให้ลูกค้าสามารถเริ่มรับชมเนื้อหาแบบสตรีมได้เร็วขึ้นเกือบห้าเท่า การเร่งความเร็วนี้ถือเป็นสิ่งสำคัญสำหรับแอปพลิเคชันแบบโต้ตอบ เช่น การแก้ไขโค้ดแบบสด การสร้างเอกสารแบบก้าวหน้า หรือการอัปเดตแดชบอร์ด ซึ่งการตอบรับทันทีจะช่วยเพิ่มประสบการณ์ของผู้ใช้ได้อย่างแท้จริง
เหตุใดจึงมีการนำเครื่องมือสตรีมมิ่งแบบละเอียดมาใช้
ก่อน FGTS ระบบ LLM ที่ใช้เครื่องมือส่วนใหญ่ใช้ หยาบ การเรียกใช้เครื่องมือ: โมเดลจะสร้างคำสั่ง “CALL TOOL X WITH ARGS …” เต็มรูปแบบ หยุดชั่วคราว รับการตอบสนองของเครื่องมือทั้งหมด จากนั้นดำเนินการสร้างต่อ วิธีนี้มีข้อจำกัดหลายประการ:
- ค่าความหน่วงเวลา:การรอการตอบสนองทั้งหมดจากการคำนวณหนักหรือการสอบถามฐานข้อมูลจะเพิ่มความล่าช้าในการบล็อก
- ขาดการตอบรับที่เพิ่มขึ้น:แบบจำลองไม่สามารถเริ่มตีความหรือวางแผนใหม่ได้จนกว่าจะได้รับคำตอบครบถ้วน
- การจัดรูปแบบที่เข้มงวด:การเรียกเครื่องมือและผลลัพธ์ภาษาจะอยู่ในเฟสแยกจากกัน ซึ่งจำกัดความยืดหยุ่นของไวยากรณ์
FGTS แก้ไขปัญหาเหล่านี้โดยการสตรีมทั้งโทเค็นของโมเดลและเอาต์พุตของเครื่องมือเข้าด้วยกัน โทเค็นต่อโทเค็นหรือชิ้นส่วนต่อชิ้นส่วน ดังนั้นการสร้างและการดำเนินการเครื่องมือจึงเกิดขึ้นอย่างสอดคล้องกัน
Claude 4 นำ FGTS ไปใช้จริงอย่างไร?
1. ทริกเกอร์ระดับโทเค็น
ในกระบวนการถอดรหัส Claude 4 จะจดจำเครื่องหมายพิเศษ (ซึ่งผู้ใช้มักมองไม่เห็น) ที่ระบุถึง "การเรียกใช้เครื่องมือเริ่มต้น" พร้อมด้วยชื่อฟังก์ชันและอาร์กิวเมนต์ เมื่อโมเดลส่งทริกเกอร์นี้ รันไทม์ของ FGTS จะส่งคำขอทันทีโดยไม่ต้องรอให้สร้างคำสั่ง "CALL_TOOL" เต็มรูปแบบ
2. อินเทอร์เฟซเครื่องมือสตรีมมิ่ง
ชุดเครื่องมือของ Claude 4 ซึ่งรวมถึงโปรแกรมรันโค้ด เครื่องคำนวณ และอินเทอร์เฟซการค้นหาเว็บของ Anthropic รวมอยู่ใน API สตรีมมิ่ง
- โค้ดรันเนอร์:ส่งคืน stdout/stderr ที่ปล่อยออกมาบรรทัดต่อบรรทัดในขณะที่สคริปต์ของคุณดำเนินการ
- การลงทุนระบบโซล่าร์:สตรีมตัวเลขหรือขั้นตอนกลางของการคำนวณแบบยาว
- เบราว์เซอร์/การค้นหา:สตรีมข้อความหรือลิงก์บางส่วนในขณะที่ดึงและแยกวิเคราะห์หน้าต่างๆ
แต่ละส่วนจะถูกส่งกลับมาที่บัฟเฟอร์บริบทของ Claude 4 เป็นระยะๆ
3. การอัปเดตบริบทเพิ่มเติม
เมื่อแต่ละส่วนของผลลัพธ์ของเครื่องมือไหลเข้ามา Claude 4 จะผนวกผลลัพธ์นั้นเข้ากับหน้าต่างบริบทที่ใช้งานอยู่ ตัวเลือกโทเค็นถัดไปของโมเดลจะรวมข้อมูลใหม่นั้นทันที ดังนั้นการใช้เหตุผลของโมเดลจึงสามารถปรับเปลี่ยนประโยคกลางๆ แก้ไขข้อผิดพลาด หรือวิเคราะห์ให้ลึกขึ้นโดยอิงจากสิ่งที่เพิ่งเรียนรู้ไป
นักพัฒนาจะเปิดใช้งานการสตรีมเครื่องมือแบบละเอียดได้อย่างไร
การเปิดใช้งานการสตรีมแบบละเอียดในระบบรวม Claude 4 ของคุณต้องการการเปลี่ยนแปลงเล็กน้อยในส่วนหัวคำขอ API และการกำหนดค่าของคุณเท่านั้น
การกำหนดค่าส่วนหัว API
หากต้องการเลือกใช้ฟีเจอร์เบต้า โปรดใส่ส่วนหัวดังนี้:
makefileanthropic-beta: fine-grained-tool-streaming-2025-05-14
คู่ขนาน "stream": true ในของคุณ /v1/messages ขอ .
ตัวอย่างการใช้งาน
bashcurl https://api.anthropic.com/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "anthropic-beta: fine-grained-tool-streaming-2025-05-14" \
-d '{
"model": "claude-sonnet-4-20250514",
"tools": [{
"name": "make_file",
"description": "Write text to a file",
"input_schema": {
"type": "object",
"properties": {
"filename": {"type": "string"},
"lines_of_text": {"type": "array"}
},
"required":
}
}],
"messages": ,
"stream": true
}' | jq .
เมื่อคำขอดำเนินการ คุณจะได้รับการผสมผสานของ เนื้อหา_บล็อก_เดลต้า และ อินพุต_json_เดลต้า เหตุการณ์ที่เกิดขึ้นในภายหลังประกอบด้วยชิ้นส่วนพารามิเตอร์แบบสตรีม ซึ่งสามารถบันทึก ตรวจสอบแบบเพิ่มทีละส่วน หรือป้อนเข้าสู่กระบวนการปลายทางโดยตรงได้
ควรพิจารณาข้อแลกเปลี่ยนและแนวทางปฏิบัติที่ดีที่สุดอะไรบ้าง
แม้ว่าการสตรีมเครื่องมือแบบละเอียดจะมีประโยชน์มากมาย แต่ยังต้องพิจารณาถึงความสมบูรณ์ของข้อมูลและความซับซ้อนของไคลเอนต์ด้วย
การจัดการ JSON ที่ไม่สมบูรณ์
เนื่องจากสตรีมอาจสิ้นสุดลงก่อนที่จะสร้างอ็อบเจ็กต์ JSON เต็มรูปแบบ โดยเฉพาะอย่างยิ่งเมื่อถึงขีดจำกัดโทเค็น นักพัฒนาจึงควรบัฟเฟอร์แฟรกเมนต์ที่เข้ามาและพยายามแยกวิเคราะห์แบบเพิ่มหน่วย การใช้ตัวแยกวิเคราะห์ JSON แบบสตรีมมิ่งหรือการใช้บัฟเฟอร์สำหรับประกอบใหม่ที่รอวงเล็บปิดจะช่วยให้มั่นใจได้ถึงความทนทาน docs.anthropic.com.
การตรวจสอบและการกู้คืนข้อผิดพลาด
เนื่องจากการตรวจสอบความถูกต้องของโครงร่าง JSON มักเกิดขึ้นที่ฝั่งไคลเอ็นต์หรือภายในเครื่องมือ จึงมีความสำคัญอย่างยิ่งที่จะต้องตรวจสอบความสมบูรณ์ของพารามิเตอร์ก่อนดำเนินการ สามารถใช้กลยุทธ์การลองใหม่อีกครั้งหรือตรรกะสำรอง (เช่น การร้องขอให้เปิดการเรียกใช้เครื่องมือใหม่อีกครั้ง) ได้ หากการตรวจสอบความถูกต้องล้มเหลวในสตรีมที่ไม่สมบูรณ์
ข้อควรพิจารณาเกี่ยวกับความเสถียรของเบต้า
เนื่องจากเป็นฟีเจอร์เบต้า พฤติกรรมการสตรีมแบบละเอียดจึงอาจมีการพัฒนา Anthropic ขอคำติชมจากนักพัฒนาผ่านแบบฟอร์มอย่างเป็นทางการเพื่อรายงานปัญหา แนะนำการปรับปรุง หรือแบ่งปันการวัดประสิทธิภาพ การติดตามประกาศเลิกใช้และหมายเหตุการเผยแพร่ถือเป็นสิ่งสำคัญเพื่อรักษาความเข้ากันได้
เริ่มต้นใช้งาน
CometAPI มอบอินเทอร์เฟซ REST แบบรวมที่รวบรวมโมเดล AI หลายร้อยโมเดล รวมถึงตระกูล Claude ภายใต้จุดสิ้นสุดที่สอดคล้องกัน โดยมีการจัดการคีย์ API ในตัว โควตาการใช้งาน และแดชบอร์ดการเรียกเก็บเงิน แทนที่จะต้องจัดการ URL และข้อมูลรับรองของผู้ขายหลายราย
นักพัฒนาสามารถเข้าถึงได้ คล็อด ซอนเน็ต 4 API (รุ่น: claude-sonnet-4-20250514 ; claude-sonnet-4-20250514-thinking) and คล็อด โอปุส 4 เอพีไอ (รุ่น: claude-opus-4-20250514; claude-opus-4-20250514-thinking)ฯลฯ ผ่านทาง โคเมทเอพีไอ. . เริ่มต้นด้วยการสำรวจความสามารถของโมเดลใน สนามเด็กเล่น และปรึกษา คู่มือ API สำหรับคำแนะนำโดยละเอียด ก่อนเข้าถึง โปรดตรวจสอบให้แน่ใจว่าคุณได้เข้าสู่ระบบ CometAPI และได้รับรหัส API แล้ว CometAPI ยังได้เพิ่ม cometapi-sonnet-4-20250514และcometapi-sonnet-4-20250514-thinking เพื่อการใช้งานในเคอร์เซอร์โดยเฉพาะ
ใหม่สำหรับ CometAPI หรือไม่? รวดเร็วทันใจ และปลดปล่อย Claude 4 ในการจัดการภารกิจที่ยากที่สุดของคุณ
เมื่อสมัครให้เปลี่ยน url เท่านั้น https://api.anthropic.com/v1/messages สีสดสวย https://api.cometapi.com/v1/chat/completions และคีย์ API พร้อมคีย์ของ CometAPI ที่คุณได้รับเพื่อเปิดใช้งาน xx ในเวิร์กโฟลว์
เราแทบรอไม่ไหวที่จะเห็นสิ่งที่คุณสร้าง หากรู้สึกว่ามีบางอย่างผิดปกติ โปรดกดปุ่มแสดงความคิดเห็น การแจ้งให้เราทราบว่าสิ่งใดเสียหายเป็นวิธีที่เร็วที่สุดที่จะทำให้สิ่งนั้นดีขึ้น
สรุป
การสตรีมเครื่องมือแบบละเอียดใน Claude 4 แสดงถึงการเปลี่ยนแปลงกระบวนทัศน์ในการรวมเครื่องมือ LLM โดยการแลกเปลี่ยนตาข่ายความปลอดภัยของการตรวจสอบ JSON แบบเต็มเพย์โหลดสำหรับ ความหน่วงต่ำเป็นพิเศษ, การสตรีมแบบเพิ่มขึ้นและ การโต้ตอบที่เพิ่มขึ้นด้วยการใช้เพียงเบตาเฮดเดอร์ตัวเดียวในการเปิดใช้งาน ฟีเจอร์นี้จึงปลดล็อกความเป็นไปได้ใหม่ๆ ที่ทรงพลังในด้านการเข้ารหัส การประมวลผลข้อมูล และเวิร์กโฟลว์ของเอเจนต์ เมื่อนักพัฒนาสำรวจศักยภาพของฟีเจอร์นี้ และคำนึงถึงกรณีขอบๆ เช่น แฟรกเมนต์ JSON บางส่วน การสตรีมแบบละเอียดจะกลายมาเป็นรากฐานสำคัญของแอปพลิเคชันที่ขับเคลื่อนด้วย AI แบบเรียลไทม์รุ่นถัดไป