Keupayaan terkini Claude 4 menandakan evolusi yang ketara dalam cara model bahasa yang besar berinteraksi dengan alatan luaran dan API. Antaranya, penstriman alat berbutir halus menonjol sebagai ciri canggih yang membolehkan pembangun menerima parameter input alat dalam masa hampir nyata, tanpa menunggu pengesahan JSON penuh. Ciri ini, yang diperkenalkan sebagai beta pada Mei 2025, menangani cabaran kependaman yang berkaitan dengan panggilan alat parameter besar dan memperkasakan aplikasi interaktif yang lebih responsif.
Apakah Penstriman Alat Berbutir Halus dalam Claude 4?
Penstriman Alat Berbutir Halus (FGTS) dalam Klaude 4 ialah mekanisme yang model menyelang penjanaan bahasa semula jadinya dengan panggilan ke "alat" luaran atau terbina dalam (cth, pelaksanaan kod, carian, kalkulator) pada butiran token individu atau ketulan kecil teks. Daripada mengumpulkan permintaan alat penuh dan kemudian menyekat respons lengkap, Claude 4 boleh:
- Pancarkan token pencetus alat pada pertengahan ayat,
- Mulakan menerima dan menelan keluaran alat separa apabila ia tiba,
- Teruskan menjana token seterusnya, dikondisikan secara dinamik pada setiap data yang masuk.
Hasilnya ialah gabungan penaakulan dan tindakan yang lancar: model tidak berhenti seketika antara "Saya mahu memanggil API cuaca" dan "Inilah jawapannya." Sebaliknya, prosanya mengalir tanpa gangguan, diperkaya dalam masa nyata oleh hasil strim alat.
Dalam amalan, ini secara mendadak mengurangkan kependaman untuk panggilan alat parameter besar. Contohnya, apabila meminta Claude menulis puisi panjang ke dalam fail melalui a make_file alat, penstriman standard mungkin mengambil masa ~15 saat sebelum anda melihat mana-mana teks puisi. Dengan penstriman berbutir halus didayakan, anda mula menerima ketulan berbilang baris dalam masa sekurang-kurangnya ~3 s—setiap ketulan mengandungi serpihan koheren puisi dan bukannya segmen JSON yang sewenang-wenangnya. Pendekatan yang sama digunakan untuk mana-mana alat dengan input yang besar (cth, perubahan data pukal, pengiraan berbilang langkah atau panggilan API berbilang bahagian), membolehkan anda mula memproses atau memaparkan hasil serta-merta tanpa menunggu muatan penuh menjadi kenyataan.
Bagaimanakah FGTS Berbeza daripada Penstriman Standard?
Tingkah Laku Mencungkil
Dengan penstriman standard, Claude membahagikan muatan JSON bersiri kepada serpihan kecil, selalunya memecahkan token tengah atau pertengahan perkataan, yang membawa kepada banyak potongan pendek sebelum sebarang kandungan besar muncul. Untuk sajak atau muatan data yang besar, ini boleh nyata sebagai berpuluh-puluh ketulan kecil dengan 10–20 aksara setiap satu. Penstriman berbutir halus, sebaliknya, mengeluarkan bongkahan yang lebih besar dan koheren dari segi semantik—seperti baris penuh teks—menghasilkan potongan yang lebih sedikit dan lebih panjang yang lebih bermakna kepada penerima ().
Penambahbaikan Latensi
Dalam penanda aras praktikal, panggilan alat menggunakan penstriman standard mungkin dikenakan a 15 saat kelewatan sebelum mengeluarkan sebahagian pertama data yang sah, disebabkan penimbalan dan pengesahan JSON. Penstriman berbutir halus mengurangkan kependaman awal ini kepada lebih kurang 3 saat, membolehkan pelanggan mula menggunakan kandungan yang distrim hampir lima kali lebih pantas. Pecutan ini terbukti kritikal untuk aplikasi interaktif—seperti pengeditan kod langsung, penjanaan dokumen progresif atau kemas kini papan pemuka—di mana maklum balas segera meningkatkan pengalaman pengguna secara asasnya.
Mengapa Penstriman Alat Berbutir Halus Diperkenalkan?
Sebelum FGTS, kebanyakan sistem LLM yang didayakan alat digunakan kasar panggilan alat: model akan menghasilkan arahan "CALL TOOL X WITH ARGS ..." penuh, jeda, terima respons alat lengkap, kemudian teruskan penjanaan. Pendekatan ini mempunyai beberapa batasan:
- Lonjakan latensi: Menunggu keseluruhan respons pengiraan berat atau pertanyaan pangkalan data menambah kelewatan menyekat.
- Kekurangan maklum balas tambahan: Model tidak boleh mula mentafsir atau merancang semula sehingga jawapan penuh tiba.
- Pemformatan tegar: Panggilan alat dan output bahasa hidup dalam fasa berasingan, mengehadkan fleksibiliti sintaksis.
FGTS menangani titik kesakitan ini dengan menstrimkan kedua-dua token model dan output alat bersama-sama—token mengikut token atau ketul demi ketul—jadi penjanaan dan pelaksanaan alat berlaku secara berkunci.
Bagaimanakah Claude 4 Sebenarnya Menggunakan FGTS?
1. Pencetus Tahap Token
Dalam proses penyahkodannya, Claude 4 mengenali penanda khas (selalunya tidak kelihatan kepada pengguna akhir) yang menandakan "mulakan panggilan alat," lengkap dengan nama fungsi dan hujah. Apabila model mengeluarkan pencetus ini, masa jalan FGTS segera menghantar permintaan tanpa menunggu arahan "CALL_TOOL" penuh untuk dijana.
2. Antara Muka Alat Penstriman
Kit alat Claude 4—termasuk pelari kod, kalkulator dan antara muka carian web Anthropic sendiri—dibalut dalam API penstriman.
- coderunner: Mengembalikan stdout/stderr yang dipancarkan baris demi baris semasa skrip anda dilaksanakan.
- Kalkulator: Menstrim digit atau langkah perantaraan pengiraan yang panjang.
- Pelayar/Carian: Strim coretan teks atau pautan semasa halaman diambil dan dihuraikan.
Setiap serpihan tiba kembali pada penimbal konteks Claude 4 secara berperingkat.
3. Kemas Kini Konteks Bertambah
Apabila setiap bahagian output alat mengalir masuk, Claude 4 menambahkannya pada tetingkap konteks aktifnya. Pilihan token model seterusnya serta-merta menggabungkan data baharu itu—supaya alasannya boleh memutarkan pertengahan ayat, membetulkan kesilapan atau memperdalam analisis berdasarkan perkara yang baru dipelajari.
Bagaimanakah pembangun mendayakan penstriman alat berbutir halus?
Mengaktifkan penstriman berbutir halus dalam penyepaduan Claude 4 anda hanya memerlukan perubahan kecil pada pengepala dan konfigurasi permintaan API anda.
Konfigurasi pengepala API
Untuk ikut serta dalam ciri beta, sertakan pengepala:
makefileanthropic-beta: fine-grained-tool-streaming-2025-05-14
bersama "stream": true dalam anda /v1/messages permintaan .
Contoh penggunaan
bashcurl https://api.anthropic.com/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "anthropic-beta: fine-grained-tool-streaming-2025-05-14" \
-d '{
"model": "claude-sonnet-4-20250514",
"tools": [{
"name": "make_file",
"description": "Write text to a file",
"input_schema": {
"type": "object",
"properties": {
"filename": {"type": "string"},
"lines_of_text": {"type": "array"}
},
"required":
}
}],
"messages": ,
"stream": true
}' | jq .
Semasa permintaan berjalan, anda akan menerima campuran content_block_delta and input_json_delta peristiwa. Yang terakhir mengandungi serpihan parameter yang distrim, yang boleh dilog, disahkan secara berperingkat atau terus dimasukkan ke dalam proses hiliran .
Apakah pertukaran dan amalan terbaik yang perlu dipertimbangkan?
Walaupun penstriman alat berbutir halus menawarkan faedah yang besar, ia juga memperkenalkan pertimbangan sekitar integriti data dan kerumitan pelanggan.
Mengendalikan JSON yang tidak lengkap
Oleh kerana strim mungkin berakhir sebelum objek JSON penuh terbentuk—terutamanya apabila had token dipukul—pembangun harus menimbal serpihan masuk dan mencuba penghuraian tambahan. Menggunakan penghurai JSON penstriman atau melaksanakan penimbal pemasangan semula yang menunggu pendakap penutup boleh membantu memastikan keteguhan docs.anthropic.com.
Pengesahan dan pemulihan ralat
Memandangkan pengesahan skema JSON biasanya berlaku pada bahagian klien atau dalam alat, adalah penting untuk mengesahkan kesempurnaan parameter sebelum pelaksanaan. Cuba semula strategi atau logik sandaran (cth, meminta panggilan alat dibuka semula) boleh digunakan jika pengesahan gagal pada strim yang tidak lengkap .
Pertimbangan kestabilan beta
Sebagai ciri beta, tingkah laku penstriman berbutir halus mungkin berubah. Anthropic menggalakkan maklum balas pembangun melalui borang rasmi mereka untuk melaporkan isu, mencadangkan penambahbaikan atau berkongsi ukuran prestasi. Memantau notis penamatan dan nota keluaran adalah penting untuk mengekalkan keserasian.
Bermula
CometAPI menyediakan antara muka REST bersatu yang mengagregatkan ratusan model AI—termasuk keluarga Claude—di bawah titik akhir yang konsisten, dengan pengurusan kunci API terbina dalam, kuota penggunaan dan papan pemuka pengebilan. Daripada menyesuaikan berbilang URL vendor dan bukti kelayakan.
Pembangun boleh mengakses API Claude Sonnet 4 (model: claude-sonnet-4-20250514 ; claude-sonnet-4-20250514-thinking) dan Claude Opus 4 API (model: claude-opus-4-20250514; claude-opus-4-20250514-thinking) dan lain-lain melalui CometAPI. . Untuk memulakan, terokai keupayaan model dalam Taman Permainan dan berunding dengan Panduan API untuk arahan terperinci. Sebelum mengakses, sila pastikan anda telah log masuk ke CometAPI dan memperoleh kunci API. CometAPI juga telah menambah cometapi-sonnet-4-20250514andcometapi-sonnet-4-20250514-thinking khusus untuk digunakan dalam Kursor.
Baru menggunakan CometAPI? Stact Pantas dan lepaskan Claude 4 pada tugas paling sukar anda.
Semasa memohon, anda hanya perlu menggantikan url https://api.anthropic.com/v1/messages bersama https://api.cometapi.com/v1/chat/completions dan kunci API dengan Kunci CometAPI yang anda perolehi untuk mendayakan xx dalam aliran kerja.
Kami tidak sabar untuk melihat apa yang anda bina. Jika sesuatu terasa tidak menyenangkan, tekan butang maklum balas—memberitahu kami perkara yang rosak adalah cara terpantas untuk menjadikannya lebih baik.
Kesimpulan
Penstriman Alat berbutir halus dalam Claude 4 mewakili anjakan paradigma dalam penyepaduan alat LLM—mendagangkan jaringan keselamatan pengesahan JSON muatan penuh untuk kependaman ultra-rendah, penstriman tambahan, dan interaktiviti yang dipertingkatkan. Dengan hanya memerlukan satu pengepala beta untuk diaktifkan, ciri ini membuka kunci kemungkinan baharu yang hebat merentas pengekodan, pemprosesan data dan aliran kerja agen. Semasa pembangun meneroka potensinya—dan mengambil kira kes tepi seperti serpihan JSON separa—penstriman berbutir halus bersedia untuk menjadi asas kepada aplikasi dipacu AI masa nyata generasi seterusnya.