De nyeste funksjonene i Claude 4 markerer en betydelig utvikling i hvordan store språkmodeller samhandler med eksterne verktøy og API-er. Blant disse, finkornet verktøystrømming skiller seg ut som en banebrytende funksjon som lar utviklere motta verktøyinndataparametere i nesten sanntid, uten å vente på full JSON-validering. Denne funksjonen, introdusert som en betaversjon i mai 2025, adresserer latensutfordringer knyttet til verktøykall med store parametere og gir mer responsive, interaktive applikasjoner.
Hva er finkornet verktøystrømming i Claude 4?
Finkornet verktøystrømming (FGTS) i Claude 4 er mekanismen der modellen fletter sammen genereringen av naturlig språk med kall til eksterne eller innebygde «verktøy» (f.eks. kodeutførelse, søk, kalkulator) med granulariteten til individuelle tokens eller små tekstbiter. I stedet for å sette sammen en fullstendig verktøyforespørsel og deretter blokkere på et komplett svar, kan Claude 4:
- Send ut et verktøyutløsertoken midt i en setning,
- Begynn å motta og innta delvis verktøyutdata etter hvert som den ankommer,
- Fortsett å generere de neste tokenene, dynamisk betinget av hvert innkommende dataelement.
Resultatet er en sømløs blanding av resonnement og handling: modellen pauser ikke klønete mellom «Jeg vil ringe vær-API-et» og «Her er svaret». I stedet flyter prosaen uavbrutt, beriket i sanntid av verktøyets strømmede resultater.
I praksis reduserer dette latensen dramatisk for verktøykall med store parametere. For eksempel, når man ber Claude om å skrive et langt dikt inn i en fil via en make_file verktøyet, kan standard strømming ta ~15 sekunder før du ser noe av diktets tekst. Med finkornet strømming aktivert, begynner du å motta flerlinjede deler på så lite som ~3 sekunder – hver del inneholder sammenhengende fragmenter av diktet i stedet for vilkårlige JSON-segmenter. Den samme tilnærmingen gjelder for alle verktøy med store inndata (f.eks. massedatatransformasjoner, flertrinnsberegninger eller flerdelte API-kall), slik at du kan begynne å behandle eller vise resultater umiddelbart uten å vente på at hele nyttelasten skal materialisere seg.
Hvordan er FGTS forskjellig fra standard strømming?
Chunking-atferd
Med standard strømming deler Claude den serialiserte JSON-nyttelasten opp i små fragmenter, og bryter ofte opp midt i tokenet eller midt i ordet, noe som fører til mange korte biter før noe vesentlig innhold vises. For et stort dikt eller en datanyttelast kan dette manifestere seg som dusinvis av ørsmå biter på 10–20 tegn hver. Finkornet strømming, derimot, avgir større, semantisk sammenhengende biter – for eksempel fulle tekstlinjer – noe som resulterer i færre, lengre biter som er mer meningsfulle for mottakeren ().
Latensforbedringer
I praktiske benchmarks kan verktøykall som bruker standard strømming medføre en 15 sekunder forsinkelse før den første gyldige datadelen sendes ut, på grunn av bufring og JSON-validering. Finkornet strømming reduserer denne innledende latensen til omtrent 3 sekunder, slik at klienter kan begynne å konsumere strømmet innhold nesten fem ganger raskere. Denne akselerasjonen viser seg å være kritisk for interaktive applikasjoner – som redigering av live-kode, progressiv dokumentgenerering eller dashbordoppdateringer – der rask tilbakemelding fundamentalt forbedrer brukeropplevelsen.
Hvorfor ble finkornet verktøystrømming introdusert?
Før FGTS brukte de fleste verktøyaktiverte LLM-systemer grov verktøykall: modellen ville generere en fullstendig «CALL TOOL X WITH ARGS …»-instruksjon, sette den på pause, motta hele verktøysvaret og deretter fortsette genereringen. Denne tilnærmingen har flere begrensninger:
- LatenstopperÅ vente på hele svaret på en tung beregning eller databasespørring legger til en blokkeringsforsinkelse.
- Mangel på trinnvis tilbakemeldingModellen kan ikke begynne å tolke eller planlegge på nytt før det fullstendige svaret kommer.
- Stiv formateringVerktøykall og språkutdata lever i separate faser, noe som begrenser syntaktisk fleksibilitet.
FGTS adresserer disse smertepunktene ved å strømme både modellens tokener og verktøyets utganger sammen – token for token eller chunk for chunk – slik at generering og verktøyutførelse skjer i takt.
Hvordan anvender Claude 4 egentlig FGTS?
1. Utløsere på tokennivå
Innenfor dekodingsprosessen gjenkjenner Claude 4 spesielle markører (ofte usynlige for sluttbrukere) som angir «start verktøykall», komplett med funksjonsnavn og argumenter. Når modellen sender ut denne utløseren, sender FGTS-kjøretiden umiddelbart forespørselen uten å vente på at en fullstendig «CALL_TOOL»-kommando skal genereres.
2. Grensesnitt for strømmeverktøy
Claude 4s verktøysett – inkludert Anthropics egen kodeløper, kalkulator og nettsøkgrensesnitt – er pakket inn i strømme-API-er.
- KodeløperReturnerer utsendt stdout/stderr linje for linje når skriptet kjøres.
- KalkulatorStrømmer sifre eller mellomtrinn i en lang beregning.
- Nettleser/SøkStrømmer tekstbiter eller lenker etter hvert som sider hentes og analyseres.
Hvert fragment kommer tilbake til Claude 4-kontekstbufferen trinnvis.
3. Trinnvise kontekstoppdateringer
Etter hvert som hver del av verktøyutdataen strømmer inn, legger Claude 4 den til i det aktive kontekstvinduet. Modellens neste tokenvalg innlemmer umiddelbart disse ferske dataene – slik at resonnementet kan endres midt i en setning, korrigere feil eller utdype analysen basert på det den nettopp har lært.
Hvordan muliggjør utviklere finjustert verktøystrømming?
Aktivering av finjustert strømming i Claude 4-integrasjonen krever bare en mindre endring i API-forespørselshodene og -konfigurasjonen.
API-headerkonfigurasjon
For å velge betafunksjonen, ta med overskriften:
makefileanthropic-beta: fine-grained-tool-streaming-2025-05-14
sammen "stream": true i /v1/messages forespørsel.
Eksempel på bruk
bashcurl https://api.anthropic.com/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "anthropic-beta: fine-grained-tool-streaming-2025-05-14" \
-d '{
"model": "claude-sonnet-4-20250514",
"tools": [{
"name": "make_file",
"description": "Write text to a file",
"input_schema": {
"type": "object",
"properties": {
"filename": {"type": "string"},
"lines_of_text": {"type": "array"}
},
"required":
}
}],
"messages": ,
"stream": true
}' | jq .
Etter hvert som forespørselen kjører, vil du motta en blanding av innholdsblokkdelta og input_json_delta hendelser. Sistnevnte inneholder de strømmede parameterfragmentene, som kan logges, valideres trinnvis eller mates direkte inn i nedstrømsprosesser.
Hvilke avveininger og beste praksis bør vurderes?
Selv om finjustert verktøystrømming gir betydelige fordeler, introduserer det også hensyn rundt dataintegritet og klientkompleksitet.
Håndtering av ufullstendig JSON
Fordi strømmen kan avsluttes før et fullstendig JSON-objekt dannes – spesielt når tokengrensene nås – bør utviklere bufre innkommende fragmenter og forsøke trinnvis parsing. Å bruke en strømme-JSON-parser eller implementere en reassembling-buffer som venter på lukkende parenteser kan bidra til å sikre robusthet. docs.anthropic.com.
Validering og feilretting
Siden JSON-skjemavalidering vanligvis skjer på klientsiden eller i verktøyet, er det avgjørende å bekrefte parameterfullstendighet før utførelse. Strategier for nye forsøk eller reservelogikk (f.eks. å be om et gjenåpnet verktøykall) kan brukes hvis valideringen mislykkes på ufullstendige strømmer.
Hensyn til betastabilitet
Som en betafunksjon kan finjustert strømmeatferd utvikle seg. Anthropic oppfordrer utviklere til tilbakemeldinger via sitt offisielle skjema for å rapportere problemer, foreslå forbedringer eller dele ytelsesmålinger. Det er viktig å overvåke avskrivningsvarsler og utgivelsesnotater for å opprettholde kompatibilitet.
Komme i gang
CometAPI tilbyr et enhetlig REST-grensesnitt som samler hundrevis av AI-modeller – inkludert Claude-familien – under et konsistent endepunkt, med innebygd API-nøkkeladministrasjon, brukskvoter og faktureringsdashboards. I stedet for å sjonglere flere leverandør-URL-er og legitimasjonsinformasjon.
Utviklere har tilgang Claude Sonnet 4 API (modell: claude-sonnet-4-20250514 ; claude-sonnet-4-20250514-thinking) Og Claude Opus 4 API (modell: claude-opus-4-20250514; claude-opus-4-20250514-thinking)osv. gjennom CometAPI... For å begynne, utforsk modellens muligheter i lekeplass og konsulter API-veiledning for detaljerte instruksjoner. Før du åpner, må du sørge for at du har logget inn på CometAPI og fått API-nøkkelen. CometAPI har også lagt til cometapi-sonnet-4-20250514ogcometapi-sonnet-4-20250514-thinking spesielt for bruk i markør.
Ny bruker av CometAPI? Hurtigstart og slipp Claude 4 løs på de vanskeligste oppgavene dine.
Når du søker, trenger du bare å erstatte url-en https://api.anthropic.com/v1/messages med https://api.cometapi.com/v1/chat/completions og API-nøkkel med CometAPIs nøkkel du får for å aktivere xx i arbeidsflyten.
Vi gleder oss til å se hva du lager. Hvis noe føles rart, trykk på tilbakemeldingsknappen – å fortelle oss hva som gikk i stykker er den raskeste måten å gjøre det bedre på.
Konklusjon
Finmasket verktøystrømming i Claude 4 representerer et paradigmeskifte innen LLM-verktøyintegrasjon – sikkerhetsnettet med full nyttelast JSON-validering byttes ut med ultralav latens, trinnvis strømmingog forbedret interaktivitetVed å bare kreve én beta-header for å aktiveres, låser denne funksjonen opp kraftige nye muligheter på tvers av koding, databehandling og agentiske arbeidsflyter. Etter hvert som utviklere utforsker potensialet – og tar hensyn til kanttilfeller som delvise JSON-fragmenter – er finkornet strømming klar til å bli en hjørnestein i neste generasjons sanntids AI-drevne applikasjoner.