Claude 4의 최신 기능은 대규모 언어 모델이 외부 도구 및 API와 상호 작용하는 방식에 있어 중요한 발전을 보여줍니다. 그중에서도 세분화된 도구 스트리밍 개발자가 JSON 검증을 완료할 때까지 기다릴 필요 없이 거의 실시간으로 도구 입력 매개변수를 수신할 수 있도록 하는 최첨단 기능입니다. 2025년 XNUMX월 베타 버전으로 출시된 이 기능은 대용량 매개변수 도구 호출과 관련된 지연 시간 문제를 해결하고 더욱 응답성이 뛰어난 인터랙티브 애플리케이션을 지원합니다.
Claude 4의 Fine‑Grained Tool Streaming이란 무엇입니까?
Claude 4의 FGTS(Fine‑Grained Tool Streaming)는 모델이 자연어 생성과 외부 또는 내장 "도구"(예: 코드 실행, 검색, 계산기) 호출을 개별 토큰 또는 작은 텍스트 단위로 인터리빙하는 메커니즘입니다. Claude 4는 전체 도구 요청을 일괄 처리한 후 전체 응답을 차단하는 대신, 다음과 같은 작업을 수행할 수 있습니다.
- 문장 중간에 도구 트리거 토큰을 내보냅니다.,
- 부분적인 도구 출력 수신 및 수집 시작 도착하자마자,
- 다음 토큰을 계속 생성합니다., 들어오는 각 데이터에 따라 동적으로 조건이 지정됩니다.
그 결과, 추론과 실행이 매끄럽게 융합되었습니다. 모델은 "날씨 API를 호출하고 싶습니다"와 "정답은 다음과 같습니다" 사이에서 어색하게 멈추지 않습니다. 대신, 모델의 문장은 끊김 없이 흐르고, 도구의 스트리밍 결과를 통해 실시간으로 풍부해집니다.
실제로 이 기능은 큰 매개변수 도구 호출 시 지연 시간을 획기적으로 줄여줍니다. 예를 들어, Claude에게 긴 시를 파일에 작성해 달라고 요청할 때 make_file 도구에서 표준 스트리밍을 사용하면 시의 텍스트를 보기까지 약 15초가 걸릴 수 있습니다. 미세 조정 스트리밍을 활성화하면 최대 3초 안에 여러 줄의 청크를 수신할 수 있으며, 각 청크에는 임의의 JSON 세그먼트가 아닌 시의 일관된 조각들이 포함됩니다. 동일한 접근 방식이 대량 입력(예: 대량 데이터 변환, 다단계 계산 또는 여러 부분으로 구성된 API 호출)을 사용하는 모든 도구에 적용되므로 전체 페이로드가 구현될 때까지 기다리지 않고 즉시 결과 처리 또는 표시를 시작할 수 있습니다.
FGTS는 표준 스트리밍과 어떻게 다른가요?
청킹 행동
표준 스트리밍을 사용하는 경우, Claude는 직렬화된 JSON 페이로드를 작은 조각으로 분할하는데, 종종 토큰이나 단어의 중간 부분을 분리하여 실질적인 콘텐츠가 나타나기 전에 여러 개의 짧은 청크로 분할합니다. 대용량 시나 데이터 페이로드의 경우, 각각 10~20자로 구성된 수십 개의 작은 청크로 분할될 수 있습니다. 이와 대조적으로, 세밀한 스트리밍은 전체 텍스트 줄과 같이 더 크고 의미적으로 일관된 청크를 생성하여 수신자에게 더 의미 있는 더 적은 수의 긴 청크로 변환합니다().
지연 시간 개선
실제 벤치마크에서 표준 스트리밍을 사용하는 도구 호출은 다음과 같은 결과를 초래할 수 있습니다. 15초 버퍼링 및 JSON 유효성 검사로 인해 첫 번째 유효한 데이터 청크를 내보내기 전에 지연이 발생합니다. 세분화된 스트리밍은 이 초기 지연 시간을 약 3초이를 통해 클라이언트는 스트리밍 콘텐츠를 거의 5배 더 빠르게 이용할 수 있습니다. 이러한 가속화는 실시간 코드 편집, 점진적 문서 생성, 대시보드 업데이트와 같이 즉각적인 피드백을 통해 사용자 경험을 근본적으로 향상시키는 대화형 애플리케이션에 매우 중요합니다.
세분화된 도구 스트리밍이 도입된 이유는 무엇입니까?
FGTS 이전에는 대부분의 도구 기반 LLM 시스템이 사용되었습니다. 조잡한 도구 호출: 모델은 전체 "CALL TOOL X WITH ARGS ..." 명령을 생성하고, 일시 정지한 후 전체 도구 응답을 수신한 후 생성을 계속합니다. 이 접근 방식에는 몇 가지 제한 사항이 있습니다.
- 지연 시간 급증: 무거운 계산이나 데이터베이스 쿼리의 전체 응답을 기다리면 차단 지연이 발생합니다.
- 증분적 피드백 부족: 모델은 전체 답변이 도착하기 전까지는 해석이나 재계획을 시작할 수 없습니다.
- 엄격한 서식: 도구 호출과 언어 출력은 별도의 단계로 진행되므로 구문적 유연성이 제한됩니다.
FGTS는 모델의 토큰과 도구의 출력을 토큰별 또는 청크별로 함께 스트리밍하여 이러한 문제점을 해결합니다. 즉, 생성과 도구 실행이 동시에 이루어집니다.
클로드 4는 실제로 FGTS를 어떻게 적용하는가?
1. 토큰 수준 트리거
Claude 4는 디코딩 과정에서 함수 이름과 인수를 포함한 "도구 호출 시작"을 나타내는 특수 마커(종종 최종 사용자에게는 보이지 않음)를 인식합니다. 모델이 이 트리거를 발생시키면 FGTS 런타임은 전체 "CALL_TOOL" 명령이 생성될 때까지 기다리지 않고 즉시 요청을 전달합니다.
2. 스트리밍 도구 인터페이스
Anthropic의 자체 코드 러너, 계산기, 웹 검색 인터페이스를 포함한 Claude 4의 툴킷은 스트리밍 API로 래핑되어 있습니다.
- 코드 러너: 스크립트가 실행됨에 따라 stdout/stderr을 줄별로 반환합니다.
- 계산기: 긴 계산의 숫자나 중간 단계를 스트리밍합니다.
- 브라우저/검색: 페이지를 가져와서 구문 분석할 때 텍스트나 링크 조각을 스트리밍합니다.
각 조각은 점진적으로 Claude 4 컨텍스트 버퍼에 도착합니다.
3. 증분적 컨텍스트 업데이트
각 도구 출력 청크가 유입될 때마다 Claude 4는 이를 활성 컨텍스트 창에 추가합니다. 모델의 다음 토큰 선택은 해당 최신 데이터를 즉시 반영합니다. 따라서 모델의 추론은 문장 중간에 방향을 전환하거나, 오류를 수정하거나, 방금 학습한 내용을 기반으로 분석을 심화할 수 있습니다.
개발자는 어떻게 세분화된 도구 스트리밍을 활성화할 수 있나요?
Claude 4 통합에서 세분화된 스트리밍을 활성화하려면 API 요청 헤더와 구성을 약간만 변경하면 됩니다.
API 헤더 구성
베타 기능을 사용하려면 다음 헤더를 포함하세요.
makefileanthropic-beta: fine-grained-tool-streaming-2025-05-14
함께 "stream": true 귀하의 /v1/messages 의뢰.
사용 예
bashcurl https://api.anthropic.com/v1/messages \
-H "content-type: application/json" \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "anthropic-beta: fine-grained-tool-streaming-2025-05-14" \
-d '{
"model": "claude-sonnet-4-20250514",
"tools": [{
"name": "make_file",
"description": "Write text to a file",
"input_schema": {
"type": "object",
"properties": {
"filename": {"type": "string"},
"lines_of_text": {"type": "array"}
},
"required":
}
}],
"messages": ,
"stream": true
}' | jq .
요청이 실행되면 다음이 혼합되어 표시됩니다. 콘텐츠 블록 델타 및 입력_json_델타 이벤트. 후자에는 스트리밍된 매개변수 조각이 포함되어 있으며, 이는 로깅, 증분적 검증 또는 다운스트림 프로세스에 직접 제공될 수 있습니다.
어떤 균형점과 모범 사례를 고려해야 할까요?
세분화된 도구 스트리밍은 상당한 이점을 제공하지만 데이터 무결성과 클라이언트 복잡성에 대한 고려 사항도 제기됩니다.
불완전한 JSON 처리
전체 JSON 객체가 생성되기 전에 스트림이 종료될 수 있으므로(특히 토큰 제한에 도달한 경우) 개발자는 수신되는 조각을 버퍼링하고 증분 파싱을 시도해야 합니다. 스트리밍 JSON 파서를 사용하거나 닫는 중괄호를 기다리는 리어셈블리 버퍼를 구현하면 안정성을 확보하는 데 도움이 될 수 있습니다. docs.anthropic.com.
검증 및 오류 복구
JSON 스키마 검증은 일반적으로 클라이언트 측 또는 도구 내에서 수행되므로 실행 전에 매개변수의 완전성을 확인하는 것이 중요합니다. 불완전한 스트림으로 인해 검증이 실패할 경우 재시도 전략이나 대체 로직(예: 도구 호출 재개 요청)을 활용할 수 있습니다.
베타 안정성 고려 사항
베타 기능이므로, 세밀한 스트리밍 동작이 개선될 수 있습니다. Anthropic은 공식 양식을 통해 개발자의 피드백을 받아 문제를 보고하고, 개선 사항을 제안하고, 성능 측정 결과를 공유하도록 권장합니다. 호환성을 유지하려면 지원 중단 알림과 릴리스 노트를 모니터링하는 것이 필수적입니다.
시작 가이드
CometAPI는 Claude 계열을 포함한 수백 개의 AI 모델을 일관된 엔드포인트로 통합하는 통합 REST 인터페이스를 제공하며, 기본 제공 API 키 관리, 사용량 할당량 및 청구 대시보드를 통해 여러 공급업체 URL과 자격 증명을 일일이 관리할 필요가 없습니다.
개발자는 액세스할 수 있습니다 클로드 소네 4 API (모델: claude-sonnet-4-20250514 ; claude-sonnet-4-20250514-thinking) and 클로드 오푸스 4 API (모델: claude-opus-4-20250514; claude-opus-4-20250514-thinking)등을 통해 코멧API시작하려면 모델의 기능을 탐색하세요. 운동장 그리고 상담하십시오 API 가이드 자세한 지침은 여기를 참조하세요. 접속하기 전에 CometAPI에 로그인하고 API 키를 받았는지 확인하세요. CometAPI에는 다음도 추가되었습니다. cometapi-sonnet-4-20250514및 cometapi-sonnet-4-20250514-thinking 특히 커서에서 사용하기 위해.
CometAPI를 처음 사용하시나요? 퀵 스태틱 가장 어려운 작업에는 클로드 4를 활용하세요.
신청시 url만 바꿔주시면 됩니다 https://api.anthropic.com/v1/messages 과 https://api.cometapi.com/v1/chat/completions 그리고 CometAPI의 키와 API 키를 함께 사용하면 워크플로에서 xx를 활성화할 수 있습니다.
여러분이 어떤 작품을 만들어낼지 정말 기대됩니다. 혹시라도 뭔가 이상하다고 느껴지시면 피드백 버튼을 눌러주세요. 무엇이 잘못되었는지 알려주시면 더 빠르게 개선할 수 있습니다.
결론
Claude 4의 세분화된 도구 스트리밍은 LLM 도구 통합의 패러다임 전환을 나타냅니다. 즉, 전체 페이로드 JSON 검증의 안전망을 대체합니다. 초저지연, 증분 스트리밍및 향상된 상호 작용성이 기능은 단 하나의 베타 헤더만 활성화하면 되므로 코딩, 데이터 처리 및 에이전트 워크플로 전반에 걸쳐 강력하고 새로운 가능성을 열어줍니다. 개발자들이 이 기능의 잠재력을 탐구하고 부분적인 JSON 조각과 같은 예외적인 상황을 고려함에 따라, 세분화된 스트리밍은 차세대 실시간 AI 기반 애플리케이션의 초석이 될 것으로 예상됩니다.