요약
Muse Wonder, Claude Opus 5.5, 그리고 GPT-6 Sol은 코딩 및 에이전트 워크플로에 최적화된 고성능 모델입니다. Meta의 새로운 Muse Wonder는 지속 메모리와 장시간 실행을 강조하며, Opus 5.5는 인용된 종합 인텔리전스 지수에서 선두를 차지합니다. GPT-6 Sol은 이 비교에서 표준 단문맥 입력·출력 단가가 가장 낮지만, 장문맥 요금은 별도입니다. 단일 리더보드 점수보다 대표 과제 품질, 신뢰성, 총비용으로 선택하세요.
핵심 요점
- 전체적 지능: Claude Opus 5.5는 보고된 Intelligence Index v4.3에서 58점, Muse Wonder는 52점.
- 장기 코딩: Muse Wonder는 DeepSWE 1.1에서 78.8, SWE-Marathon에서 53.1; Meta 표에서 Opus 5.5는 각각 74.2와 46.3.
- 저비용 추론: GPT-6 Sol은 OpenAI 표준 단문맥 API 기준 백만 토큰당 입력 $2 / 출력 $10부터.
- 메모리 중심 에이전트: Muse Wonder는 Active Memory와 Active Focus를 도입.
- 가용성 중요: Muse Wonder Full은 개발자 접근이 가능한 표준 Muse Wonder와 별개의, 더 제한적인 제품.
Muse Wonder vs Claude Opus 5.5 vs GPT-6 Sol 한눈에 보기
지속형 에이전트와 장시간 엔지니어링에는 Muse Wonder, 광범위 코딩과 터미널 중심 작업에는 Claude Opus 5.5, 표준 단문맥 토큰 비용 절감을 원한다면 GPT-6 Sol을 선택하세요.
| 의사결정 요인 | Muse Wonder | Claude Opus 5.5 | GPT-6 Sol |
|---|---|---|---|
| 우선 테스트 대상 | 지속형 에이전트와 확장된 엔지니어링 | 터미널 중심 코딩과 프로페셔널 워크플로 | 예산 민감형 코딩과 자동화 |
| 컨텍스트 윈도우 | 1,048,576 tokens | 1M tokens | 1,050,000 tokens |
| 공개된 강점 | DeepSWE 78.8; SWE-Marathon 53.1 | Intelligence Index 58; ProgramBench 70.5 | Standard input/output $2/$10 per 1M tokens |
| 표준 입력/출력(백만 토큰당) | $4 / $20 | $4 / $20 | $2 / $10; 단문맥 티어 |
| 제공자 접근 경로 | Meta Model API; Full은 별도 구독 상품 | Anthropic API | OpenAI API |
| 선정 지표 | 승인된 과제 품질과 총비용 | 승인된 과제 품질과 총비용 | 승인된 과제 품질과 총비용 |
| 개발사 | Meta | Anthropic | OpenAI |
| 출시 | October 12, 2026 | September 22, 2026 | September 16, 2026 |
| 입력 모달리티 | Text, image, audio, video; PDF inputs documented | Text, image | Text, image |
| 출력 | Text | Text | Text |
| 특징적 기능 | Active Memory and Active Focus | Tool and subagent workflows | Configurable reasoning effort and API tools |
이 개요는 아래에서 검토한 구체 사양과 공개 결과를 요약합니다. 벤치마크 행은 서로 다른 평가 방법을 사용하며, 낮은 토큰 단가는 성공적 과제당 낮은 비용을 보장하지 않습니다. 표준 Muse Wonder와 Muse Wonder Full은 구분되는 접근 옵션입니다.
사양 확인일: 2026년 10월 13일. 지원 모달리티와 기능은 선택한 엔드포인트와 릴리스 서피스에 따라 달라지며, 오디오 가용성도 포함됩니다. 모델 수준의 기능이 모든 게이트웨이 경로에서의 지원을 보장하지는 않습니다.
Muse Wonder vs Claude Opus 5.5 vs GPT-6 Sol: 개요와 사양
Muse Wonder: 지속형 에이전트 워크플로
Meta는 2026년 10월 12일 Muse Wonder와 Muse Wonder Full을 출시했습니다. 표준 Muse Wonder는 장시간의 전문 작업, 지속형 에이전트 메모리, 장애 복구를 강조합니다. Active Memory는 유용한 과거 컨텍스트를 검색하도록 의도되었고, Active Focus는 다단계 작업 전반의 진행 유지에 초점을 둡니다. Meta는 코딩, 리서치, 재무 분석, 개인 비서가 핵심 시나리오라고 설명합니다.
Claude Opus 5.5: 전문 코딩과 도구 활용
Claude Opus 5.5는 코딩, 추론, 멀티 도구 기반의 전문 워크플로를 겨냥합니다. Anthropic은 이를 2026년 9월 22일 출시했습니다. 컨텍스트 윈도우는 백만 토큰이며, 아래 보고된 코딩 결과는 벤치마크에 따라 강점이 달라짐을 보여줍니다.
GPT-6 Sol: 비용 의식적 추론
GPT-6 Sol은 강한 추론과 도구 사용을 비교적 합리적인 추론 비용과 결합하는 것을 목표로 합니다. OpenAI의 API 생태계를 통해 프로그래매틱 워크플로를 지원합니다. 표준 단문맥 요금은 나열된 Claude Opus 5.5 요금보다 낮지만, 최종 경제성은 재시도와 추론 토큰 사용에도 좌우됩니다.
OpenAI는 GPT-6 Sol을 복잡한 코딩과 에이전트형 워크플로용 모델로 설명하며, 아래 사용된 평가 결과를 출시 공지에 제공합니다. 이 글은 각 벤더의 최신 모델 전체가 아닌, 특정 모델 버전을 비교합니다.
아키텍처와 추론 제어
인용된 출처는 세 모델 모두에 대한 비교 가능한 파라미터 수와 아키텍처 세부를 제공하지 않습니다. 따라서 dense 대 Mixture-of-Experts 간 순위를 정당화할 수 없습니다. Active Memory와 Active Focus는 Meta의 에이전트 기능을 설명하며, 공개된 신경망 아키텍처를 대체하지 않습니다. GPT-6 Sol은 구성 가능한 추론 노력도를 노출하며, 보고된 Meta와 Claude의 점수 역시 노력도와 평가 설정에 의존합니다. 이러한 설정은 비교 대상 구성의 일부로 취급해야 하며, 동일한 연산량 지표로 간주해서는 안 됩니다.
비교 결과: 세 모델 모두 큰 컨텍스트 윈도우와 개발자 API를 제공합니다. Muse Wonder는 더 넓은 모델 수준 입력 모달리티를 문서화하고, Opus 5.5와 GPT-6 Sol은 텍스트·이미지 워크플로를 강조합니다. 컨텍스트 용량과 기능 가용성은 선택한 엔드포인트에서 재확인이 필요합니다.
Muse Wonder vs Claude Opus 5.5 vs GPT-6 Sol: 성능
공개된 벤치마크와 출처 경계
Meta의 공식 모델 카드에는 Muse Wonder와 Claude Opus 5.5의 직접 비교가 있습니다. OpenAI는 GPT-6 Sol 결과를 별도로 발표하므로, 세 모델을 하나의 완전히 통제된 리더보드에 올리려면 평가 하니스, 버전, 설정의 조화가 필요합니다.
| 벤치마크 | Muse Wonder | Claude Opus 5.5 | 더 높은 점수 |
|---|---|---|---|
| Artificial Analysis Intelligence Index v4.3 | 52 | 58 | Opus |
| Personal Superintelligence Index | 54.3 | 55.2 | Opus |
| Harvey LAB-AA | 10.0 | 4.2 | Muse |
| Vals Finance Agent V2 | 56.6 | 58.6 | Opus |
| AutomationBench-AA | 39.1 | 41.2 | Opus |
| JobBench | 70.5 | 75.4 | Opus |
| MemoryBench | 85.6 | 81.5 | Muse |
| Terminal-Bench 4.0-AA | 52.0 | 59.6 | Opus |
| DeepSWE 1.1 | 78.8 | 74.2 | Muse |
| SWE-Marathon | 53.1 | 46.3 | Muse |
| ProgramBench | 50.0 | 70.5 | Opus |
| HealthBench Pro | 60.5 | 65.6 | Opus |
공식 모델 카드의 방법론은 내부 테스트, 제3자 평가, 제공자 보고 경쟁사 점수를 구분합니다. 위 표는 보고된 값을 재현한 것으로, 모든 행에 걸친 균일하고 독립적으로 통제된 시험을 확립하지는 않습니다.
Meta의 Muse Wonder 모델 카드에 수록된 원본 벤치마크 스코어카드로, 재도식 없이 재현했습니다. 이 공식 이미지에 표시된 추가 OpenAI 모델은 GPT-6 Sol이 아니라 GPT-6 Astra입니다. 주변 표는 본 글과 관련된 모델을 식별합니다.
평가 조건
DeepSWE v1.1은 5개 언어의 91개 리포지토리에서 113개 과제를 다루며, 기능·회귀 테스트의 pass@1로 채점합니다. Meta의 스코어카드는 Muse Wonder와 Opus 5.5에 Datacurve 결과를 사용합니다. SWE-Marathon은 프로젝트 테스트를 사용하고 Abundant AI의 pass@1을 보고합니다. 에이전트 하니스는 다양하며, Wonder Full의 점수는 xhigh로 표기됩니다. ProgramBench는 mini-swe-agent를 사용하고, 설정 이후 인터넷을 비활성화한 상태에서 숨겨진 테스트의 95% 이상을 통과한 롤아웃을 측정합니다. MemoryBench는 Meta의 내부 64K–100K 토큰 대화 테스트로 LLM 판정으로 점수를 매깁니다. 이러한 환경과 메트릭을 하나의 일반 정확도 점수로 통합해서는 안 됩니다.
코딩과 소프트웨어 엔지니어링
보고에 따르면 Muse Wonder는 DeepSWE 1.1과 SWE-Marathon에서 선도합니다. Claude Opus 5.5는 Terminal-Bench 4.0-AA와 ProgramBench에서 앞섭니다. 이 분화는 장기 엔지니어링, 커맨드라인 도구 사용, 프로그램 재구성이 서로 다른 역량을 요구함을 시사합니다.
GPT-6 Sol 결과와 교차 출처 비교 가능성
| 공개된 OpenAI 평가 | GPT-6 Sol | 보고된 설정 |
|---|---|---|
| DeepSWE 1.1 | 68.8% | Maximum reasoning |
| AutomationBench 1.0.6 | 33.2% | xhigh reasoning |
| Agents' Last Exam V1 | 56.4% | Maximum reasoning |
| OSWorld 2.0 offline | 60.5% | xhigh reasoning |
OpenAI의 공개된 평가 결과는 위 점수를 보고합니다. OSWorld 결과는 v2026.08.08 오프라인 세트에서의 부분 보상이며, 엄격한 과제 완료율은 아닙니다. OpenAI는 평가가 연구 환경 또는 API를 사용했다고 명시하며, 프로덕션 구성은 달라질 수 있습니다.
보고된 DeepSWE 점수는 Muse Wonder와 GPT-6 Sol 사이 10.0%p, Opus 5.5와 GPT-6 Sol 사이 5.4%p 격차를 시사합니다. 이는 출판물 간 산술 차이일 뿐, 모델만의 우위를 통제해 추정한 값이 아닙니다. 서로 다른 에이전트 설정, 프롬프트, 노력도, 도구 예산이 결과에 영향을 줄 수 있습니다.
메모리와 장시간 에이전트
Muse Wonder는 과거 결정 기억, 컨텍스트 복구, 중단된 작업 이어가기가 필요한 에이전트를 목표로 합니다. Active Memory는 연구 보조가 프로젝트 특화 사실을 기억하는 데 도움을 줄 수 있으며, Active Focus는 이전 계획이 성공하지 못할 때도 반복적 행동을 지원합니다. 이러한 제품 기능은 민감한 작업에 대한 상태 검증, 권한, 감사 추적, 필수 인적 확인을 대체하지 않습니다.
Muse Wonder Full 성능
Muse Wonder Full은 별도 제품 선택지입니다. Meta는 표준 Muse Wonder를 API로 제공하며, Full은 Muse Code의 Power Usage 및 Maximum Usage 구독에서만 제공됩니다. 더 높은 점수가 표준 모델의 API 대체를 의미하지는 않습니다.
Meta가 보고한 Wonder Full 결과는 Intelligence Index 56, Personal Superintelligence 59.1, Harvey LAB-AA 13.1, AutomationBench-AA 45.4입니다. 또한 DeepSWE 1.1 79.0, SWE-Marathon 57.5, MemoryBench 85.5, JobBench 75.3을 기록했습니다. 이 공개 결과는 별도 접근의 Full 제품을 설명하는 것으로, 공통 하니스 비교의 신규 측정값이 아닙니다.
위의 표준 Muse Wonder 점수와 비교하면, Full은 8개 중 7개 지표에서 향상되었고, MemoryBench는 85.6에서 85.5로 소폭 낮습니다. Opus 5.5는 여전히 보고된 Intelligence Index에서 58로 선두입니다.
지연시간과 신뢰성
인용된 증거는 세 모델을 일치 조건으로 비교한 지연시간 데이터를 제공하지 않습니다. 유용한 첫 출력까지 시간, 전체 과제의 중앙값·95백분위 완료 시간, 타임아웃 빈도, 개입 없이 완료 비율을 측정하세요. 과제 입력, 도구 권한, 동시성, 승인 기준을 고정하고, 노력도 설정과 재시도 예산을 기록하세요. 더 빠른 토큰 생성만으로 다단계 과제의 더 빠른 완료를 입증할 수는 없습니다.
비교 결과: Muse Wonder는 인용된 지속 엔지니어링 테스트에서 앞서고, Opus 5.5는 터미널 및 프로그램 재구성 테스트에서 선도합니다. GPT-6 Sol은 더 낮은 토큰 단가 후보로 남지만, 가용 출판물만으로 세 모델 간 동일 환경의 품질 또는 속도 순위를 입증하지는 못합니다.
Muse Wonder vs Claude Opus 5.5 vs GPT-6 Sol: 비용
공식 API 토큰 가격
| 백만 토큰당 가격 | Muse Wonder | Claude Opus 5.5 | GPT-6 Sol |
|---|---|---|---|
| 표준 입력 | $4 | $4 | $2 |
| 표준 출력 | $20 | $20 | $10 |
| 캐시 적중 입력 | $0.20 | $0.20 | $0.20 |
| 장문맥 입력 | $4 | $4 | $4 |
| 장문맥 출력 | $20 | $20 | $15 |
| 장문맥 캐시 적중 입력 | $0.20 | $0.20 | $0.40 |
Meta는 백만 토큰당 입력 $4, 출력 $20, 캐시 적중 입력 $0.20을 게시합니다. Anthropic은 Opus 5.5에 대해 입력 $4, 출력 $20, 캐시 적중 $0.20을 게시합니다. OpenAI의 요금표는 GPT-6 Sol의 단문맥 입력/출력을 각각 $2/$10, 장문맥을 $4/$15로 명시합니다. 캐시 적중 입력 요율도 티어별로 다릅니다. 워크로드 추정 시 해당 요청의 컨텍스트 티어, 처리 모드, 엔드포인트 조건을 적용하세요.
GPT-6 Sol의 경우 입력 토큰이 272,000개를 초과하는 요청은 더 높은 요율이 적용됩니다:
- 입력 토큰: 표준 요율의 2배로, 백만 토큰당 $2에서 $4로 상승.
- 캐시 적중 입력 토큰: 표준 요율의 2배로, 백만 토큰당 $0.20에서 $0.40으로 상승.
- 출력 토큰: 표준 요율의 1.5배로, 백만 토큰당 $10에서 $15로 상승.
이 높은 요율은 초과분만이 아니라 요청 전체에 적용됩니다. 따라서 입력 토큰이 272,001개인 요청은 해당 요청의 모든 입력·캐시 적중 입력·출력 토큰에 장문맥 가격이 적용됩니다.
비교하면, Muse Wonder와 Claude Opus 5.5는 표준 API 요금에서 이와 동일한 장문맥 프리미엄을 부과하지 않습니다.
이 차이는 대형 문서 분석, 리포지토리 전체 코딩, 장시간 AI 에이전트 작업에서 특히 중요합니다. 요청이 커질수록 GPT-6 Sol의 단문맥 가격 우위는 좁혀질 수 있습니다.
CometAPI 가격과 과금 조건
검토 시점에 CometAPI는 Opus 5.5를 입력 $3.20 / 출력 $16, GPT-6 Sol을 입력 $1.60 / 출력 $8(백만 토큰당)으로 게시했습니다. 이는 CometAPI의 독립 요율이며, 위 공식 제공자 가격과 혼동되어서는 안 됩니다. 경로, 컨텍스트 티어, 계정 과금 조건을 확인한 뒤 워크로드를 추정하세요. 가격과 조건은 변경될 수 있습니다.
승인 과제당 비용
승인된 결과 수로 총 청구된 모델·도구 비용(청구된 재시도와 폴백 포함)을 나눈 값을 승인 과제당 비용으로 계산하세요. 인력 검수 시간은 별도 기록하거나 명시적 인건비로 환산하세요. 실패한 요청과 실제 청구를 독립적으로 추적하세요. 실패 자체가 해당 요청이 과금되었는지 여부를 입증하지는 않습니다.
비교 결과: GPT-6 Sol은 나열된 표준 단문맥 입력·출력 단가가 가장 낮고, Muse Wonder와 Opus 5.5는 동일한 기본 단가를 갖습니다. 실제 승인 과제당 비용은 선택한 과금 경로, 캐시 사용, 컨텍스트 티어, 도구 요금, 재시도, 검수 노력에 따라 달라집니다.
Muse Wonder vs Claude Opus 5.5 vs GPT-6 Sol: 비교와 선정
역량·워크로드 기반 선정
- 광범위 코딩과 터미널 워크플로에는 Claude Opus 5.5부터 시작하세요. 보고된 Intelligence Index, Terminal-Bench, ProgramBench에서 선도합니다. 리팩터링, 도구 실행, 프로그램 단위 일관성으로 검증하세요.
- 확장된 엔지니어링 프로젝트에는 Muse Wonder부터 시작하세요. 보고된 DeepSWE와 SWE-Marathon에서 Opus 5.5보다 강합니다. 과제 완료, 장애 복구, 총 과제 비용을 측정하세요.
- 지속형 개인 에이전트에는 Muse Wonder부터 시작하세요. Active Memory와 Active Focus를 제공하며, 보고된 MemoryBench 점수가 Opus 5.5보다 높습니다. 회상, 수정 반영, 연속성, 프로젝트 격리를 테스트하세요.
- 다단계 도구 워크플로에는 세 모델을 모두 평가하세요. Muse는 Active Focus를, Opus는 도구 오케스트레이션을 강조하고, GPT-6 Sol은 Responses API 도구를 지원합니다. 도구 권한, 재시도, 상태 처리 등 전체 에이전트 스택을 비교하세요.
- 전문 문서와 분석에는 Muse Wonder 또는 Claude Opus 5.5를 평가하세요. Muse는 특화 강점을, Opus는 더 강한 종합 지수를 보입니다. 대표 문서와 과제별 승인 기준을 사용하세요.
- 대량·비용 민감 자동화에는 GPT-6 Sol부터 시작하세요. 표준 단문맥 입력·출력 단가가 가장 낮습니다. 승인 과제 비용, 컨텍스트 티어, 지연시간, 재시도를 확인하세요.
- Meta의 최상위 옵션은 접근 가능하다면 Muse Wonder Full을 평가하세요. 여러 특화 과제에서 더 높은 보고 점수를 보이지만, 표준 API 모델과 별개입니다. 구독 접근과 적합성을 확인 후 테스트하세요.
프로페셔널 코딩
도구 실행, 리팩터링, 프로그램 단위 일관성이 중요한 팀에는 Claude Opus 5.5가 기본값으로 적합합니다. 보고된 Terminal-Bench와 ProgramBench 우세가 이 주장을 강화하지만, 모델만이 아니라 전체 에이전트 스택을 검증해야 합니다.
대량 자동화
요청이 많고 비용 민감도가 높은 경우 GPT-6 Sol이 매력적입니다. 작성 문안, 구조화 필드 추출, 코드 설명처럼 저위험·검증이 쉬운 작업에서는 품질 격차가 허용될 수 있습니다. 장시간 자율 실행에서는 품질, 토큰, 지연시간, 재시도를 함께 추적하세요.
프로덕션 평가 체크리스트
프로덕션 평가는 여섯 가지를 추적해야 합니다: 정답률(승인 답안 또는 통과 테스트), 신뢰성(인적 구조 없이 완료된 과제), 지연시간(엔드투엔드 과제 소요), 토큰 사용(청구된 입력·출력 총합), 에이전트 효율(도구 호출과 교정 재시도), 유효 비용(승인 과제로 나눈 총 지출).
비교 결과: 지속형 에이전트와 확장 엔지니어링에는 Muse Wonder를, 터미널 요구가 강한 광범위 코딩에는 Opus 5.5를, 토큰 비용이 주요 제약이면 GPT-6 Sol을 우선 후보로 선정하세요. 후보는 과제별 품질·신뢰성 기준을 충족한 뒤에만 승격하세요.
Muse Wonder, Claude Opus 5.5, GPT-6 Sol은 어디서 접근할 수 있나요?
공식 제공자 접근
표준 Muse Wonder는 Meta Model API, Opus 5.5는 Anthropic API, GPT-6 Sol은 OpenAI API를 사용하세요. Muse Wonder Full은 표준 API 모델의 대체가 아니라 지정된 Muse Code 구독 플랜을 통해 제공됩니다. 선택한 경로의 계정 접근, 사용 한도, 지원 요청 기능을 확인하세요.
CometAPI 접근
통합 게이트웨이는 인증, 과금, 라우팅을 단순화할 수 있습니다. 복잡한 아키텍처 리뷰에는 고성능 모델을, 반복적 저위험 초안 작업에는 저가 모델을 사용하세요. 모델 식별자와 지원 요청 형식은 대상 API 엔드포인트에 대해 항상 확인해야 합니다.
개발자는 대표 워크로드 평가를 위해 CometAPI의 Claude Opus 5.5 API와 CometAPI의 GPT-6 Sol API에 접근할 수 있습니다. 공유 게이트웨이라고 해서 모든 요청 형식이 상호 교환 가능하다고 가정하지 말고, 각 모델의 지원 API 서피스를 확인하세요.
본 글에서 인용한 CometAPI 라우트는 Opus 5.5와 GPT-6 Sol을 다룹니다. Muse Wonder 또는 Wonder Full에 대한 CometAPI 라우트를 확립하지는 않았으므로, 해당 제품을 평가할 때는 확인된 제공자 경로를 사용하세요.
결론
단일 모델이 모든 워크로드에서 승리하지는 않습니다. Muse Wonder는 지속형 에이전트 동작과 장시간 엔지니어링 과제에서 가장 강력한 테스트 후보입니다. Claude Opus 5.5는 광범위 코딩, 터미널 중심 워크플로, 지식 작업에 강하며, Meta가 보고한 Artificial Analysis Intelligence Index에서 앞섭니다. GPT-6 Sol은 가장 낮은 표준 단문맥 토큰 가격을 제공하며, 비용 민감형 자동화에 매력적입니다. 프로덕션 팀은 대표 워크로드에서 승인 과제 품질, 신뢰성, 지연시간, 재시도, 도구 사용, 총비용으로 최종 선택을 해야 합니다.
자주 묻는 질문
팀이 Muse Wonder, Opus 5.5, GPT-6 Sol을 공정하게 테스트하려면?
고정된 승인 기준, 동일한 입력 산출물, 문서화된 도구 권한을 갖춘 홀드아웃 실과제를 사용하세요. 각 모델 버전, 노력도 설정, 에이전트 하니스, 타임아웃, 토큰 예산을 기록하세요. 출력이 변하는 경우 반복 실험을 수행하고, 성공뿐 아니라 실패도 보고하며, 공통 하니스 비교와 최적 구성 시스템 비교를 구분하세요. 이렇게 하면 타 팀의 벤치마크 설정이 아니라 귀하의 워크플로에 적용되는 근거가 마련됩니다.
API 게이트웨이가 모델 전환 시 에이전트 상태를 보존할 수 있나요?
공유 게이트웨이 주소만으로 대화 상태, 도구 호출 식별자, 저장 응답 참조의 이식성이 보장되지는 않습니다. 메시지, 도구 출력, 검증된 과제 상태의 표준 기록을 애플리케이션 측에 유지하세요. 진행 중인 작업을 다른 모델로 라우팅하기 전에 각 경로의 상태·도구 의미론을 테스트하세요. 그렇지 않으면 더 저렴한 폴백이 완료에 필요한 정보를 잃을 수 있습니다.
재시도와 인적 검수를 어떻게 예산화해야 하나요?
테스트 전에 승인 결과를 정의한 뒤, 승인 결과 수로 청구된 모델·도구 총비용을 나누세요. 검수 인력 투입은 별도 보고하거나 명시적 시간당 단가로 포함하세요. 실패 시도, 교정 호출, 폴백 모델을 모두 계상하고, 전형적 과제와 고비용 과제를 모두 비교하세요. 이렇게 하면 낮은 토큰 가격을 곧바로 유용한 작업 비용 절감으로 오인하지 않게 됩니다.
메모리 민감형 에이전트 평가는 무엇을 포함해야 하나요?
에이전트가 관련 사실을 회상하는지, 수정을 반영하는지, 오래된 지시를 무시하는지, 프로젝트를 분리하여 유지하는지를 테스트하세요. 단일 긴 프롬프트만이 아니라 지연된 후속 질문과 상충되는 업데이트도 포함하세요. 지속성, 검색, 삭제는 배포된 시스템에 의존하므로, 모델 수준뿐 아니라 애플리케이션 수준에서도 메모리 동작을 점검하세요.