Tencent Hy4 Preview의 기술 사양
| 사양 | 검증된 정보 |
|---|---|
| 모델 ID | hy4-preview |
| 제공자 | Tencent Hunyuan |
| 출시 날짜 | 2026년 8월 28일 |
| 아키텍처 | 전문가 혼합(MoE) |
| 백본 총 파라미터 수 | 770B |
| 활성화된 백본 파라미터 | 토큰당 49B |
| 레이어 | 78 |
| 히든 사이즈 | 6,144 |
| 어텐션 | Gated DeepSeek Sparse Attention (Gated DSA) |
| 어텐션 헤드 | 64 |
| 라우팅된 전문가 | 256 |
| 공유 전문가 | 1 |
| 활성화된 라우팅 전문가 | 토큰당 8 |
| 컨텍스트 윈도우 | 1,048,576 토큰(1M) |
| 최대 API 입력 | 960,000 토큰 |
| 최대 API 출력 | 64,000 토큰 |
| 어휘 크기 | 120,832 |
| 모델 유형 | Instruct |
| 양자화 변형 | Hy4-preview-FP8 |
| 라이선스 | Apache 2.0 |
위의 아키텍처 수치는 백본을 설명합니다; Tencent의 모델 카드는 추측 디코딩을 위한 추가 네이티브 MTP 레이어를 설명합니다. API의 1M 컨텍스트 윈도우는 960K 최대 입력 한도와 동일하지 않습니다.
Tencent Hy4 Preview란 무엇인가?
Tencent Hy4 Preview는 Tencent의 Hunyuan 팀이 개발한 오픈 웨이트 대규모 언어 모델입니다. 2026년 8월 28일에 공개된 Hy4 세대의 초기 버전으로, 소프트웨어 엔지니어링, 에이전트형 작업 실행, 오피스 및 금융 분석, 게임 개발, 과학 연구 등 실제 생산성 업무에 최적화되어 있습니다.
Hy4 Preview는 총 7700억 백본 파라미터와 토큰당 490억 활성화 파라미터를 갖춘 Mixture-of-Experts(MoE) 아키텍처를 사용합니다. 어텐션 스택은 IndexCache를 통한 레이어 간 스파스 인덱스 재사용을 지원하는 Gated DeepSeek Sparse Attention(Gated DSA)을 사용합니다. 잔차 경로에는 identity Hyper-Connections(iHC)가 적용됩니다. 추측 디코딩을 위한 네이티브 multi-token-prediction(MTP) 레이어가 포함되어 있습니다.
Tencent는 모델 가중치, FP8 양자화 변형, vLLM과 SGLang 배포 가이드를 공개했습니다. 모델 카드에는 Apache 2.0 라이선스가 명시되어 있습니다.
Tencent Hy4 Preview의 주요 기능
- 강력한 컨텍스트(백만 토큰): 1,048,576-토큰 컨텍스트 윈도우는 대규모 코드베이스, 장문의 기술 자료, 여러 문서에 분산된 정보를 처리하도록 설계되었습니다. Tencent Cloud는 최대 입력 960,000 토큰과 최대 출력 64,000 토큰을 명시합니다.
- 장기간 소프트웨어 엔지니어링: 확장된 개발 작업 전반에서 코드 이해, 계획, 디버깅, 검증을 강조하며, 프런트엔드 구현과 반복을 포함합니다.
- 에이전트형 작업 수행: 계획과 도구 사용을 수반하는 복잡한 작업을 목표로 포지셔닝되어 있습니다. 공개된 서빙 레시피에는 도구 호출 파싱과 자동 도구 선택 구성이 포함됩니다.
- 오피스 및 분석 워크플로: 문서, 스프레드시트, 프레젠테이션 생성, 데이터 분석, 수식, 금융 모델 작업을 설명합니다.
- 과학 및 기술적 추론: AI 연구개발, 분자 동역학, 응집물리, 기초 수학 등 영역에서의 작업을 보고합니다.
- 오픈 배포 옵션: Apache-2.0 라이선스의 웨이트, FP8 변형, Tencent의 vLLM 또는 SGLang 배포 레시피를 활용할 수 있습니다.
Tencent Hy4 Preview의 벤치마크 성능
Tencent는 163명의 사내 전문가가 203개의 엔지니어링 작업에서 출력을 평가한 블라인드 내부 평가를 보고했습니다. Hy4 Preview는 평균 2.99/4.00을 받았으며, GLM 5.3은 2.92/4.00, Kimi K3는 2.94/4.00을 기록했습니다.
| 모델 | 평균 점수 | Hy4 Preview 맞대결 결과 |
|---|---|---|
| Tencent Hy4 Preview | 2.99/4.00 | 기준 모델 |
| GLM 5.3 | 2.92/4.00 | 46.8% 승리, 12.8% 무승부, 40.4% 패배 |
| Kimi K3 | 2.94/4.00 | 51.2% 승리, 7.9% 무승부, 40.9% 패배 |
이는 Tencent의 내부 인간 평가 기반 엔지니어링 결과로, 표준화된 공개 벤치마크 리더보드가 아닙니다. Hy4 Preview가 모든 코딩, 추론, 범용 벤치마크에서 우위에 있다고 증명하는 근거로 취급되어서는 안 됩니다. 이용 가능한 모델 카드 텍스트는 표준화된 벤치마크 점수의 완전한 기계판독형 표를 제공하지 않으며, 따라서 여기에서 어떤 점수도 추론하지 않았습니다.
Hy4 Preview와 GLM 5.3, Kimi K3 비교
가장 직접적으로 비교 가능한 공개 근거는 Tencent의 203-작업 엔지니어링 평가입니다. Hy4 Preview는 2.99/4.00을 기록하여 GLM 5.3(2.92)과 Kimi K3(2.94)보다 약간 높았습니다. 이 비교는 Tencent 내부의 엔지니어링 워크플로 결과를 이해하는 데 유용하지만, 독립 평가가 아니며 관련 없는 워크로드에서의 우수성을 입증하지는 않습니다.
오픈 웨이트 배포, 백만 토큰 컨텍스트, 생산성 지향 에이전트 워크플로가 핵심 요구사항이라면 Hy4 Preview를 선택하세요. 프로덕션 모델을 선택하기 전에 GLM 5.3과 Kimi K3를 자체 대표 작업에서 비교하십시오; 본 비교를 위해 동등한 1차 자료에서 검증되지 않았으므로 두 모델의 아키텍처와 컨텍스트 사양은 여기에서 재현하지 않습니다.
알려진 제한 사항
Tencent는 Hy4 Preview를 사전학습과 사후학습 모두에서 개선의 여지가 있는 초기 반복으로 설명합니다. 공개된 알려진 문제에는 복잡한 작업을 필요 이상으로 오래 추론하는 경향과 자체 작업을 과도하게 검증하는 경향이 포함됩니다. 이러한 행동은 지연 시간과 출력 길이를 증가시킬 수 있습니다. 팀은 프로덕션 배포 전에 자체 승인 기준에 대해 작업 성공률, 지연 시간, 도구 호출 정확성, 총 토큰 사용량을 테스트해야 합니다.
대표적 사용 사례
- 저장소 규모 소프트웨어 엔지니어링: 소스 파일과 이슈 이력을 분석하고, 다중 파일 변경을 계획하며, 디버그 및 패치 검증을 수행합니다.
- 에이전트형 개발 워크플로: 애플리케이션 측 권한 부여와 검증을 포함하여, 다단계 코딩 작업과 도구 지원 실행을 조율합니다.
- 비즈니스 분석: 여러 문서에 걸친 정보를 통합하고 보고서, 스프레드시트, 프레젠테이션을 작성합니다.
- 금융 모델링: 수식, 데이터 분석, 금융 모델 워크플로를 지원하며, 계산의 독립적 검증을 수행합니다.
- 게임 프로토타이핑: 게임 엔진 워크플로와 함께 플레이 가능한 프로토타입을 생성하고 반복적으로 개선합니다.
- 과학 연구 지원: 기술 문헌을 탐색하고 분석을 구성하며, 분자 동역학 및 기초 수학 등 Tencent가 제시한 영역의 작업을 지원합니다.