ข้อมูลจำเพาะทาง技术ของ Tencent Hy4 Preview
| ข้อมูลจำเพาะ | ข้อมูลที่ยืนยันแล้ว |
|---|---|
| รหัสรุ่น | hy4-preview |
| ผู้ให้บริการ | Tencent Hunyuan |
| วันที่เปิดตัว | August 28, 2026 |
| สถาปัตยกรรม | Mixture of Experts (MoE) |
| พารามิเตอร์แบ็กโบนรวมทั้งหมด | 770B |
| พารามิเตอร์แบ็กโบนที่ถูกใช้งาน | 49B ต่อโทเคน |
| เลเยอร์ | 78 |
| ขนาดฮิดเดน | 6,144 |
| Attention | Gated DeepSeek Sparse Attention (Gated DSA) |
| จำนวนหัว Attention | 64 |
| ผู้เชี่ยวชาญที่ถูกกำหนดเส้นทาง | 256 |
| ผู้เชี่ยวชาญที่ใช้ร่วมกัน | 1 |
| ผู้เชี่ยวชาญที่ถูกกำหนดเส้นทางที่เปิดใช้งาน | 8 ต่อโทเคน |
| หน้าต่างบริบท | 1,048,576 โทเคน (1M) |
| อินพุตสูงสุดของ API | 960,000 โทเคน |
| เอาต์พุตสูงสุดของ API | 64,000 โทเคน |
| ขนาดคำศัพท์ | 120,832 |
| ประเภทโมเดล | Instruct |
| รุ่นควอนไทซ์ | Hy4-preview-FP8 |
| สัญญาอนุญาต | Apache 2.0 |
ตัวเลขสถาปัตยกรรมข้างต้นอธิบายเฉพาะแบ็กโบน; model card ของ Tencent อธิบายว่าเพิ่มเติมเลเยอร์ MTP แบบเนทีฟสำหรับ speculative decoding. หน้าต่างบริบท 1M ของ API ไม่เหมือนกับขีดจำกัดอินพุตสูงสุด 960K ของมัน
Tencent Hy4 Preview คืออะไร?
Tencent Hy4 Preview เป็นโมเดลภาษาขนาดใหญ่แบบ open-weight ที่พัฒนาโดยทีม Hunyuan ของ Tencent เปิดตัวเมื่อ August 28, 2026 เป็นเวอร์ชันแรกเริ่มของเจเนอเรชัน Hy4 และได้รับการปรับให้เหมาะกับงานด้านผลผลิตในโลกจริง: วิศวกรรมซอฟต์แวร์ การดำเนินงานเชิงตัวแทน งานสำนักงานและการวิเคราะห์ทางการเงิน การพัฒนาเกม และงานวิจัยทางวิทยาศาสตร์
Hy4 Preview ใช้สถาปัตยกรรม Mixture-of-Experts โดยมีพารามิเตอร์แบ็กโบนรวม 770 พันล้าน และพารามิเตอร์ที่ถูกใช้งานต่อโทเคน 49 พันล้าน สแต็ก Attention ใช้ Gated DeepSeek Sparse Attention (Gated DSA) พร้อม IndexCache สำหรับการนำดัชนีแบบสPARSE กลับมาใช้ข้ามเลเยอร์ โมเดลยังใช้ identity Hyper-Connections (iHC) ในเส้นทาง residual และมีเลเยอร์ multi-token-prediction (MTP) แบบเนทีฟสำหรับ speculative decoding
Tencent เผยแพร่เวทโมเดล รุ่นควอนไทซ์แบบ FP8 และคำแนะนำการปรับใช้สำหรับ vLLM และ SGLang โดย model card ระบุสัญญาอนุญาต Apache 2.0
คุณสมบัติหลักของ Tencent Hy4 Preview
- บริบทระดับล้านโทเคน: หน้าต่างบริบท 1,048,576 โทเคน ออกแบบมาสำหรับโค้ดเบสขนาดใหญ่ เอกสารเทคนิคยาว และข้อมูลที่กระจายอยู่หลายเอกสาร Tencent Cloud ระบุอินพุตสูงสุด 960,000 โทเคน และเอาต์พุตสูงสุด 64,000 โทเคน
- วิศวกรรมซอฟต์แวร์ระยะยาว: Tencent เน้นความสามารถด้านความเข้าใจโค้ด การวางแผน ดีบัก และการยืนยันผลในงานพัฒนาที่ยาวต่อเนื่อง รวมถึงการพัฒนาและการวนรอบฝั่งหน้าบ้าน
- การดำเนินงานเชิงตัวแทน (Agentic): โมเดลถูกวางตำแหน่งสำหรับงานที่ซับซ้อนซึ่งเกี่ยวข้องกับการวางแผนและการใช้เครื่องมือ โดยสูตรการให้บริการที่เผยแพร่รวมทั้งการแยกวิเคราะห์การเรียกใช้เครื่องมือและการกำหนดค่าเลือกเครื่องมืออัตโนมัติ
- เวิร์กโฟลว์งานสำนักงานและการวิเคราะห์: Tencent อธิบายความสามารถในการสร้างเอกสาร สเปรดชีต และงานพรีเซนเทชัน การวิเคราะห์ข้อมูล สมการ และงานแบบจำลองทางการเงิน
- การให้เหตุผลทางวิทยาศาสตร์และเทคนิค: Tencent รายงานงานในด้าน R&D ปัญญาประดิษฐ์ พลวัตโมเลกุล ฟิสิกส์สสารควบแน่น และคณิตศาสตร์พื้นฐาน
- ตัวเลือกการปรับใช้แบบเปิด: นักพัฒนาสามารถใช้เวทที่มีสัญญาอนุญาต Apache 2.0 รุ่น FP8 และสูตรการปรับใช้ของ Tencent สำหรับ vLLM หรือ SGLang
ประสิทธิภาพตามเบนช์มาร์กของ Tencent Hy4 Preview
Tencent รายงานการประเมินภายในแบบปกปิด โดยมีผู้เชี่ยวชาญภายใน 163 คนประเมินผลลัพธ์บนงานวิศวกรรม 203 รายการ Hy4 Preview ได้คะแนนเฉลี่ย 2.99/4.00 เมื่อเทียบกับ 2.92/4.00 สำหรับ GLM 5.3 และ 2.94/4.00 สำหรับ Kimi K3
| โมเดล | คะแนนเฉลี่ย | ผลการเปรียบเทียบแบบตัวต่อตัวกับ Hy4 Preview |
|---|---|---|
| Tencent Hy4 Preview | 2.99/4.00 | โมเดลอ้างอิง |
| GLM 5.3 | 2.92/4.00 | ชนะ 46.8%, เสมอ 12.8%, แพ้ 40.4% |
| Kimi K3 | 2.94/4.00 | ชนะ 51.2%, เสมอ 7.9%, แพ้ 40.9% |
นี่เป็นผลจากการประเมินงานวิศวกรรมโดยมนุษย์ภายในของ Tencent ไม่ใช่ลีดเดอร์บอร์ดเบนช์มาร์กสาธารณะมาตรฐาน จึงไม่ควรถูกมองว่าเป็นหลักฐานว่า Hy4 Preview นำหน้าบนทุกเบนช์มาร์กด้านการเขียนโค้ด การให้เหตุผล หรือการใช้งานทั่วไป ข้อความใน model card ที่มีเผยแพร่ไม่ได้ให้ตารางคะแนนเบนช์มาร์กมาตรฐานแบบเครื่องอ่านได้อย่างครบถ้วน จึงไม่มีการอนุมานตัวเลขเพิ่มเติมที่นี่
Hy4 Preview เปรียบเทียบกับ GLM 5.3 และ Kimi K3 อย่างไร
หลักฐานที่เปรียบเทียบกันได้โดยตรงมากที่สุดคือการประเมินงานวิศวกรรม 203 รายการของ Tencent โดย Hy4 Preview ได้ 2.99/4.00 สูงกว่า GLM 5.3 ที่ 2.92 และ Kimi K3 ที่ 2.94 เล็กน้อย การเปรียบเทียบนี้มีประโยชน์ต่อความเข้าใจผลลัพธ์เวิร์กโฟลว์วิศวกรรมภายในของ Tencent แต่ไม่ใช่การประเมินอิสระ และไม่ยืนยันความเป็นเลิศในงานที่ไม่เกี่ยวข้อง
เลือกใช้ Hy4 Preview เมื่อการปรับใช้แบบ open-weight บริบทระดับล้านโทเคน และเวิร์กโฟลว์ agent ที่มุ่งผลผลิตเป็นความต้องการหลัก เปรียบเทียบ GLM 5.3 และ Kimi K3 บนงานตัวแทนของคุณเองก่อนเลือกใช้ในงานผลิตจริง; ข้อมูลสถาปัตยกรรมและสเปกบริบทของพวกมันไม่ได้ถูกรวบรวมที่นี่เพราะไม่พบแหล่งปฐมภูมิที่เทียบเท่าสำหรับการเปรียบเทียบนี้
ข้อจำกัดที่ทราบ
Tencent อธิบายว่า Hy4 Preview เป็นเวอร์ชันแรกเริ่มที่ยังมีพื้นที่ให้พัฒนาได้ทั้งในการ pre-training และ post-training ประเด็นที่ทราบที่เผยแพร่รวมถึงการใช้เวลาให้เหตุผลกับงานซับซ้อนนานเกินจำเป็น และมีแนวโน้มที่จะตรวจยืนยันงานของตนเองมากเกินไป พฤติกรรมเหล่านี้อาจเพิ่มความหน่วงและความยาวของผลลัพธ์ ทีมงานควรทดสอบอัตราความสำเร็จของงาน ความหน่วง ความถูกต้องของการเรียกใช้เครื่องมือ และการใช้โทเคนรวม เทียบกับเกณฑ์การยอมรับของตนเองก่อนนำไปใช้จริง
กรณีใช้งานตัวอย่าง
- วิศวกรรมซอฟต์แวร์ระดับรีโพซิตอรี: วิเคราะห์ไฟล์ซอร์สและประวัติ issue วางแผนการเปลี่ยนหลายไฟล์ ดีบัก และยืนยันแพตช์
- เวิร์กโฟลว์การพัฒนาแบบ Agentic: ประสานงานงานเขียนโค้ดหลายขั้นตอนและการดำเนินการที่มีเครื่องมือช่วย โดยมีการให้สิทธิ์และการตรวจสอบฝั่งแอปพลิเคชัน
- การวิเคราะห์เชิงธุรกิจ: ผสานข้อมูลข้ามเอกสารและจัดทำรายงาน สเปรดชีต และงานพรีเซนเทชัน
- การสร้างแบบจำลองทางการเงิน: ช่วยด้านสมการ การวิเคราะห์ข้อมูล และเวิร์กโฟลว์แบบจำลองทางการเงิน พร้อมการตรวจสอบความถูกต้องของการคำนวณอย่างอิสระ
- การทำต้นแบบเกม: สร้างและปรับแต่งต้นแบบที่เล่นได้ด้วยเวิร์กโฟลว์เอนจินเกมแบบวนรอบ
- ผู้ช่วยงานวิจัยทางวิทยาศาสตร์: สำรวจวรรณกรรมเทคนิค สร้างข้อวิเคราะห์ และสนับสนุนงานในสาขาที่ Tencent ระบุ เช่น พลวัตโมเลกุล และคณิตศาสตร์พื้นฐาน