2025년 3월, 알리바바 클라우드는 Qwen 시리즈의 대규모 언어 모델(LLM)의 최신 버전인 Qwen3를 출시했습니다. 인공지능 분야의 중요한 발전으로, Qwen119는 언어 이해, 추론, 멀티모달 처리 및 계산 효율성 측면에서 탁월한 역량을 보여줍니다. 이 모델은 36개 언어를 지원하고, 0.6조 개의 토큰 데이터 집합을 기반으로 학습되었으며, 235억 개에서 3억 개에 이르는 다양한 모델 크기를 제공합니다. 본 논문에서는 QwenXNUMX의 정의, 기능, 사용 방법, 접근 방식, 다른 모델과의 비교, 그리고 AI 분야에 미치는 잠재적 영향에 대해 심층적으로 살펴보고, 개발자, 연구자, 그리고 기업을 위한 포괄적인 참고 자료로 활용하고자 합니다.
Qwen3이란 무엇인가요?
Qwen3는 인간과 유사한 텍스트를 이해하고 생성하도록 설계된 대규모 언어 모델 시리즈로, 일상 대화부터 복잡한 추론 작업까지 다양한 시나리오에 적합합니다. 알리바바 클라우드가 개발한 Qwen 시리즈의 2023세대 모델로, 2년 Qwen과 2024년 QwenXNUMX 출시 이후 성능과 기능이 개선되었습니다.
Qwen 시리즈의 간략한 역사
Qwen 시리즈는 2023년 2023월 Meta AI의 Llama 아키텍처를 기반으로 "Tongyi Qianwen"이라는 이름의 Qwen 모델이 출시되면서 시작되었습니다. 2023년 72월 중국 정부의 승인을 받은 후 Qwen은 공식적으로 공개되었습니다. 1.8년 2월, Qwen 2024B와 3B 모델이 오픈소스로 공개되었고, 2025년 XNUMX월에는 전문가 혼합(MoE) 아키텍처를 채택한 QwenXNUMX가 출시되었습니다. XNUMX년 XNUMX월에 출시된 QwenXNUMX은 하이브리드 추론 기능과 멀티모달 기능을 통합하여 시리즈 중 가장 발전된 버전입니다.
Qwen3의 특징
Qwen3는 글로벌 AI 모델 분야에서 차별화되는 다양한 혁신적인 기능을 제공합니다.
다국어 지원
Qwen3는 주요 글로벌 언어 시스템을 포함하여 119개 언어를 지원합니다. 따라서 국제 고객 지원 및 다국어 콘텐츠 생성과 같은 문화 간 및 다국어 애플리케이션에 이상적입니다.
대규모 훈련 데이터
Qwen3 학습 데이터 세트는 약 36조 개의 토큰으로 구성되어 있으며, 이는 약 270억 단어에 해당합니다. 교과서, 질의응답 쌍, 코드 조각, AI 생성 콘텐츠 등 다양한 콘텐츠를 포함하고 있으며, 주로 중국어와 영어로 제공됩니다. 이러한 규모는 언어 이해 및 생성에서 탁월한 성능을 보장합니다.
다양한 모델 크기
Qwen3는 0.6억 개에서 235억 개까지의 다양한 모델 크기를 제공합니다.
- 소형 모델(0.6B, 1.7B): 스마트폰과 같은 기기에서 실행할 수 있는 가벼운 애플리케이션에 적합합니다.
- 중형 모델(4B, 8B, 14B, 32B): 대부분의 개발 시나리오에 적용할 수 있는 리소스 요구 사항과 성능의 균형을 맞춥니다.
- 대형 모델(235B): 엔터프라이즈급 작업에 최고 수준의 성능을 제공합니다.
| 모델 이름 | 매개 변수 크기 | 컨텍스트 창(토큰) | 적용 가능한 시나리오 |
|---|---|---|---|
| Qwen3-0.6B | 0.6 억 | 32,768 | 모바일 기기, 가벼운 애플리케이션 |
| Qwen3-1.7B | 1.7 억 | 32,768 | 임베디드 시스템, 빠른 추론 |
| Qwen3-4B | 4 억 | 131,072 | 중소 규모 프로젝트, 연구 |
| Qwen3-8B | 8 억 | 131,072 | 일반 응용 프로그램, 개발 |
| Qwen3-32B | 32 억 | 131,072 | 고성능 작업, 엔터프라이즈 애플리케이션 |
| Qwen3-235B-A22B | 235 억 | 131,072 | 최고 수준의 성능, 복잡한 추론(공개 불가) |
하이브리드 추론 기능
Qwen3는 모델이 복잡한 질문에 대한 답을 제공하기 전에 단계별로 추론할 수 있도록 하는 "하이브리드 추론" 기능을 도입했습니다. 이 기능은 특히 논리적 추론, 수학 문제 및 프로그래밍 작업에서 두드러집니다. 사용자는 설정을 통해 이 모드를 활성화하거나 비활성화할 수 있습니다(예: enable_thinking=True).
전문가 혼합(MoE) 모델
Qwen3에는 Qwen3-30B-A3B(30억 개의 매개변수, 3억 개의 활성 매개변수) 및 Qwen3-235B-A22B(235억 개의 매개변수, 22억 개의 활성 매개변수)와 같은 Mixture of Experts 모델이 포함되어 있습니다. 이러한 모델은 높은 성능을 유지하면서 매개변수의 하위 집합만 활성화하여 추론 속도를 높여 대규모 배포에 적합합니다.
확장된 토큰 한도
일부 Qwen3 모델은 최대 131,072개의 토큰(모델 4B 이상)의 컨텍스트 윈도우를 지원하며, 이는 Qwen2의 32,768개 토큰보다 크게 증가한 수치입니다. 이러한 향상된 기능을 통해 모델은 더 긴 대화와 더 복잡한 텍스트 생성 작업을 처리할 수 있습니다.
Qwen 3 벤치마크
이 모델은 코드 생성, 디버깅, 수학적 문제 해결에 대한 능숙성을 보여주므로 소프트웨어 개발과 데이터 분석을 위한 귀중한 도구입니다.
Qwen3 사용 방법
어플리케이션
Qwen3의 다재다능함은 다양한 시나리오에 적합합니다.
- 챗봇 및 가상 비서: 고객 지원 및 개인 비서 애플리케이션에 대해 자연스럽고 상황에 맞는 응답을 제공합니다.
- 콘텐츠 생성: 기사, 스토리, 코드 및 기타 창의적이거나 기술적인 콘텐츠를 생성합니다.
- 데이터 분석: 연구 및 비즈니스 인텔리전스를 위해 대규모 데이터 세트를 해석하고 요약하는 데 도움을 줍니다.
- 교육 도구: 학생들의 숙제, 설명, 개인화된 학습 경험을 도와주세요.
- 과학적 연구: 문헌 검토, 가설 생성, 과학적 문제 해결을 지원합니다.
프로젝트 통합
개발자는 다음 프레임워크와 도구를 사용하여 Qwen3를 프로젝트에 통합할 수 있습니다.
- 변압기 : 필요
transformers>=4.51.0. 예제 코드 조각:
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B")
inputs = tokenizer("Hello, how can I assist you?", return_tensors="pt")
outputs = model.generate(**inputs, enable_thinking=True)
print(tokenizer.decode(outputs))
사용자는 추론 모드를 활성화할 수 있습니다. enable_thinking=True 또는 사용하여 제어합니다 /think 및 /nothink.
- llama.cpp: 필요
llama.cpp>=b5092. 명령줄 예:
./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift
- 올라마: 필요
Ollama v0.6.6또는 그 이상. 실행 명령:
ollama run qwen3:8b
다음과 같은 매개변수를 지원합니다. num_ctx 40960 및 num_predict 32768.
- 배포 옵션:
- SGLang: 필요
sglang>=0.4.6.post1. 실행 명령:python -m sglang.launch_server --model-path Qwen/Qwen3-8B --port 30000 --reasoning-parser qwen3 - vLLM: 필요
vllm>=0.8.5. 명령 제공:vllm serve Qwen/Qwen3-8B --port 8000 --enable-reasoning --reasoning-parser deepseek_r1 - 마인드IE: Ascend NPU를 지원합니다. 자세한 내용은 Modelers를 방문하세요.
도구 사용
Qwen-Agent는 Qwen3와 외부 도구 및 API의 상호 작용을 지원하여 동적 데이터 액세스가 필요한 작업에 적합합니다. 이 기능은 SGLang, vLLM, Transformers, llama.cpp 및 Ollama에서도 지원됩니다.
미세 조정
Qwen3는 Axolotl, UnSloth, Swift, Llama-Factory와 같은 프레임워크를 사용하여 미세 조정할 수 있으며, SFT(Supervised Fine-Tuning), DPO(Direct Preference Optimization), GRPO(Group Robust Preference Optimization)와 같은 기술을 지원합니다.
결론
Qwen3는 대규모 언어 모델 분야에서 획기적인 발전을 이루며 향상된 기능, 다재다능함, 그리고 접근성을 제공합니다. 다국어 지원, 하이브리드 추론, 그리고 시각, 수학, 오디오 작업에 특화된 버전을 통해 Qwen3는 AI 분야의 핵심 주자로 자리매김했습니다. Codeforces, AIME, BFCL과 같은 벤치마크에서 뛰어난 성능을 입증했으며, 오픈 소스로 제공되어 개발자, 연구자, 그리고 기업 모두에게 이상적인 선택입니다. AI 기술이 발전함에 따라, Qwen3는 점점 더 정교하게 세상을 이해하고, 추론하고, 상호작용할 수 있는 지능형 시스템을 구축하는 데 중요한 발걸음을 내딛고 있습니다.
시작 가이드
개발자는 액세스할 수 있습니다 퀀 3 API를 통해 코멧API시작하려면 Playground에서 모델의 기능을 탐색하고 다음을 참조하세요. API 가이드 자세한 지침은 를 참조하세요. 일부 개발자는 모델을 사용하기 전에 소속 기관을 확인해야 할 수도 있습니다.