Qwen 2.5: Wat het is, architectuur en benchmarks

CometAPI
AnnaMay 4, 2025
Qwen 2.5: Wat het is, architectuur en benchmarks

Naarmate kunstmatige intelligentie zich verder ontwikkelt, ontpopt Alibaba's Qwen 2.5 zich tot een geduchte concurrent op het gebied van grote taalmodellen (LLM's). Qwen 2025, uitgebracht begin 2.5, biedt aanzienlijke verbeteringen ten opzichte van zijn voorgangers en een reeks functies die geschikt zijn voor een breed scala aan toepassingen – van softwareontwikkeling en wiskundige probleemoplossing tot het genereren van meertalige content en meer.

Dit artikel gaat dieper in op de complexiteit van Qwen 2.5 en biedt een gedetailleerd overzicht van de architectuur, mogelijkheden en praktische toepassingen. Of u nu een ontwikkelaar, onderzoeker of professional bent, inzicht in hoe u Qwen 2.5 kunt gebruiken, kan nieuwe mogelijkheden in uw werk ontsluiten.

Wat is Qwen 2.5?

Qwen 2.5 is Alibaba Cloud's 2025-generatie groottalige modelfamilie met parameters van 1.5 tot 72 miljard (en een voor redeneren geoptimaliseerde variant van 32 miljard) en ondersteunt nu commerciële, onderzoeks- en consumentenproducten zoals Qwen Chat, DashScope en een OpenAI-compatibele API-gateway. Vergeleken met Qwen 2 introduceert de 2.5-lijn (i) een Mixture-of-Experts (MoE)-kern voor efficiëntie, (ii) training op ~20 T-tokens, (iii) sterkere instructievolg-, coderings- en meertalige redeneermogelijkheden, (iv) vision-language (VL) en volledig multimodale "Omni"-varianten, en (v) implementatieopties variërend van Alibaba Cloud tot zelfhosting via GitHub, Hugging Face, ModelScope en Docker/OLLAMA.

Alle maten hebben een gemeenschappelijke deler pre-trainingsrecept maar verschillen in hun instructie-finetuning lagen: Qwen-Chat (voor open dialoog) en Qwen-Base (voor verdere finetuning). De grotere controlepunten omvatten bovendien Qwen 2.5‑Max, een spaarzame Mixture‑of‑Experts (MoE) editie die 2.7 B parameters per token activeert voor veel lagere inferentiekosten op GPU's.

Architectonische hoogtepunten van Qwen 2.5

Architectuurverschuiving

Qwen 2.5 vertegenwoordigt een aanzienlijke sprong voorwaarts in de ontwikkeling van AI-modellen, voornamelijk dankzij de uitgebreide training en verfijnde architectuur. Het model is voorgetraind op een kolossale dataset van 18 biljoen tokens, een aanzienlijke toename ten opzichte van de 7 biljoen tokens die in zijn voorganger, Qwen 2, werden gebruikt. Deze uitgebreide trainingsdataset verbetert het begrip van het model op het gebied van taal, redenering en domeinspecifieke kennis.

Qwen 2.5 maakt gebruik van een spaarzame Mixture-of-Experts (MoE)-backbone: slechts een kleine subset van experts wordt per token geactiveerd, wat een hogere effectieve capaciteit mogelijk maakt zonder lineaire kostengroei. De training maakte gebruik van ~20 T-tokens en een verfijnd datacurriculum met supervised fine-tuning (SFT) plus RLHF. Door het team gepubliceerde benchmarks tonen grote verbeteringen in MMLU, GSM8K-wiskunde en meertalig cross-lingual begrip ten opzichte van Qwen 2 en peer 7B/70B-baselines.

De Qwen 2.5-modelfamilie

EditionGrootteModaliteitDoel & hoofdfunctie
Qwen 2.5‑1.5B‑Instrueren1.5 miljardTekstEdge-apparaten/chatbots waar geheugen schaars is
Qwen 2.5‑7B‑Instrueren7 miljardTekstFlagship open-source LLM met 32 ​​k context, 29 talendekking
Qwen 2.5‑Omni‑7B7 miljardMultimodaal (tekst + afbeelding + audio + video)End-to-end modaliteitsfusie
Qwen 2.5‑VL‑3B/7B/72B‑Instrueer3–72BVisie-taalDichte ondertiteling, documentkwaliteit, OCR, grafiekanalyse
QwQ‑32B32 miljardTekst (redenering)MoE gespecialiseerd in wiskunde/codering; pariteit met DeepSeek R1 671 B tegen 5% kosten
Qwen 2.5‑Maxniet bekendgemaakt (multi-expert)TekstInterne benchmarkleider, beschikbaar via API en Qwen Chat

Belangrijkste mogelijkheden en benchmarks

Instructies volgen en meertalig bereik

Interne documenten tonen aan dat Qwen 2.5-7B Llama-3 8B overtreft op AlpacaEval (92 vs. 89) en een winstpercentage van 79% haalt tegen GPT-3.5-Turbo op Chinese MT-Bench. Ondersteunde talen zijn onder andere Turks, Indonesisch, Duits, Arabisch en Swahili. Een contextvenster van 32 kB met positiecoderingen met schuifkoord biedt een PDF-samenvatting van 200 pagina's zonder fragmentatie.

Coderen en redeneren

QwQ-32B scoort 50.4% op GSM8K (5-shot) en 74% op HumanEval-Plus, vergelijkbaar met DeepSeek R1 met een twintigste van het parameteraantal. Vroege communitytests tonen aan dat het 7B-model C++-snippets kan compileren en debuggen met g++-13 in een Docker-sandbox met minimale hallucinaties.

Multimodale sterke punten

Qwen 2.5-VL-72B behaalt 62.7% op MMMU en 73.4% op TextVQA, waarmee Gemini 1.5-Pro ​​wordt overtroffen in tabel-OCR-taken (volgens Qwens blog van januari). Omni-7B breidt dit uit naar audiospectrale transcriptie en MP4-framesampling via een gedeelde tokeniser.


Vergunningverlening, veiligheid en bestuur

Alibaba behoudt Apache 2.0-code/licentie met een extra “Qian‑Wen Verantwoordelijke AI” ruiter:

  • Verboden: terroristische inhoud, desinformatie, extractie van persoonlijke gegevens.
  • Vereist: Ontwikkelaars moeten inhoudsfilters en watermerken implementeren in downstream-apps.

De licentie staat commercieel gebruik toe, maar vereist openbaarmaking van modelkaart Als gewichten worden gewijzigd en opnieuw worden geïmplementeerd. Op Alibaba Cloud wordt moderatie server-side afgedwongen; zelfhosters moeten het open-source beleidsgradiëntfilter (gelinkt in de repository) integreren.


Routekaart naar Qwen 3

Bloomberg en PYMNTS-rapport dat Alibaba zal onthullen Qwen 3 "Al eind april 2025", waarschijnlijk met een piek van meer dan 100 B aan parameters en native tool-use mogelijkheden. Insiders suggereren dat 4×2048 GPU-clusters op Hanguang 800+ ASIC's en een Triton-Flash-Attention v3-kernel in testfase zijn. Qwen 2.5 blijft de open-sourcevariant, terwijl Qwen 3 mogelijk debuteert onder een meer restrictieve licentie, vergelijkbaar met Meta's Llama 3-Commercial.


Praktische tips voor ontwikkelaars

  1. Tokentelling: Qwen gebruikt QwenTokenizer; zijn speciale token is gelijk aan <|im_end|> in OpenAI-stijl prompts.
  2. Systeemberichten: Wikkel met <|im_start|>system … <|im_end|> om de hiërarchie te behouden en deltagewichten te vermijden.
  3. Fijnafstemming: Pas LoRA rang‑64 alleen toe op de lagen 20‑24; LoRA in de eerdere lagen levert nauwelijks winst op vanwege de MoE-sparsiteit.
  4. streaming: Met DashScope kunt u: X-DashScope-Stream: true; stukgrootte is 20 tokens.
  5. Qwen‑VL-invoer: Codeer afbeeldingsbytes als base64; geef door via inputs=.

Conclusie

Qwen 2.5 verstevigt de positie van Alibaba Cloud in de wereldwijde open-source LLM-race door de efficiëntie van MoE te combineren met een permissieve licentie en een scala aan toegangsroutes – van Qwen Chat met één klik tot Ollama op een laptop en DashScope-eindpunten voor ondernemingen. Voor onderzoekers vullen het transparante trainingscorpus en de sterke Chinees-Engelse pariteit een leemte die is ontstaan ​​door de Llama-serie van Meta. Voor ontwikkelaars vermindert de OpenAI-compatibele API de migratieproblemen, terwijl de multimodale VL/Omni-takken anticiperen op een nabije toekomst waarin tekst, beeld, audio en video samenkomen in een uniforme tokenruimte. Nu Qwen 3 later deze maand verschijnt, dient Qwen 2.5 zowel als proeftuin als robuust productiemodel – een model dat de concurrentieanalyse van grootschalige AI in 2025 nu al vormgeeft.

Voor ontwikkelaars: API-toegang

KomeetAPI Biedt een prijs die veel lager is dan de officiële prijs om u te helpen de Qwen API te integreren. U ontvangt $ 1 op uw account na registratie en inloggen! Welkom bij CometAPI en ontdek het zelf.

CometAPI fungeert als een gecentraliseerde hub voor API's van verschillende toonaangevende AI-modellen, waardoor het niet nodig is om afzonderlijk met meerdere API-providers samen te werken.

Raadpleeg Qwen 2.5 Maximale API voor integratiedetails. CometAPI heeft de laatste bijgewerkt QwQ-32B-APIVoor meer informatie over het model in de Comet API, zie API-document.

Lees Meer

500+ modellen in één API

Tot 20% korting