DeepSeek: Wie funktioniert es?

Im sich rasant entwickelnden Bereich der künstlichen Intelligenz hat sich DeepSeek als ernstzunehmender Herausforderer etabliert und stellt etablierte Größen wie OpenAI und Google infrage. Gegründet im Juli 2023 von Liang Wenfeng, ist DeepSeek ein chinesisches KI-Unternehmen, das für seine innovativen Ansätze bei großen Sprachmodellen (LLMs) und sein Bekenntnis zu Open-Source-Entwicklung Aufmerksamkeit erregt hat. Dieser Artikel beleuchtet die Architektur, Innovationen und Implikationen der Modelle von DeepSeek, mit besonderem Fokus auf das Mixture-of-Experts-(MoE)-Framework sowie die Fortschritte in den Modellen DeepSeek-V2 und DeepSeek-R1.

---

Was ist DeepSeek und warum ist es wichtig?

Künstliche Intelligenz (KI) hat sich rasant weiterentwickelt, und DeepSeek ragt als eines der ambitioniertesten Projekte der jüngeren Zeit heraus. DeepSeek, entwickelt von einem Team ehemaliger Spitzen-Ingenieure und -Forscher im KI-Bereich, repräsentiert eine neue Generation von Open-Source-Sprachmodellen, die darauf abzielt, die Lücke zwischen großen proprietären Modellen (wie GPT-4) und der offenen Forschungsgemeinschaft zu schließen.

Ende 2024 gestartet, brachte DeepSeek mehrere neue Ideen zur Trainingseffizienz, Skalierung und Speicherabrufmechanismen ein und verschob damit die Grenzen dessen, was offene Modelle leisten können.

Wie unterscheidet sich DeepSeeks Architektur von traditionellen Modellen?

Was ist MoE?

In herkömmlichen dichten neuronalen Netzen durchläuft jede Eingabe das gesamte Netzwerk, sodass alle Parameter aktiviert werden – unabhängig von der Art der Eingabe. Dieser Ansatz ist zwar unkompliziert, führt jedoch insbesondere bei der Skalierung von Modellen zu Ineffizienzen.

Die Mixture-of-Experts-Architektur begegnet dem, indem das Netzwerk in mehrere Teilnetze oder „Experten“ aufgeteilt wird, von denen jeder sich auf unterschiedliche Aufgaben oder Datenmuster spezialisiert. Ein Gate-Mechanismus wählt für jede Eingabe dynamisch eine Teilmenge dieser Experten aus, sodass nur die relevantesten Netzwerkteile aktiviert werden. Diese selektive Aktivierung reduziert den Rechenaufwand und ermöglicht eine stärkere Spezialisierung des Modells.

Die Mixture-of-Experts-Architektur ist eine Technik, die darauf abzielt, die Effizienz und Skalierbarkeit großer neuronaler Netze zu verbessern. Anstatt für jede Eingabe alle Parameter zu aktivieren, nutzt MoE abhängig von den Eingabedaten selektiv eine Teilmenge spezialisierter „Experten“-Netze. Dieser Ansatz reduziert die Rechenlast und erlaubt eine gezieltere Verarbeitung.

DeepSeeks MoE-Implementierung

Die Modelle von DeepSeek, wie DeepSeek-R1 und DeepSeek-V2, verwenden ein fortgeschrittenes MoE-Framework. So umfasst DeepSeek-R1 671 Milliarden Parameter, von denen bei einem beliebigen Forward-Pass jedoch nur 37 Milliarden aktiviert werden. Diese selektive Aktivierung wird von einem ausgeklügelten Gate-Mechanismus gesteuert, der Eingaben an die relevantesten Experten weiterleitet und dadurch die Recheneffizienz optimiert, ohne die Leistung zu kompromittieren.

Wie sieht ein vereinfachter DeepSeek-Transformer aus?

Hier ist ein vereinfachtes Codebeispiel, wie DeepSeek einen sparsamen Mixture-of-Experts-Mechanismus implementieren könnte:

pythonimport torch
import torch.nn as nn
import torch.nn.functional as F

class Expert(nn.Module):
    def __init__(self, hidden_dim):
        super(Expert, self).__init__()
        self.fc = nn.Linear(hidden_dim, hidden_dim)

    def forward(self, x):
        return F.relu(self.fc(x))

class SparseMoE(nn.Module):
    def __init__(self, hidden_dim, num_experts=8, k=2):
        super(SparseMoE, self).__init__()
        self.experts = nn.ModuleList()
        self.gate = nn.Linear(hidden_dim, num_experts)
        self.k = k

    def forward(self, x):
        scores = self.gate(x)
        topk = torch.topk(scores, self.k, dim=-1)
        output = 0
        for idx in range(self.k):
            expert_idx = topk.indices
            expert_weight = F.softmax(topk.values, dim=-1)
            expert_output = torch.stack((x) for j, i in enumerate(expert_idx)])
            output += expert_weight.unsqueeze(-1) * expert_output
        return output

# Beispielverwendung

batch_size, hidden_dim = 16, 512
x = torch.randn(batch_size, hidden_dim)
model = SparseMoE(hidden_dim)
out = model(x)
print(out.shape)  # Ausgabeform: (16, 512)

Dieses einfache Beispiel simuliert die dynamische Auswahl von 2 Experten basierend auf der Eingabe und die Aggregation ihrer Ausgaben.

Welche Trainingsstrategien hat DeepSeek verwendet?

Wie wurden Datensammlung und -kuratierung gehandhabt?

Die Entwickler von DeepSeek legten einen starken Schwerpunkt auf Datenqualität statt auf reine Quantität. Während OpenAI und andere Daten in großem Umfang aus dem öffentlichen Internet sammelten, kombinierte DeepSeek:

• kuratierte offene Datensätze (Pile, Segmente von Common Crawl),
• akademische Korpora,
• Code-Repositorien (wie GitHub),
• spezielle synthetische Datensätze, die mit kleineren überwachten Modellen generiert wurden.

Ihr Training folgte einem mehrstufigen Curriculum-Learning-Ansatz:

• In frühen Phasen wurde auf einfacheren, faktischen Datensätzen trainiert.
• In späteren Phasen lag der Schwerpunkt auf anspruchsvollen Aufgaben zum Schlussfolgern und auf Programmierung.

Welche Optimierungstechniken wurden eingesetzt?

Das effiziente Training großer Sprachmodelle bleibt eine große Herausforderung. DeepSeek setzte ein auf:

• ZeRO-3-Parallelisierung: Aufteilung von Optimiererzuständen, Gradienten und Parametern über GPUs.
• Int8-Quantisierung während des Trainings: Zur Minimierung der Speichernutzung ohne Qualitätseinbußen.
• Adaptive Lernraten: Einsatz von Techniken wie Cosine Annealing mit Warmup.

Hier ist ein einfaches Snippet, das adaptives Learning-Rate-Scheduling zeigt:

pythonfrom torch.optim.lr_scheduler import CosineAnnealingLR

optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4)
scheduler = CosineAnnealingLR(optimizer, T_max=100)

for epoch in range(100):
    train(model)
    validate(model)
    scheduler.step()

Dieser Code passt die Lernrate während des Trainings gleichmäßig an.

Wie erreicht DeepSeek eine überlegene Leistung?

Welche Rolle spielt Retrieval?

DeepSeek integriert ein eingebautes Retrieval-System – vergleichbar damit, eine Suchmaschine in ein neuronales Netz einzustecken. Bei einer Eingabe kann das Modell:

1. die Anfrage kodieren,
2. relevante Dokumente aus einem externen Speicher abrufen,
3. die Dokumente mit seinem internen Wissen verknüpfen.

Dies ermöglicht es DeepSeek, deutlich faktenorientierter und aktueller zu bleiben als herkömmliche geschlossene Modelle.

Konzeptionell sieht das in etwa so aus:

pythonclass Retriever:
    def __init__(self, index):
        self.index = index  # Angenommen: ein vorab erstellter Suchindex

    def retrieve(self, query_embedding):
        # Suche basierend auf Ähnlichkeit

        return self.index.search(query_embedding)

class DeepSeekWithRetriever(nn.Module):
    def __init__(self, model, retriever):
        super().__init__()
        self.model = model
        self.retriever = retriever

    def forward(self, query):
        embedding = self.model.encode(query)
        docs = self.retriever.retrieve(embedding)
        augmented_input = query + " " + " ".join(docs)
        output = self.model.generate(augmented_input)
        return output

Diese Retrieval-Augmented Generation (RAG) steigert die Fähigkeiten von DeepSeek beim langfristigen Schlussfolgern erheblich.

Wie wird DeepSeek evaluiert?

Das Modell wurde anhand folgender Benchmarks bewertet:

• MMLU: Multi-Task Language Understanding
• HumanEval: Genauigkeit bei der Code-Generierung
• TruthfulQA: Fähigkeit, wahrheitsgemäß zu antworten
• BIG-bench: Allgemeine, breit angelegte KI-Evaluierung

In den meisten Fällen erreichten die größten Modelle von DeepSeek (30B, 65B Parameter) bei Aufgaben zum Schlussfolgern Werte auf Augenhöhe mit oder sogar über GPT-4-turbo, während sie deutlich günstiger im Betrieb blieben.

Welche Herausforderungen bestehen für DeepSeek weiterhin?

So beeindruckend es ist, DeepSeek ist nicht frei von Schwächen:

• Bias und Toxizität: Selbst kuratierte Datensätze können problematische Ausgaben durchlassen.
• Retrieval-Latenz: RAG-Systeme können langsamer sein als reine Generationsmodelle.
• Rechenkosten: Das Trainieren und Bereitstellen dieser Modelle ist weiterhin teuer, selbst mit MoE.

Das Team von DeepSeek arbeitet aktiv an Modellpruning, intelligenteren Retrieval-Algorithmen und der Minderung von Bias.

---

Fazit

DeepSeek steht für einen der wichtigsten Umbrüche in der offenen KI-Entwicklung seit dem Aufkommen der Transformer-basierten Modelle. Durch architektonische Innovationen wie Sparse Experts, Retrieval-Integration und intelligentere Trainingsziele hat es einen neuen Standard dafür gesetzt, was offene Modelle leisten können.

Da sich die KI-Landschaft weiterentwickelt, ist zu erwarten, dass DeepSeek (und seine Derivate) eine zentrale Rolle bei der Gestaltung der nächsten Welle intelligenter Anwendungen spielen werden.

Erste Schritte

Entwickler können über CometAPI auf die DeepSeek R1 API und die DeepSeek V3 API zugreifen. Für den Einstieg empfiehlt es sich, die Fähigkeiten des Modells im Playground zu erkunden und den API-Leitfaden für detaillierte Anweisungen zu konsultieren. Beachten Sie, dass einige Entwickler möglicherweise ihre Organisation verifizieren müssen, bevor sie das Modell verwenden können.