DeepSeek V4 yerel olarak nasıl çalıştırılır

TR

DeepSeek V4’ü yerelde çalıştırmanın pratik yolu, resmi açık kaynak ağırlıkları vLLM gibi yüksek performanslı bir sunum yığınıyla kullanmak ve ardından modeli yerel, OpenAI uyumlu bir uç nokta üzerinden sunmaktır. DeepSeek’in mevcut kamuya açık materyalleri, V4 ailesinde iki modeli tanımlıyor: DeepSeek-V4-Pro (toplam 1.6T parametre / 49B aktif) ve DeepSeek-V4-Flash (toplam 284B / 13B aktif); her ikisi de 1M token bağlam ve üç akıl yürütme modu destekliyor. vLLM’in mevcut yerel dağıtım örnekleri, Pro için 8× B200/B300 ve Flash için 4× B200/B300’ü hedefliyor. Bu donanıma sahip değilseniz, barındırılan bir yedek yol olarak CometAPI daha pratik bir seçenektir.

DeepSeek AI, 24 Nisan 2026’da DeepSeek-V4’ün önizlemesini duyurarak iki güçlü Uzman Karışımı (MoE) modelini tanıttı: DeepSeek-V4-Pro (1.6T toplam parametre, 49B aktif) ve DeepSeek-V4-Flash (284B toplam, 13B aktif). Her ikisi de yerel olarak 1 milyon token bağlam penceresi destekliyor; bu, uzun belge analizi, ajan tabanlı iş akışları, devasa kod tabanlarında kodlama ve ölçekli geri getirme destekli üretim (RAG) için oyunun kurallarını değiştiriyor.

32 trilyonun üzerinde token ile eğitilen V4, hibrit Compressed Sparse Attention (CSA) + Heavily Compressed Attention (HCA), manifold kısıtlı hiper-bağlantılar (mHC) ve verimli bellek kullanımı gibi mimari yeniliklerle, 1M bağlamda V3.2’ye kıyasla çıkarım FLOP’larında %73’e kadar, KV önbellek alanında ise %90’a kadar azalma sağlıyor. Performans, açık ağırlık (MIT lisansı) olarak kalırken üst düzey kapalı kaynak modellere rakip oluyor ve API üzerinden son derece maliyet etkin.

Bu modelleri yerelde çalıştırmak benzersiz gizlilik, donanım dışında sıfır yinelenen API maliyeti, çevrimdışı çalışma ve tam özelleştirme sunar. Ancak ölçek zorluk getirir: V4-Pro’nun tam ağırlıkları 800GB’nin üzerinde indirme gerektirir ve çıkarım, ciddi donanım veya agresif quantization ister.

DeepSeek V4 gerçekten yerelde çalışır mı?

Evet, fakat burada “yerel” 7B’lik bir modeli dizüstünde çalıştırmaktan çok farklı bir anlama geliyor. DeepSeek’in materyalleri ve vLLM destek gönderisi, büyük çoklu GPU sistemlerine işaret ediyor: V4-Pro 1.6T parametreli bir model ve 49B aktif parametre, V4-Flash ise 284B toplam / 13B aktif. vLLM’nin resmi dağıtım örnekleri Pro için 8× B200/B300, Flash için 4× B200/B300 üzerine yazılmış. Bu, DeepSeek V4’ün kurumsal sınıf yerel dağıtım ve sıradan bir masaüstü deneyi olmadığının en açık sinyali.

Bu ölçeğin bir nedeni var. DeepSeek, V4’ün 1M-token bağlam penceresi desteklediğini söylüyor ve teknik rapor, V4-Pro’nun 1M bağlamda DeepSeek-V3.2’ye kıyasla tek token çıkarım FLOP’larının yalnızca %27’sini ve KV önbelleğinin %10’unu kullandığını iddia ediyor. vLLM ayrıca, bf16 KV cache ile DeepSeek V4’ün 1M bağlamda dizi başına 9.62 GiB KV önbellek kullandığını, bunun da benzer bir DeepSeek-V3.2 tarzı yığın için tahmin edilen 83.9 GiB’e göre yaklaşık 8.7× daha küçük olduğunu açıklıyor. Başka bir deyişle, V4 önceki nesillere kıyasla dramatik biçimde daha verimli, ancak bir milyon token hâlâ dev bir sistemler problemidir.

Mimari Karşılaştırma Tablosu: DeepSeek V4 vs V3 ve Rakipler

V4’ün MoE tasarımı, token başına yalnızca parametrelerin bir kısmını etkinleştirir; böylece hesaplama, 13B-49B yoğun bir modele daha yakın kalırken çok daha büyük bir ağın bilgisinden yararlanır.

Hangi DeepSeek V4 modelini kullanmalısınız?

Çoğu yerel dağıtım için DeepSeek-V4-Flash daha iyi başlangıç noktasıdır. V4-Flash, basit ajan görevlerinde Pro’ya oldukça yaklaşan akıl yürütme sunarken daha hızlı ve ekonomiktir.

Verimlilikten ziyade mutlak yetenek önemsediğinizde DeepSeek-V4-Pro’yu kullanın. Pro, daha zor akıl yürütme, kodlama ve ajan görevleri için daha güçlü modeldir. Resmi karşılaştırma tabloları bunu gösteriyor: V4-Pro-Base 90.1 MMLU, 76.8 HumanEval ve 51.5 LongBench-V2’ye ulaşırken, V4-Flash-Base sırasıyla 88.7, 69.5 ve 44.7 puan alıyor. Her ikisi de güçlü; yalnızca en iyi sonucu istediğinizde Pro daha ileri itiyor.

Tablonun basit bir okuması ürün planlama için yeterlidir. Flash, kırpılmış bir oyuncak model değildir; daha düşük maliyetle ciddi bir uzun-bağlam asistanıdır. Zor, durum bilgisi gerektiren veya üretim bilgi iş akışına yakın bir problem olduğunda önce test edilmesi gereken model Pro’dur.

Önerilen yerel yığın

1) Üretim tarzı sunum için vLLM

Bugün için en güçlü resmi seçenek vLLM’dir. vLLM ekibi artık DeepSeek V4 ailesini desteklediğini ve her iki model için de somut tek düğümlü başlatma komutları sağladığını söylüyor. Yazıları, V4’ü bir milyon tokene kadar görevler için tasarlanmış uzun-bağlamlı bir model ailesi olarak çerçeveliyor ve hibrit KV önbellek, çekirdek füzyonu ve ayrıştırılmış sunum için gereken uygulama çalışmalarını anlatıyor.

V4-Pro için vLLM örneği 8× B200 veya 8× B300’ü hedefliyor. V4-Flash için örnek 4× B200 veya 4× B300’ü hedefliyor. Komutlar ayrıca --kv-cache-dtype fp8, --block-size 256, --enable-expert-parallel ve --tokenizer-mode deepseek_v4, --tool-call-parser deepseek_v4, --reasoning-parser deepseek_v4 gibi DeepSeek’e özgü ayrıştırma bayraklarını kullanıyor. Bu kombinasyon, DeepSeek’in ciddi self-hosting’in nasıl yapılmasını beklediğine dair çok güçlü bir ipucu.

# DeepSeek-V4-Flash on a supported multi-GPU hostdocker run --gpus all \  --ipc=host -p 8000:8000 \  -v ~/.cache/huggingface:/root/.cache/huggingface \  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Flash \  --trust-remote-code \  --kv-cache-dtype fp8 \  --block-size 256 \  --enable-expert-parallel \  --data-parallel-size 4 \  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \  --attention_config.use_fp4_indexer_cache=True \  --tokenizer-mode deepseek_v4 \  --tool-call-parser deepseek_v4 \  --enable-auto-tool-choice \  --reasoning-parser deepseek_v4

V4-Pro’ya geçmek için aynı deseni koruyun ve modeli deepseek-ai/DeepSeek-V4-Pro olarak değiştirin; veri paralellik boyutunu da vLLM gönderisindeki Pro örneğine göre ayarlayın. Sunum yığınını yeniden icat etmeden yerelde test etmeye başlamanın en basit yolu budur.

2) DeepSeek deposu çıkarım yardımcıları

DeepSeek V4 Jinja biçimli bir sohbet şablonu içermiyor. Bunun yerine, OpenAI tarzı mesajları model giriş dizilerine dönüştürmek ve çıktıyı ayrıştırmak için Python betikleri ve test vakaları içeren özel bir encoding klasörü sunuyor. Aynı sayfa, ağırlık dönüşümü ve etkileşimli sohbet demoları da dahil olmak üzere yerel dağıtım ayrıntıları için inference klasörüne bakılmasını söylüyor. Bu, özel bir ön uç kurmak veya istem biçimlendirmesini sıkı kontrol etmek istiyorsanız yararlıdır.

3) Pratik yedek plan olarak CometAPI

B200/B300 sınıfı donanımınız yoksa barındırılan bir rota mantıklı seçimdir. CometAPI, her şey için tek bir API anahtarı, 500+ AI modeline erişim ve resmi satıcı oranlarından %20–40 daha ucuz fiyatlandırma sunduğunu söylüyor. Ayrıca DeepSeek-V4-Pro ve DeepSeek-V4-Flash da dahil olmak üzere özel DeepSeek V4 sayfaları yayımlıyor; OpenAI uyumlu entegrasyon örnekleriyle birlikte.

Adım Adım: DeepSeek V4 Yerelde Nasıl Çalıştırılır

1. Önkoşullar

• OS: En iyi CUDA/ROCm desteği için tercih edilen Linux (Ubuntu 22.04/24.04). Windows WSL2 veya yerel. macOS Metal ile (en büyük modeller için sınırlı).
• Sürücüler: NVIDIA CUDA 12.4+ (veya en güncel). AMD kartlar için ROCm.
• Python 3.11+, Git ve yeterli disk alanı.
• Hugging Face hesabı (gerekirse kısıtlı modeller için): huggingface-cli login.

2. En Kolay Yol: Ollama veya LM Studio (Yeni Başlayanlar İçin)

Ollama en basit CLI ve WebUI deneyimini sağlar. 2026 Nisan sonu itibarıyla, tam V4 desteği özel Modelfile’lar veya topluluk etiketleri gerektirebilir, fakat V4-Flash quantize sürümleri hızla ortaya çıkıyor.

Ollama’yı yükleyin (Linux/macOS):

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Uyumlu bir modeli çalıştırın (daha küçükle başlayın veya V4 etiketlerini kontrol edin):

ollama pull deepseek-v4-flash:q4_0   # Example quantized tag; check ollama.com/library or community
ollama run deepseek-v4-flash:q4_0

Özel kullanım için: Bir Modelfile oluşturun (metin):

FROM ./DeepSeek-V4-Flash-GGUF-Q4.gguf
TEMPLATE """{{ .Prompt }}"""
PARAMETER num_ctx 32768  # Start conservative; increase as hardware allows up to 1M with sufficient RAM/VRAM

Ardından ollama create my-v4-flash -f Modelfile.

LM Studio: GUI alternatifi. lmstudio.ai’dan indirin, DeepSeek-V4 GGUF quantize sürümleri (TheBloke tarzı veya resmi) için HF’te arayın/gezinin, yükleyin ve sohbet edin. Bağlam kaydırıcıları ve GPU offload ile denemeler için mükemmel.

Open WebUI: Ollama’nın üzerine katmanlayın, ChatGPT benzeri bir arayüz için (Bash):

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:8080 üzerinden erişin.

3. İleri Seviye: Hugging Face + vLLM veya SGLang (Yüksek Performans)

Maksimum hız ve 1M bağlam desteği için vLLM kullanın (mükemmel MoE ve PagedAttention desteği):

Adım 1: Ortamı hazırlayın

Geçerli vLLM yığınını kurarak başlayın ve CUDA’nızın, sürücülerinizin ve GPU topolojinizi çalıştırmak istediğiniz modelle eşleştiğinden emin olun. Yerel dağıtım için temperature = 1.0 ve top_p = 1.0 öneriliyor ve Think Max için en az 384K token bağlam penceresi tavsiye ediliyor. Bu, bir sohbet uygulaması, bir kodlama asistanı veya bir ajan iş akışı kuruyor olun, iyi bir başlangıç noktasıdır.

Kurulum:

Bash
pip install -U "vllm>=0.9.0"  # Check latest for V4 compatibility

Modeli indirin (büyük dosyalar için CLI kullanın):

Bash
pip install -U "huggingface_hub[cli]"
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./DeepSeek-V4-Flash

vLLM ile sunun (2 GPU’da Flash için örnek):

Adım 2: Model sunucusunu başlatın

Konteyner hazır olduğunda modeli OpenAI uyumlu yerel bir uç nokta olarak açığa çıkarın. Bu, mevcut uygulama kodunuzu yeniden kullanmayı ve mimarinizi değiştirmeden arka uçları değiş tokuş etmeyi kolaylaştırır.

vLLM ile sunun (2 GPU’da Flash için örnek):

Python
from vllm import LLM, SamplingParams

llm = LLM(
    model="deepseek-ai/DeepSeek-V4-Flash",
    tensor_parallel_size=2,      # Adjust to your GPU count
    max_model_len=1048576,       # 1M context (hardware permitting)
    dtype="auto",                # or "fp8" / "bfloat16"
    quantization="gptq" if using quantized weights else None,
    gpu_memory_utilization=0.9
)

sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=4096)

outputs = llm.generate(["Explain the architecture of DeepSeek V4 in detail."], sampling_params)
for output in outputs:
    print(output.outputs[0].text)

Sunucu modu (OpenAI uyumlu API) için:

Bash
vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 2 \
  --max-model-len 1048576 \
  --port 8000

Ardından OpenAI istemcisiyle base_url="http://localhost:8000/v1" ayarlayarak sorgulayın.

SGLang alternatifi (uzun bağlamda potansiyel olarak daha iyi performans):

Bash
pip install "sglang[all]>=0.4.0"
python -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V4-Flash --port 30000

Adım 3: Yerel uç noktayı Python’dan sorgulayın

from openai import OpenAI
# Adjust the base URL if your vLLM server is bound differently.

client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="EMPTY",
)

response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash",
messages=[
{"role": "system", "content": "You are a precise, technical assistant."},
{"role": "user", "content": "Explain the difference between V4-Pro and V4-Flash."},
],
temperature=1.0,
top_p=1.0,
)

print(response.choices[0].message.content)

Performans Beklentileri ve Optimizasyon İpuçları

• Token/sn: RTX 4090 üzerinde Q4 Flash ile: 8K-32K bağlamda 15-40+ t/s (uygulamaya göre değişir). 128K+’da dikkat/KV nedeniyle düşer, ancak V4’ün verimlilikleri yardımcı olur. Çoklu GPU; tensör/hat paralelliğiyle iyi ölçeklenir.
• Optimizasyonlar:
• FlashAttention-3 veya vLLM’in PagedAttention’ını kullanın.
• Spekülatif kod çözme ile 1.5-2× hız artışı.
• Bağlam budama veya sıkıştırma teknikleri.
• nvidia-smi ile izleyin; gpu_memory_utilization kullanın.
• CPU için: mümkünse tüm katman offload ile --n-gpu-layers -1 bayrağıyla llama.cpp veya yüksek RAM ile saf CPU.

Kurulumunuzu llama-bench gibi araçlarla veya basit zamanlama betikleriyle kıyaslayın. Gerçek verim, istem uzunluğu, üretim uzunluğu ve donanıma bağlıdır.

Yerel V4 Dağıtımının Zorlukları ve Sınırlamaları

• Kaynak Yoğunluğu: Uzun bağlamlarda konforlu hızlar için Flash bile hatırı sayılır donanım ister.
• Quantization Dengeleri: Daha düşük bitler, özellikle karmaşık görevlerde akıl yürütme kalitesini azaltabilir—SWE-Bench, MMLU veya alanınıza özgü değerlendirmelerle doğrulayın.
• Yazılım Olgunluğu: Yeni bir önizleme (Nisan 2026) olarak, tüm arka uçlarda tam optimize destek dağıtılıyor. vLLM, llama.cpp ve HF için GitHub issue’larını kontrol edin.
• İndirme/Depolama: Terabayt ölçekli modeller hızlı internet ve depolama ister.
• Güç ve Isı: Yüksek uç kurulumlar ciddi elektrik tüketir.

Birçok kullanıcı için melez yaklaşımlar en iyi sonucu verir: Küçük görevleri yerelde çalıştırın, 1M bağlamlı ağır akıl yürütmeyi gerektiğinde buluta aktarın.

Yerel Yeterli Olmadığında: CometAPI ile Kusursuz Entegrasyon

Birçok ekip için en akıllı hamle, yerel dağıtımı zorlamamak. Yerel dağıtım gizlilik ve kontrol açısından mükemmel olsa da üretime ölçekleme, tepe yükleri karşılama veya devasa donanım yatırımı olmadan tam quantize edilmemiş performansa erişim, çoğu zaman güvenilir bir API’yi tercih edilir kılar.

CometAPI DeepSeek modellerine—en yenisi Deepseek V4 serisi dahil—erişim için birleşik, OpenAI uyumlu bir geçit sağlar ve bunun yanında onlarca diğer üst LLM’i (Claude, GPT, Llama, Qwen, Grok, vb.) sunar.

API’nin yerelden üstün olduğu noktalar

Güncel DeepSeek V4 modelleri OpenAI tarzı ve Anthropic tarzı uç noktalar üzerinden sunuluyor; temel URL’ler sabit kalırken model adı değişiyor. Belgeler ayrıca deepseek-chat ve deepseek-reasoner model adlarının sonunda kullanımdan kaldırılacağını ve geçiş sırasında V4-Flash davranışına eşleneceğini söylüyor.

Bu önemlidir çünkü yerel dağıtım işletimsel maliyet getirir. İş yükü veri yerleşimine duyarlı değilse veya ekibiniz hızlı değer elde etmek istiyorsa, API rotası genellikle rasyonel seçimdir. V4-Flash, önbellek kaçırmada 1M giriş token başına $0.14, önbellek isabetinde 1M giriş token başına $0.0028 ve 1M çıkış token başına $0.28. Aynı sayfa, V4-Pro’nun 31 Mayıs 2026’ya kadar %75 indirimle, önbellek kaçırmada 1M giriş token başına $0.435 ve 1M çıkış token başına $0.87 olduğunu söylüyor.

DeepSeek’in en iyi alternatifi: CometAPI nereye oturuyor

CometAPI, hedef sadece bir kez DeepSeek V4 çağırmak değil, hızla model değiştirebilen bir yığın kurmak olduğunda kullanışlıdır. CometAPI, 500+ model için tek API anahtarı, OpenAI uyumlu bir API, kullanım analitiği ve resmi satıcı oranlarından daha düşük fiyatlandırma sunduğunu söylüyor. Ayrıca sağlayıcı kilidinden kaçınmanın ve harcamayı birden çok sağlayıcı arasında yönetmenin bir yolu olarak konumlanıyor.

Bu, V4-Pro’yu V4-Flash’e karşı değerlendiren veya aynı uygulamada DeepSeek’i diğer sınır modelleriyle karşılaştıran ekipler için CometAPI’yi güçlü bir öneri yapar. Model her değiştiğinde yeni bir entegrasyon kablolamak yerine, uygulama istikrarlı bir OpenAI tarzı istemciyi koruyabilir ve yalnızca model değerini ve temel URL’yi değiştirebilir. CometAPI’nin V4 rehberi tam olarak bu deseni gösterir.

DeepSeek V4 için CometAPI ile Hızlı Başlangıç:

• OpenAI SDK’yı kullanın:
• CometAPI.com adresinde kayıt/oturum açın.
• Konsolda bir API anahtarı oluşturun.

İşte aynı entegrasyon deseninin barındırılan sürümü:

from openai import OpenAIclient = OpenAI(    base_url="https://api.cometapi.com",    api_key="YOUR_COMETAPI_KEY",)response = client.chat.completions.create(    model="deepseek-v4-pro",    messages=[        {"role": "system", "content": "You are a senior coding assistant."},        {"role": "user", "content": "Review this architecture for bottlenecks."}    ],    stream=False,    extra_body={        "thinking": {"type": "enabled"},        "reasoning_effort": "high"    })print(response.choices[0].message.content)

Bu rotanın değeri işletimseldir, retorik değil. Altyapı işini ortadan kaldırır, istemci kodunu taşınabilir tutar ve ekibe maliyet, gecikme ve kaliteyi birden çok modelde test etmek için tek bir yer verir. CometAPI ayrıca harcama, gecikme ve çağrı hacmini izlediğini söylüyor; bu, prototip üretim iş yüküne dönüştüğünde faydalıdır.

Ne zaman yerel, API veya CometAPI seçilmeli

Kontrolün kolaylıktan daha önemli olduğu durumlarda yerel yol meşrudur. Hız ve sadeliğin sahiplikten daha önemli olduğu durumlarda API yolu meşrudur. CometAPI, ekibin taşınabilirlik ve maliyet kontrolü isteyip her model değişiminde entegrasyonu yeniden kurmak istemediğinde orta katmandır.

SSS

DeepSeek V4 dizüstünde çalışır mı?

Yerel çıkarım eğitimlerinin ima ettiği pratik anlamda hayır. Resmi materyaller çoklu GPU ve çok düğümlü dağıtıma işaret ediyor ve model boyutları sıradan tüketici bellek bütçelerinin çok ötesinde. Dizüstü bilgisayar API erişimi için uygundur, ancak V4-Pro veya rahat bir V4-Flash kurulumu için anlamlı bir self-hosting değildir.

Hangisi daha iyi: V4-Pro mu V4-Flash mi?

V4-Pro, akıl yürütme, kodlama ve araştırma için daha güçlü modeldir. V4-Flash, hız, verim ve daha düşük maliyet için daha iyi varsayılandır. Resmi sürüm ve kıyas tabloları aynı sonuca işaret ediyor.

Yerel dağıtımda CometAPI zorunlu mu?

Hayır. İsteğe bağlı bir üretim katmanıdır. DeepSeek’in kendi API’si doğrudan çalışır ve resmi çıkarım yoluyla yerel self-hosting mümkündür. CometAPI, birçok model sağlayıcısında tek kod yolu, maliyet takibi ve model aileleri arasında daha kolay geçiş istediğinizde cazip hale gelir.

Sonuç

DeepSeek V4 sadece başka bir model sürümü değil. Uzun bağlamlı, ajana odaklı bir sistem; açık ağırlıklar, resmi API erişimi ve yüksek uç bir akıl yürütme modeliyle daha düşük maliyetli bir verim modeli arasında net bir ayrım sunuyor. En son resmi haberler karar ağacını değiştiriyor: yerel dağıtım mümkün, ancak yalnızca ciddi GPU altyapısına sahip ekipler için; API erişimi ise hemen mevcut; ve CometAPI, taşınabilirlik ve maliyet disiplini sahiplikten daha önemli olduğunda mantıklı bir öneridir.

İş yükü karmaşıksa ve donanımınız varsa, V4-Pro ile başlayın. İş yükü hacim odaklıysa, V4-Flash ile başlayın. Hızla sevkiyat yapmak ve model seçeneklerini açık tutmak istiyorsanız, API katmanını kullanın ve kodunuzu taşınabilir tutun. Şu anda en savunulabilir üretim stratejisi budur.

Uygulanabilir Sonraki Adımlar:

1. Donanımınızı değerlendirin ve quantize V4-Flash ile Ollama veya LM Studio üzerinden başlayın.
2. Yukarıdaki kod örnekleriyle deney yapın ve iş yüklerinize karşı kıyaslayın.
3. Sürüm sonrası olgunlaşırken GGUF quantize’ları ve topluluk optimizasyonlarını keşfedin.
4. Üretim veya ağır işler için, donanım yönetmeden tam V4-Pro/Flash’a güvenilir, uygun maliyetli erişim adına CometAPI’yi entegre edin.