Jak uruchomić DeepSeek V4 lokalnie

TR

Praktyczny sposób na uruchomienie DeepSeek V4 lokalnie to użycie oficjalnych, otwartych wag z wysokowydajnym stosem serwowania, takim jak vLLM, a następnie wystawienie modelu przez lokalny, zgodny z OpenAI punkt końcowy. Obecne materiały publiczne DeepSeek opisują dwa modele z rodziny V4: DeepSeek-V4-Pro z 1,6T łącznych parametrów / 49B aktywnych oraz DeepSeek-V4-Flash z 284B łącznych parametrów / 13B aktywnych, oba z kontekstem 1M tokenów i trzema trybami rozumowania. Aktualne przykłady lokalnego wdrożenia vLLM celują w 8× B200/B300 dla Pro oraz 4× B200/B300 dla Flash. Jeśli nie dysponujesz takim sprzętem, bardziej praktyczną ścieżką będzie rozwiązanie hostowane, takie jak CometAPI.

24 kwietnia 2026 r. DeepSeek AI zaskoczył rynek, udostępniając wersję podglądową DeepSeek-V4, obejmującą dwa potężne modele Mixture-of-Experts (MoE): DeepSeek-V4-Pro (1,6T łącznych parametrów, 49B aktywnych) i DeepSeek-V4-Flash (284B łącznie, 13B aktywnych). Oba wspierają natywne okno kontekstu 1 miliona tokenów — co zmienia zasady gry w analizie długich dokumentów, przepływach agentowych, pracy nad ogromnymi bazami kodu i RAG na dużą skalę.

Szkolone na ponad 32 bilionach tokenów, z innowacjami architektonicznymi takimi jak hybrydowe Compressed Sparse Attention (CSA) + Heavily Compressed Attention (HCA), manifold-constrained hyper-connections (mHC) i efektywne zarządzanie pamięcią, V4 osiąga do 73% redukcji FLOPs inferencji i 90% mniejszy ślad pamięci podręcznej KV dla kontekstu 1M w porównaniu z V3.2. Wydajność rywalizuje z czołowymi modelami zamkniętymi, pozostając przy tym przy otwartych wagach (licencja MIT) i niezwykle opłacalna przez API.

Uruchamianie tych modeli lokalnie daje niezrównaną prywatność, zerowe cykliczne koszty API (poza sprzętem), pracę offline i pełną możliwość dostosowania. Ich skala jednak stanowi wyzwanie: pełne wagi V4-Pro przekraczają 800 GB pobierania, a inferencja wymaga znaczącego sprzętu lub agresywnej kwantyzacji.

Czy DeepSeek V4 naprawdę da się uruchomić lokalnie?

Tak, ale „lokalnie” oznacza tu coś zupełnie innego niż uruchamianie modelu 7B na laptopie. Materiały DeepSeek i wpis o wsparciu vLLM wskazują na duże systemy wielo-GPU: V4-Pro to model o 1,6T parametrach z 49B aktywnymi parametrami, a V4-Flash ma 284B łącznie / 13B aktywnych. Oficjalne przykłady wdrożeń od vLLM są napisane dla 8× B200/B300 w przypadku Pro oraz 4× B200/B300 dla Flash. To najjaśniejszy sygnał, że DeepSeek V4 to lokalne wdrożenie klasy enterprise, a nie casualowy eksperyment na biurku.

Istnieje powód tej skali. DeepSeek podaje, że V4 obsługuje okno kontekstu 1M tokenów, a raport techniczny twierdzi, że V4-Pro wykorzystuje tylko 27% FLOPs inferencji na pojedynczy token i 10% pamięci podręcznej KV w porównaniu z DeepSeek-V3.2 przy kontekście 1M. vLLM dodaje, że z pamięcią podręczną KV w bf16 DeepSeek V4 zużywa 9,62 GiB pamięci KV na sekwencję przy 1M kontekstu, co jest około 8,7× mniej niż szacowane 83,9 GiB dla porównywalnego stosu w stylu DeepSeek-V3.2. Innymi słowy, V4 jest dramatycznie bardziej efektywny niż wcześniejsze generacje, ale milion tokenów to wciąż ogromny problem systemowy.

Tabela porównawcza architektury: DeepSeek V4 vs V3 i konkurencja

Projekt MoE w V4 aktywuje tylko ułamek parametrów na token, utrzymując obliczenia bliżej gęstego modelu 13B–49B, jednocześnie korzystając z wiedzy znacznie większej sieci.

Który model DeepSeek V4 powinieneś wybrać?

Dla większości lokalnych wdrożeń lepszym punktem startowym jest DeepSeek-V4-Flash. V4-Flash dostarcza rozumowanie zbliżone do Pro przy prostszych zadaniach agentowych, pozostając szybszym i bardziej ekonomicznym.

Użyj DeepSeek-V4-Pro, gdy bardziej zależy Ci na absolutnych możliwościach niż na efektywności. Pro jest silniejszy przy trudniejszym rozumowaniu, kodowaniu i zadaniach agentowych. Tabela benchmarków pokazuje dlaczego: w oficjalnym porównaniu V4-Pro-Base osiąga 90,1 na MMLU, 76,8 na HumanEval i 51,5 na LongBench-V2, podczas gdy V4-Flash-Base ma odpowiednio 88,7, 69,5 i 44,7. Oba są mocne; Pro idzie dalej, gdy potrzebujesz najlepszego możliwego wyniku.

Prosty odczyt tej tabeli wystarcza do planowania produktu. Flash nie jest okrojonym, „zabawkowym” modelem; to poważny asystent długiego kontekstu o niższym koszcie. Pro to model do testów jako pierwszy, gdy problem jest trudny, stanowy lub zbliżony do produkcyjnego przepływu pracy z wiedzą.

Rekomendowany lokalny stos

1) vLLM do serwowania w stylu produkcyjnym

Najmocniejszą oficjalną opcją jest dziś vLLM. Zespół vLLM mówi, że wspiera rodzinę DeepSeek V4 i dostarcza konkretne komendy uruchomienia na pojedynczym węźle dla obu modeli. Ich wpis przedstawia V4 jako rodzinę modeli długiego kontekstu zaprojektowaną do zadań do miliona tokenów i opisuje prace wdrożeniowe potrzebne dla hybrydowej pamięci KV, fuzji jąder i rozdzielonego serwowania.

Dla V4-Pro przykład vLLM celuje w 8× B200 lub 8× B300. Dla V4-Flash przykład celuje w 4× B200 lub 4× B300. Komendy używają też --kv-cache-dtype fp8, --block-size 256, --enable-expert-parallel oraz deepseekowych flag parsowania, takich jak --tokenizer-mode deepseek_v4, --tool-call-parser deepseek_v4 i --reasoning-parser deepseek_v4. To bardzo mocna wskazówka, jak DeepSeek oczekuje poważnego self-hostingu.

# DeepSeek-V4-Flash on a supported multi-GPU hostdocker run --gpus all \  --ipc=host -p 8000:8000 \  -v ~/.cache/huggingface:/root/.cache/huggingface \  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Flash \  --trust-remote-code \  --kv-cache-dtype fp8 \  --block-size 256 \  --enable-expert-parallel \  --data-parallel-size 4 \  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \  --attention_config.use_fp4_indexer_cache=True \  --tokenizer-mode deepseek_v4 \  --tool-call-parser deepseek_v4 \  --enable-auto-tool-choice \  --reasoning-parser deepseek_v4

Aby przełączyć się na V4-Pro, zachowaj ten sam schemat i zmień model na deepseek-ai/DeepSeek-V4-Pro, dostosowując wielkość równoległości danych zgodnie z przykładem Pro we wpisie vLLM. To najprostszy sposób na rozpoczęcie testów lokalnych bez wymyślania stosu serwowania na nowo.

2) Narzędzia inferencyjne z repozytorium DeepSeek

DeepSeek V4 nie zawiera szablonu czatu w formacie Jinja. Zamiast tego udostępnia dedykowany folder encoding ze skryptami Pythona i testami do konwersji wiadomości w stylu OpenAI na łańcuchy wejściowe modelu oraz do parsowania wyjścia. Ta sama strona odsyła do folderu inference po szczegóły wdrożenia lokalnego, w tym konwersję wag i interaktywne dema czatu. To przydatne, jeśli chcesz zbudować własny frontend lub ściśle kontrolować formatowanie promptów.

3) CometAPI jako praktyczny plan awaryjny

Jeśli nie masz sprzętu klasy B200/B300, sensownym wyborem jest trasa hostowana. CometAPI podaje, że oferuje jeden klucz API do wszystkiego, dostęp do 500+ modeli AI oraz ceny 20–40% niższe niż stawki oficjalnych dostawców. Publikuje też dedykowane strony DeepSeek V4, w tym DeepSeek-V4-Pro i DeepSeek-V4-Flash, z przykładami integracji zgodnej z OpenAI.

Krok po kroku: Jak uruchomić DeepSeek V4 lokalnie

1. Wymagania wstępne

• OS: Preferowany Linux (Ubuntu 22.04/24.04) dla najlepszego wsparcia CUDA/ROCm. Windows przez WSL2 lub natywnie. macOS z Metal (ograniczenia dla największych modeli).
• Sterowniki: NVIDIA CUDA 12.4+ (lub najnowsza). AMD ROCm dla kart Radeon.
• Python 3.11+, Git oraz wystarczająca przestrzeń dyskowa.
• Konto Hugging Face dla modeli z bramką (jeśli dotyczy): huggingface-cli login.

2. Najprościej: Ollama lub LM Studio (przyjazne początkującym)

Ollama zapewnia najprostsze doświadczenie CLI i WebUI. Pod koniec kwietnia 2026 pełne wsparcie V4 może wymagać własnych Modelfile lub tagów społeczności, ale zkwantyzowane wersje V4-Flash szybko się pojawiają.

Instalacja Ollama (Linux/macOS):

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Uruchom model kompatybilny (zacznij od mniejszych lub sprawdź tagi V4):

ollama pull deepseek-v4-flash:q4_0   # Example quantized tag; check ollama.com/library or community
ollama run deepseek-v4-flash:q4_0

Dla własnych: Utwórz Modelfile (tekst):

FROM ./DeepSeek-V4-Flash-GGUF-Q4.gguf
TEMPLATE """{{ .Prompt }}"""
PARAMETER num_ctx 32768  # Start conservative; increase as hardware allows up to 1M with sufficient RAM/VRAM

Then ollama create my-v4-flash -f Modelfile.

LM Studio: Alternatywa GUI. Pobierz z lmstudio.ai, wyszukaj/przeglądaj na HF kwantyzacje DeepSeek-V4 GGUF (w stylu TheBloke lub oficjalne), załaduj i rozmawiaj. Doskonałe do eksperymentów z suwakami kontekstu i offloadingiem GPU.

Open WebUI: Warstwa na Ollamą dla interfejsu podobnego do ChatGPT (Bash):

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Dostęp pod adresem http://localhost:8080.

3. Zaawansowanie: Hugging Face + vLLM lub SGLang (wysoka wydajność)

Dla maksymalnej szybkości i wsparcia 1M kontekstu użyj vLLM (świetne wsparcie MoE i PagedAttention):

Krok 1: Przygotuj środowisko

Zacznij od instalacji aktualnego stosu vLLM i upewnij się, że Twoje CUDA, sterowniki i topologia GPU odpowiadają modelowi, który chcesz uruchomić. recommending temperature = 1.0 and top_p = 1.0 for local deployment, and for Think Max it recommends a context window of at least 384K tokens. That is a useful starting point whether you are building a chat app, a coding assistant, or an agent workflow.

Instalacja:

Bash
pip install -U "vllm>=0.9.0"  # Check latest for V4 compatibility

Pobierz model (użyj CLI do dużych plików):

Bash
pip install -U "huggingface_hub[cli]"
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./DeepSeek-V4-Flash

Serwuj z vLLM (przykład dla Flash na 2 GPU):

Krok 2: Uruchom serwer modelu

Gdy kontener już działa, wystaw model jako lokalny punkt końcowy zgodny z OpenAI. Dzięki temu łatwo ponownie użyć istniejącego kodu aplikacji i podmieniać backendy bez zmiany architektury aplikacji.

Serwuj z vLLM (przykład dla Flash na 2 GPU):

Python
from vllm import LLM, SamplingParams

llm = LLM(
    model="deepseek-ai/DeepSeek-V4-Flash",
    tensor_parallel_size=2,      # Adjust to your GPU count
    max_model_len=1048576,       # 1M context (hardware permitting)
    dtype="auto",                # or "fp8" / "bfloat16"
    quantization="gptq" if using quantized weights else None,
    gpu_memory_utilization=0.9
)

sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=4096)

outputs = llm.generate(["Explain the architecture of DeepSeek V4 in detail."], sampling_params)
for output in outputs:
    print(output.outputs[0].text)

W trybie serwera (API zgodne z OpenAI):

Bash
vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 2 \
  --max-model-len 1048576 \
  --port 8000

Następnie wykonaj zapytanie przez klienta OpenAI ustawiając base_url="http://localhost:8000/v1".

SGLang jako alternatywa, potencjalnie lepsza dla długiego kontekstu:

Bash
pip install "sglang[all]>=0.4.0"
python -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V4-Flash --port 30000

Krok 3: Odpytaj lokalny punkt końcowy z Pythona

from openai import OpenAI
# Adjust the base URL if your vLLM server is bound differently.

client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="EMPTY",
)

response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash",
messages=[
{"role": "system", "content": "You are a precise, technical assistant."},
{"role": "user", "content": "Explain the difference between V4-Pro and V4-Flash."},
],
temperature=1.0,
top_p=1.0,
)

print(response.choices[0].message.content)

Oczekiwania wydajności i wskazówki optymalizacyjne

• Tokeny/s: Na RTX 4090 z Q4 Flash: 15–40+ t/s przy kontekście 8K–32K (zależnie od implementacji). Spadek przy 128K+ ze względu na uwagę/KV, ale efektywności V4 pomagają. Multi-GPU skaluje się dobrze dzięki równoległości tensorowej/potokowej.
• Optymalizacje:
• Użyj FlashAttention-3 lub PagedAttention z vLLM.
• Dekodowanie spekulacyjne dla 1,5–2× przyspieszenia.
• Techniki przycinania lub kompresji kontekstu.
• Monitoruj nvidia-smi; wykorzystuj gpu_memory_utilization.
• Dla CPU: llama.cpp z --n-gpu-layers -1 (pełny offload jeśli możliwe) lub czyste CPU z wysoką ilością RAM.

Porównuj swoją konfigurację narzędziami jak llama-bench lub prostymi skryptami pomiarowymi. Rzeczywista przepustowość zależy od długości promptu, długości generacji i sprzętu.

Wyzwania i ograniczenia lokalnego wdrożenia V4

• Intensywność zasobowa: Nawet Flash wymaga przyzwoitego sprzętu dla komfortowych prędkości przy długich kontekstach.
• Kompromisy kwantyzacji: Niższe bity mogą obniżać jakość rozumowania, zwłaszcza przy złożonych zadaniach — weryfikuj benchmarkami jak SWE-Bench, MMLU lub domenowymi.
• Dojrzałość oprogramowania: Jako nowa wersja podglądowa (kwiecień 2026), pełne, zoptymalizowane wsparcie we wszystkich backendach dopiero się rozwija. Sprawdzaj Issues na GitHub dla vLLM, llama.cpp i HF.
• Pobieranie/przechowywanie: Modele w skali TB wymagają szybkiego internetu i pamięci masowej.
• Moc i ciepło: Zestawy high-end zużywają znaczną ilość energii.

Dla wielu użytkowników najlepsze są podejścia hybrydowe: Uruchamiaj mniejsze zadania lokalnie, a ciężkie, 1M-kontekstowe rozumowanie deleguj do chmury, gdy potrzeba.

Gdy lokalnie nie wystarczy: płynna integracja z CometAPI

Dla wielu zespołów najrozsądniejsze jest w ogóle nie wymuszać wdrożenia lokalnego. Choć lokalne wdrożenie błyszczy prywatnością i kontrolą, skalowanie do produkcji, obsługa pików obciążenia czy dostęp do pełnej, niezkwantyzowanej wydajności bez ogromnych inwestycji sprzętowych często przemawiają za niezawodnym API.

CometAPI zapewnia zunifikowaną, zgodną z OpenAI bramę do modeli DeepSeek — w tym najnowszej serii Deeppseek V4 — wraz z dziesiątkami innych topowych LLM (Claude, GPT, Llama, Qwen, Grok itd.).

Tam, gdzie API wygrywa z wdrożeniem lokalnym

Aktualne modele DeepSeek V4 są dostępne przez punkty końcowe w stylu OpenAI i Anthropic, z bazowymi adresami URL pozostającymi stabilnymi, podczas gdy zmienia się nazwa modelu. Dokumentacja mówi też, że nazwy modeli deepseek-chat i deepseek-reasoner zostaną ostatecznie wycofane i odwzorują się na zachowanie V4-Flash w trakcie przejścia.

To istotne, ponieważ lokalne wdrożenie niesie koszt operacyjny. Jeśli obciążenie nie jest wrażliwe na lokalizację danych lub zespół chce szybciej uzyskać wartość, droga przez API jest zwykle racjonalnym wyborem. V4-Flash kosztuje $0.14 za 1M tokenów wejściowych przy cache miss, $0.0028 za 1M tokenów wejściowych przy cache hit i $0.28 za 1M tokenów wyjściowych. Ta sama strona podaje, że V4-Pro jest obecnie przeceniony o 75% do 31 maja 2026: $0.435 za 1M tokenów wejściowych przy cache miss i $0.87 za 1M tokenów wyjściowych.

Najlepsza alternatywa dla DeepSeek: gdzie pasuje CometAPI

CometAPI jest użyteczne, gdy celem nie jest tylko pojedyncze wywołanie DeepSeek V4, ale zbudowanie stosu, który łatwo przełączy modele. CometAPI podaje, że zapewnia jeden klucz API do 500+ modeli, API zgodne z OpenAI, analitykę użycia i ceny niższe niż stawki oficjalnych dostawców. Pozycjonuje się również jako sposób na uniknięcie uzależnienia od dostawcy i zarządzanie kosztami w wielu usługodawcach.

To sprawia, że CometAPI jest mocną rekomendacją dla zespołów porównujących V4-Pro z V4-Flash lub zestawiających DeepSeek z innymi modelami czołowymi w tej samej aplikacji. Zamiast każdorazowo implementować nową integrację, aplikacja może utrzymać stabilnego klienta w stylu OpenAI i zmieniać tylko wartość model oraz bazowy URL. Przewodnik CometAPI dla V4 pokazuje dokładnie taki wzorzec.

Szybki start z CometAPI dla DeepSeek V4:

• Użyj SDK OpenAI:
• Zarejestruj się/zaloguj na CometAPI.com.
• Wygeneruj klucz API w konsoli.

Oto hostowana wersja tego samego wzorca integracji:

from openai import OpenAIclient = OpenAI(    base_url="https://api.cometapi.com",    api_key="YOUR_COMETAPI_KEY",)response = client.chat.completions.create(    model="deepseek-v4-pro",    messages=[        {"role": "system", "content": "You are a senior coding assistant."},        {"role": "user", "content": "Review this architecture for bottlenecks."}    ],    stream=False,    extra_body={        "thinking": {"type": "enabled"},        "reasoning_effort": "high"    })print(response.choices[0].message.content)

Wartość tej ścieżki jest operacyjna, nie retoryczna. Usuwa prace infrastrukturalne, utrzymuje przenośność kodu klienta i daje zespołowi jedno miejsce do testów kosztu, latencji i jakości w wielu modelach. CometAPI podaje też, że śledzi wydatki, latencję i wolumen wywołań, co jest przydatne, gdy prototyp staje się obciążeniem produkcyjnym.

Kiedy wybrać lokalnie, API lub CometAPI

Ścieżka lokalna ma sens, gdy kontrola jest ważniejsza od wygody. Ścieżka API ma sens, gdy liczą się szybkość i prostota bardziej niż własność stosu inferencji. CometAPI to warstwa pośrednia, gdy zespół chce przenośności i kontroli kosztów bez przebudowy integracji za każdym razem, gdy zmienia się model.

FAQ

Czy DeepSeek V4 da się uruchomić na laptopie?

Nie w praktycznym sensie sugerowanym przez poradniki lokalnej inferencji. Oficjalne materiały wskazują na wdrożenia wielo-GPU i wielowęzłowe, a rozmiary modeli znacznie przekraczają budżety pamięci typowych urządzeń konsumenckich. Laptop nadaje się do dostępu przez API, ale nie do sensownego self-hostingu V4-Pro ani nawet komfortowego V4-Flash.

Który jest lepszy: V4-Pro czy V4-Flash?

V4-Pro jest silniejszy w rozumowaniu, kodowaniu i badaniach. V4-Flash to lepszy domyślny wybór pod kątem szybkości, przepustowości i niższego kosztu. Oficjalne wydanie i tabela benchmarków prowadzą do tego samego wniosku.

Czy CometAPI jest wymagane przy wdrożeniu lokalnym?

Nie. To opcjonalna warstwa produkcyjna. Własne API DeepSeek działa bezpośrednio, a self-hosting lokalny jest możliwy przez oficjalną ścieżkę inferencji. CometAPI staje się atrakcyjne, gdy chcesz jednej ścieżki kodowej dla wielu dostawców modeli, śledzenia kosztów i łatwiejszego przełączania rodzin modeli.

Konkluzja

DeepSeek V4 to nie tylko kolejny release. To system długiego kontekstu, zorientowany na agentów, z otwartymi wagami, oficjalnym dostępem przez API i wyraźnym podziałem między wysokowydajny model rozumujący a tańszy, przepustowy model. Najnowsze oficjalne wiadomości mają znaczenie, bo zmieniają drzewo decyzji: wdrożenie lokalne jest możliwe, ale tylko dla zespołów z poważną infrastrukturą GPU; dostęp przez API jest dostępny od razu; a CometAPI jest rozsądną rekomendacją, gdy przenośność i dyscyplina kosztowa są ważniejsze niż posiadanie stosu inferencji.

Jeśli obciążenie jest złożone i masz sprzęt — zacznij od V4-Pro. Jeśli obciążenie jest wolumenowe — zacznij od V4-Flash. Jeśli celem jest szybkie wdrożenie i utrzymanie opcji modelowych — użyj warstwy API i utrzymuj kod przenośny. To obecnie najbardziej obronna strategia produkcyjna.

Konkretne kolejne kroki:

1. Oceń swój sprzęt i zacznij od zkwantyzowanego V4-Flash przez Ollama lub LM Studio.
2. Poeksperymentuj z powyższymi przykładami kodu i benchmarkuj względem swoich obciążeń.
3. Eksploruj kwantyzacje GGUF i optymalizacje społeczności, gdy dojrzewają po wydaniu.
4. Dla produkcji lub ciężkich zadań zintegrować CometAPI dla niezawodnego, opłacalnego dostępu do pełnych V4-Pro/Flash bez zarządzania sprzętem.