DeepSeek V4를 로컬에서 실행하는 방법

TR

DeepSeek V4를 로컬에서 실행하는 가장 실용적인 방법은 vLLM 같은 고성능 서빙 스택과 함께 공식 오픈소스 가중치를 사용하고, OpenAI 호환 로컬 엔드포인트를 통해 모델을 노출하는 것입니다. DeepSeek의 현재 공개 자료에 따르면 V4 제품군에는 두 가지 모델이 있습니다: DeepSeek-V4-Pro(총 1.6T 파라미터 / 활성 49B)와 DeepSeek-V4-Flash(총 284B / 활성 13B). 둘 다 1M-token 컨텍스트와 세 가지 추론 모드를 지원합니다. vLLM의 현재 로컬 배포 예시는 Pro에 8× B200/B300, Flash에 4× B200/B300을 대상으로 합니다. 해당 수준의 하드웨어가 없다면, CometAPI 같은 호스팅 대안이 더 현실적입니다.

DeepSeek AI는 2026년 4월 24일 DeepSeek-V4 프리뷰로 큰 반향을 일으켰습니다. 두 개의 강력한 Mixture-of-Experts(MoE) 모델, DeepSeek-V4-Pro(총 1.6T, 활성 49B)와 DeepSeek-V4-Flash(총 284B, 활성 13B)를 선보였습니다. 두 모델 모두 기본적으로 1M 토큰 컨텍스트 윈도우를 지원하여, 장문 문서 분석, 에이전트형 워크플로, 방대한 코드베이스에서의 코딩, 대규모 RAG(검색증강생성)에 변화를 가져옵니다.

하이브리드 Compressed Sparse Attention(CSA) + Heavily Compressed Attention(HCA), manifold-constrained hyper-connections(mHC), 효율적인 메모리 처리 같은 구조적 혁신과 32조 토큰 이상 학습을 통해, V4는 1M 컨텍스트에서 V3.2 대비 단일 토큰 추론 FLOPs를 최대 73%까지, KV 캐시 사용량을 90%까지 줄입니다. 성능은 최상위 폐쇄형 모델과 견줄 만하면서도 공개 가중치(MIT 라이선스)를 유지하고 API를 통해 매우 비용 효율적입니다.

이 모델을 로컬에서 실행하면 프라이버시, 반복 API 비용 제거(하드웨어 제외), 오프라인 가능, 완전한 커스터마이징 측면에서 비교 불가의 장점을 제공합니다. 그러나 규모의 장벽이 있습니다. V4-Pro의 전체 가중치 다운로드는 800GB를 넘고, 추론에는 상당한 하드웨어 또는 공격적인 양자화가 필요합니다.

DeepSeek V4는 정말 로컬에서 실행할 수 있나요?

가능합니다. 하지만 여기서 “로컬”의 의미는 7B 모델을 노트북에서 돌리는 것과는 전혀 다릅니다. DeepSeek의 자료와 vLLM 지원 글이 지목하는 것은 대형 멀티 GPU 시스템입니다. V4-Pro는 총 1.6T 파라미터에 활성 49B, V4-Flash는 총 284B / 활성 13B입니다. vLLM의 공식 배포 예시는 Pro에 8× B200/B300, Flash에 4× B200/B300을 씁니다. 이는 DeepSeek V4가 엔터프라이즈급 로컬 배포 대상이지, 캐주얼 데스크톱 실험이 아니라는 가장 분명한 신호입니다.

그 규모에는 이유가 있습니다. DeepSeek에 따르면 V4는 1M-token 컨텍스트를 지원하며, 기술 보고서에 따르면 V4-Pro는 1M 컨텍스트에서 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs가 **27%**만 필요하고 KV 캐시는 **10%**만 사용합니다. vLLM은 더 나아가 bf16 KV 캐시에서 DeepSeek V4가 1M 컨텍스트 기준 시퀀스당 9.62 GiB의 KV 캐시를 사용한다고 설명합니다. 이는 동일 조건에서 DeepSeek-V3.2 스타일 스택의 추정치인 83.9 GiB 대비 약 8.7× 더 작습니다. 즉, V4는 이전 세대보다 극적으로 효율적이지만, 백만 토큰은 여전히 거대한 시스템 과제입니다.

아키텍처 비교 표: DeepSeek V4 vs V3 및 경쟁 모델

V4의 MoE 설계는 토큰당 활성화되는 파라미터를 일부로 제한해, 연산량을 13B~49B급의 조밀(dense) 모델에 가깝게 유지하면서도 훨씬 큰 네트워크의 지식을 활용합니다.

어떤 Deepseek V4 모델을 써야 할까요?

대부분의 로컬 배포에는 DeepSeek-V4-Flash가 더 나은 출발점입니다. V4-Flash는 간단한 에이전트 작업에서 Pro에 근접한 추론력을 제공하면서 더 빠르고 경제적입니다.

효율보다 절대적 역량이 중요하다면 DeepSeek-V4-Pro를 사용하세요. Pro는 더 어려운 추론, 코딩, 에이전트형 작업에서 강력합니다. 벤치마크가 이를 보여줍니다. 공식 비교에서 V4-Pro-Base는 MMLU 90.1, HumanEval 76.8, LongBench-V2 51.5를 기록했고, V4-Flash-Base는 각각 88.7, 69.5, 44.7입니다. 둘 다 강력하지만, 최고의 결과가 필요할 때 Pro가 한 단계 더 밀어 붙입니다.

표만 훑어봐도 제품 기획에는 충분합니다. Flash는 축소판 토이 모델이 아닙니다. 비용이 낮은 진지한 장문 컨텍스트 어시스턴트입니다. Pro는 문제가 어렵거나 상태를 많이 다루거나 지식 워크플로에 가까울 때 먼저 테스트할 모델입니다.

권장 로컬 스택

1) 프로덕션급 서빙을 위한 vLLM

현재 가장 강력한 공식 옵션은 vLLM입니다. vLLM 팀은 DeepSeek V4 제품군을 이제 지원하며, 두 모델 모두에 대한 구체적인 단일 노드 실행 명령을 제공합니다. 그들은 V4를 최대 백만 토큰 작업을 위한 장문 컨텍스트 모델 제품군으로 규정하고, 하이브리드 KV 캐시, 커널 퓨전, 분리형(disaggregated) 서빙 구현이 필요하다고 설명합니다.

V4-Pro의 경우 vLLM 예시는 8× B200 또는 8× B300을, V4-Flash는 4× B200 또는 4× B300을 대상으로 합니다. 명령에는 --kv-cache-dtype fp8, --block-size 256, --enable-expert-parallel과 같은 플래그, 그리고 --tokenizer-mode deepseek_v4, --tool-call-parser deepseek_v4, --reasoning-parser deepseek_v4 같은 DeepSeek 전용 파싱 플래그가 포함됩니다. 이 조합은 DeepSeek가 진지한 자가 호스팅을 어떻게 기대하는지에 대한 매우 강력한 힌트입니다.

# DeepSeek-V4-Flash on a supported multi-GPU hostdocker run --gpus all \  --ipc=host -p 8000:8000 \  -v ~/.cache/huggingface:/root/.cache/huggingface \  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Flash \  --trust-remote-code \  --kv-cache-dtype fp8 \  --block-size 256 \  --enable-expert-parallel \  --data-parallel-size 4 \  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \  --attention_config.use_fp4_indexer_cache=True \  --tokenizer-mode deepseek_v4 \  --tool-call-parser deepseek_v4 \  --enable-auto-tool-choice \  --reasoning-parser deepseek_v4

V4-Pro로 전환하려면 같은 패턴을 유지하고 모델을 deepseek-ai/DeepSeek-V4-Pro로 변경하되, 데이터 병렬 크기는 vLLM 게시물의 Pro 예시에 맞추면 됩니다. 이는 서빙 스택을 재발명하지 않고 로컬에서 테스트를 시작하는 가장 간단한 방법입니다.

2) DeepSeek 저장소의 추론 보조 스크립트

Deepseek V4에는 Jinja 형식의 채팅 템플릿이 포함되어 있지 않습니다. 대신 OpenAI 스타일 메시지를 모델 입력 문자열로 변환하고 출력을 파싱하는 파이썬 스크립트와 테스트 케이스가 담긴 전용 encoding 폴더가 제공됩니다. 같은 페이지에서 로컬 배포 세부 정보(가중치 변환, 인터랙티브 채팅 데모 포함)를 위해 inference 폴더를 참조하라고 안내합니다. 자체 프런트엔드를 구축하거나 프롬프트 포맷을 엄격히 제어하고 싶다면 유용합니다.

3) 실용적 백업 플랜으로서의 CometAPI

B200/B300급 하드웨어가 없다면 호스팅 경로가 합리적 선택입니다. CometAPI는 하나의 API 키로 모든 것을 사용하고, 500+ AI 모델에 접근할 수 있으며, 가격이 공식 벤더 대비 20–40% 저렴하다고 합니다. 또한 DeepSeek-V4-Pro와 DeepSeek-V4-Flash를 포함한 DeepSeek V4 전용 페이지를 제공하고, OpenAI 호환 통합 예시도 제공합니다.

단계별 가이드: DeepSeek V4를 로컬에서 실행하는 방법

1. 사전 준비

• OS: CUDA/ROCm 지원을 위해 Linux 권장(Ubuntu 22.04/24.04). Windows는 WSL2 또는 네이티브. macOS는 Metal(대형 모델에 제한).
• 드라이버: NVIDIA CUDA 12.4+(또는 최신). AMD Radeon은 ROCm.
• Python 3.11+, Git, 충분한 디스크 공간.
• Hugging Face 계정(게이트 모델의 경우): huggingface-cli login.

2. 가장 쉬운 방법: Ollama 또는 LM Studio(초보자 친화적)

Ollama는 가장 간단한 CLI와 WebUI 경험을 제공합니다. 2026년 4월 말 기준, 완전한 V4 지원에는 커스텀 Modelfile 또는 커뮤니티 태그가 필요할 수 있지만, V4-Flash 양자화 버전은 빠르게 등장하고 있습니다.

Ollama 설치(Linux/macOS):

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

호환 모델 실행(더 작은 모델부터 시작하거나 V4 태그 확인):

ollama pull deepseek-v4-flash:q4_0   # Example quantized tag; check ollama.com/library or community
ollama run deepseek-v4-flash:q4_0

커스텀: Modelfile 생성(text):

FROM ./DeepSeek-V4-Flash-GGUF-Q4.gguf
TEMPLATE """{{ .Prompt }}"""
PARAMETER num_ctx 32768  # Start conservative; increase as hardware allows up to 1M with sufficient RAM/VRAM

그런 다음 ollama create my-v4-flash -f Modelfile.

LM Studio: GUI 대안. lmstudio.ai에서 다운로드, HF에서 DeepSeek-V4 GGUF 양자화(TheBloke 스타일 또는 공식) 검색/탐색, 로드 후 채팅. 컨텍스트 슬라이더, GPU 오프로딩 등 실험에 적합합니다.

Open WebUI: Ollama 위에 ChatGPT 유사 인터페이스(Bash):

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:8080 접속.

3. 고급: Hugging Face + vLLM 또는 SGLang(고성능)

최대 속도와 1M 컨텍스트 지원을 위해 vLLM을 사용하세요(MoE와 PagedAttention 지원이 우수).

Step 1: 환경 준비

사용하려는 모델에 맞게 최신 vLLM 스택을 설치하고 CUDA, 드라이버, GPU 토폴로지가 호환되는지 확인합니다. 로컬 배포에서는 temperature = 1.0, top_p = 1.0을 권장하고, Think Max의 경우 최소 384K 토큰의 컨텍스트 윈도우를 권장합니다. 이는 채팅 앱, 코딩 어시스턴트, 에이전트 워크플로를 구축할 때 유용한 출발점입니다.

Installation:

Bash
pip install -U "vllm>=0.9.0"  # Check latest for V4 compatibility

Download model(대용량은 CLI 권장):

Bash
pip install -U "huggingface_hub[cli]"
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./DeepSeek-V4-Flash

Serve with vLLM(2개 GPU에서 Flash 예시):

Step 2: 모델 서버 실행

컨테이너가 준비되면 모델을 OpenAI 호환 로컬 엔드포인트로 노출하세요. 이렇게 하면 기존 애플리케이션 코드를 그대로 재사용하면서 백엔드를 손쉽게 교체할 수 있습니다.

Serve with vLLM(2개 GPU에서 Flash 예시):

Python
from vllm import LLM, SamplingParams

llm = LLM(
    model="deepseek-ai/DeepSeek-V4-Flash",
    tensor_parallel_size=2,      # Adjust to your GPU count
    max_model_len=1048576,       # 1M context (hardware permitting)
    dtype="auto",                # or "fp8" / "bfloat16"
    quantization="gptq" if using quantized weights else None,
    gpu_memory_utilization=0.9
)

sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=4096)

outputs = llm.generate(["Explain the architecture of DeepSeek V4 in detail."], sampling_params)
for output in outputs:
    print(output.outputs[0].text)

서버 모드(OpenAI 호환 API):

Bash
vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 2 \
  --max-model-len 1048576 \
  --port 8000

그런 다음 base_url="http://localhost:8000/v1"를 설정해 OpenAI 클라이언트로 질의합니다.

SGLang: 장문 컨텍스트에서 더 나은 성능을 낼 수 있는 대안:

Bash
pip install "sglang[all]>=0.4.0"
python -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V4-Flash --port 30000

Step 3: Python에서 로컬 엔드포인트 호출

from openai import OpenAI
# Adjust the base URL if your vLLM server is bound differently.

client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="EMPTY",
)

response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash",
messages=[
{"role": "system", "content": "You are a precise, technical assistant."},
{"role": "user", "content": "Explain the difference between V4-Pro and V4-Flash."},
],
temperature=1.0,
top_p=1.0,
)

print(response.choices[0].message.content)

성능 기대치와 최적화 팁

• 토큰/초(Tokens/sec): RTX 4090에서 Q4 Flash 기준 8K-32K 컨텍스트에서 15-40+ t/s(구현에 따라 상이). 128K+에서는 어텐션/KV 때문에 감소하지만 V4의 효율이 도움이 됩니다. 다중 GPU는 텐서/파이프라인 병렬로 잘 확장됩니다.
• 최적화:
• FlashAttention-3 또는 vLLM의 PagedAttention 사용.
• 추측(사전) 디코딩으로 1.5-2배 속도 향상.
• 컨텍스트 프루닝 또는 압축 기법.
• nvidia-smi로 모니터링; gpu_memory_utilization 활용.
• CPU의 경우: llama.cpp에 --n-gpu-layers -1(가능하면 전부 오프로딩) 또는 고용량 RAM의 순수 CPU 모드.

llama-bench 같은 도구나 간단한 타이밍 스크립트로 설정을 벤치마크하세요. 실제 처리량은 프롬프트 길이, 생성 길이, 하드웨어에 따라 달라집니다.

로컬 V4 배포의 과제와 한계

• 자원 집약성: Flash조차 장문 컨텍스트에서 쾌적한 속도를 내려면 꽤 괜찮은 하드웨어가 필요합니다.
• 양자화 트레이드오프: 비트 수를 낮추면 복잡한 작업에서 추론 품질이 저하될 수 있습니다. SWE-Bench, MMLU 또는 도메인별 평가로 검증하세요.
• 소프트웨어 성숙도: 프리뷰(2026년 4월) 시점의 신작이므로 모든 백엔드의 최적화 지원이 전개되는 중입니다. vLLM, llama.cpp, HF의 GitHub 이슈를 확인하세요.
• 다운로드/스토리지: TB급 모델은 빠른 인터넷과 저장 공간이 필요합니다.
• 전력/발열: 하이엔드 구성은 전력 소모가 크고 발열이 상당합니다.

많은 사용자에게 하이브리드 접근이 최적입니다. 작은 작업은 로컬로, 1M 컨텍스트가 필요한 무거운 추론은 클라우드로 오프로딩하세요.

로컬만으로 부족할 때: CometAPI로의 매끄러운 통합

많은 팀에 가장 현명한 선택은 로컬 배포를 무리하게 시도하지 않는 것입니다. 로컬 배포는 프라이버시와 제어 측면에서 뛰어나지만, 프로덕션 규모로 확장하고 피크 부하를 처리하며, 막대한 하드웨어 투자 없이 완전 비양자화 성능에 접근하려면 신뢰할 수 있는 API가 유리한 경우가 많습니다.

CometAPI는 DeepSeek 모델(최신 Deeppseek V4 시리즈 포함)과 Claude, GPT, Llama, Qwen, Grok 등 다수의 최상위 LLM에 대한 통합 OpenAI 호환 게이트웨이를 제공합니다.

API가 로컬 배포를 능가하는 지점

현재 Deepseek V4 모델은 OpenAI 스타일 및 Anthropic 스타일 엔드포인트로 제공되며, 기본 URL은 모델명이 바뀌어도 안정적으로 유지됩니다. 또한 deepseek-chat과 deepseek-reasoner 모델명이 결국 폐기되며 전환 기간 동안 V4-Flash 동작으로 매핑될 것이라고 문서에 나와 있습니다.

이는 운영 비용 측면에서 중요합니다. 워크로드가 데이터 상주 요건에 민감하지 않거나, 팀이 더 빠른 가치 창출을 원한다면 API 경로가 보통 합리적입니다. V4-Flash는 캐시 미스 입력 1M 토큰당 $0.14, 캐시 히트 입력 1M 토큰당 $0.0028, 출력 1M 토큰당 $0.28입니다. 같은 페이지에 따르면 V4-Pro는 현재 2026년 5월 31일까지 75% 할인되어 캐시 미스 입력 1M 토큰당 $0.435, 출력 1M 토큰당 $0.87입니다.

Deepseek의 최선의 대안: CometAPI의 위치

CometAPI는 DeepSeek V4를 한 번 호출하는 것을 넘어, 모델을 빠르게 전환할 수 있는 스택을 만들 때 유용합니다. CometAPI는 500+ 모델을 위한 하나의 API 키, OpenAI 호환 API, 사용 분석, 공식 벤더 대비 더 낮은 요금을 제공한다고 합니다. 또한 벤더 락인을 피하고 여러 공급자에 걸친 비용 관리를 가능하게 한다고 포지셔닝합니다.

이는 V4-Pro와 V4-Flash를 평가하거나, 동일 애플리케이션에서 다른 프런티어 모델과 DeepSeek을 비교하려는 팀에 강력히 추천할 만합니다. 모델이 바뀔 때마다 새로운 통합을 배선하지 않고, 애플리케이션은 안정적인 OpenAI 스타일 클라이언트를 유지한 채 model 값과 base URL만 바꾸면 됩니다. CometAPI의 V4 가이드는 정확히 이 패턴을 보여줍니다.

CometAPI로 DeepSeek V4 빠른 시작:

• OpenAI SDK 사용:
• CometAPI.com에서 등록/로그인.
• 콘솔에서 API 키 생성.

호스팅 버전의 동일 통합 패턴은 다음과 같습니다:

from openai import OpenAIclient = OpenAI(    base_url="https://api.cometapi.com",    api_key="YOUR_COMETAPI_KEY",)response = client.chat.completions.create(    model="deepseek-v4-pro",    messages=[        {"role": "system", "content": "You are a senior coding assistant."},        {"role": "user", "content": "Review this architecture for bottlenecks."}    ],    stream=False,    extra_body={        "thinking": {"type": "enabled"},        "reasoning_effort": "high"    })print(response.choices[0].message.content)

이 경로의 가치는 수사(레토릭)가 아니라 운영입니다. 인프라 작업을 없애고, 클라이언트 코드를 이식성 있게 유지하며, 여러 모델에서 비용, 대기 시간, 품질을 한 곳에서 시험할 수 있게 해줍니다. CometAPI는 비용, 지연, 호출량을 추적한다고도 하며, 이는 프로토타입이 프로덕션 워크로드가 되었을 때 유용합니다.

로컬, API, CometAPI 중 무엇을 선택할지

제어가 편의성보다 중요하다면 로컬 경로가 타당합니다. 속도와 단순성이 소유권보다 중요하다면 API 경로가 타당합니다. CometAPI는 하드웨어를 관리하지 않고도 이식성과 비용 통제를 원할 때 중간 계층이 됩니다.

FAQ

DeepSeek V4를 노트북에서 실행할 수 있나요?

로컬 추론 튜토리얼이 암시하는 실용적 의미에서는 어렵습니다. 공식 자료는 멀티 GPU 및 멀티 노드 배포를 가리키며, 모델 크기는 일반 소비자 메모리 예산을 훌쩍 넘습니다. 노트북은 API 접근에는 좋지만, V4-Pro 또는 쾌적한 V4-Flash 자가 호스팅에는 적절하지 않습니다.

V4-Pro와 V4-Flash 중 어느 쪽이 더 낫나요?

V4-Pro는 추론, 코딩, 연구에서 더 강력합니다. V4-Flash는 속도, 처리량, 비용 측면에서 더 좋은 기본값입니다. 공식 릴리스와 벤치마크 표는 같은 결론을 가리킵니다.

로컬 배포에 CometAPI가 필수인가요?

아니요. 선택적 프로덕션 레이어입니다. DeepSeek의 자체 API로 직접 사용할 수 있고, 공식 추론 경로를 통해 로컬 자가 호스팅도 가능합니다. CometAPI는 다수 모델 공급자에 걸친 하나의 코드 경로, 비용 추적, 모델 간 전환의 용이성이 필요할 때 매력적입니다.

결론

DeepSeek V4는 그저 또 하나의 모델 릴리스가 아닙니다. 오픈 가중치, 공식 API 접근, 고가치 추론 모델과 저비용 처리량 모델의 명확한 분할을 가진 장문 컨텍스트·에이전트 지향 시스템입니다. 최신 공식 소식은 의사결정 트리를 바꿉니다. 로컬 배포는 가능하지만 강력한 GPU 인프라가 있는 팀에 적합합니다. API 접근은 즉시 가능합니다. CometAPI는 이식성과 비용 규율이 인퍼런스 스택 소유보다 더 중요할 때 합리적 추천입니다.

워크로드가 복잡하고 하드웨어가 있다면 V4-Pro부터 시작하세요. 워크로드가 물량 중심이라면 V4-Flash부터 시작하세요. 빠르게 출시하고 모델 옵션을 열어두고 싶다면 API 레이어를 사용해 코드를 이식성 있게 유지하세요. 현재로서는 이것이 가장 방어력 있는 프로덕션 전략입니다.

실행 가능한 다음 단계:

1. 하드웨어를 평가하고 Ollama 또는 LM Studio로 양자화된 V4-Flash부터 시작하세요.
2. 위 코드 예시로 실험하고 워크로드에 맞춰 벤치마크하세요.
3. 릴리스 이후 성숙해지는 GGUF 양자화와 커뮤니티 최적화를 탐색하세요.
4. 프로덕션이나 대형 작업에는 CometAPI를 통합해 하드웨어 관리 없이 비용 효율적으로 V4-Pro/Flash 전체에 접근하세요.