deepseek-ai/DeepInfer

• 무엇인지 — DeepInfer는 DeepSeek이 자사 대규모 서비스에 쓰는 추론 엔진을 Apache 2.0으로 공개한 것으로, 이번 공개판은 DeepSeek-V4.1-Flash 오프라인 추론을 지원한다.
• 왜 지금 떴나 — 2026-10-20 DeepSeek이 공개하자 같은 날 Hacker News·GeekNews·MarkTechPost 등에서 일제히 다뤄졌고, 스타 급등도 같은 날 일어났다.
• 어떤 의미인지 — 범용 서빙 엔진을 대체하지는 않지만, 대형 MoE 모델을 실서비스 규모로 돌리는 커널·병렬화·스케줄링 구성을 실제 코드로 살펴볼 수 있다.

• 2026-10-20 Hacker News에 DeepInfer 공개 글이 올라왔고, 추론 비용과 미국 내 사용 규제를 두고 댓글 논의가 이어졌다. HN · HN 댓글 · HN 댓글 · HN 댓글 (확인)
• 2026-10-20 GeekNews가 DeepSeek의 실서비스 추론 엔진 오픈소스 공개 소식을 소개했다. GeekNews (확인)
• 2026-10-20 MarkTechPost와 Yahoo Finance가 공개 사실과 비용 절감 취지를 보도했다. 같은 날 deepseek-recipe도 함께 공개됐다. marktechpost.com · finance.yahoo.com · youtube.com · deepseekv4pro.com (확인)
• 2026-10-21 vLLM·SGLang과의 차이, 하드웨어·설치 요구사항을 정리한 해설 글이 잇따라 나왔다. essamamdani.com · macopenclaw.com · activepieces.com (확인)
• 2026-10-23 HN의 다른 스레드에서 DeepInfer 문서에 실린 GPU 시간당 수익 수치가 추론 경제성 논의의 근거로 인용됐다. HN 댓글 (확인)

DeepInfer는 DeepSeek의 대규모 프로덕션 서비스를 구동하는 추론 프레임워크다. 이번 오픈소스판은 그중 대규모 서빙에 필요한 핵심 기능을 담은 오프라인 추론 부분이다. 지원 모델은 DeepSeek-V4.1-Flash 하나뿐이다. 기본 체크포인트 deepseek-ai/DeepSeek-V4.1-Flash-1017을 Hugging Face에서 받아 실행한다. 대상 하드웨어는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU 두 가지다.

성능 측면에서는 FlashMLA·DeepGEMM·DeepEP·TileKernels·DeepSelect 같은 DeepSeek 자체 커널과 TileLang 커스텀 커널을 쓴다. 병렬화는 Attention DP / balanced CP, MoE EP + EPLB 조합이다. 디코딩 가속에는 draft 토큰과 신뢰도 기반 검증 스케줄링(DSpark)을 쓴다. SWA bounded replay는 제한된 접미부만 다시 재생해 prefill 작업을 줄인다. CPU 배치 스케줄링과 디바이스 실행을 겹치는 비동기 스케줄러도 갖췄다. 기능은 대부분 DEEPINFER_* 환경변수로 켜고 끈다.

재현성과 출력 제어 기능도 있다. batch-invariant 추론은 배치 구성이 달라도 결과를 같게 유지한다. 결정적 샘플링은 고정 seq_seed를 주면 같은 입력에 같은 출력을 낸다(둘 다 NVIDIA 전용). 구조화 출력은 SamplingParams의 so_args로 regex·JSON schema·EBNF 제약을 건다.

완전한 온라인 서비스에 필요한 KV 캐시 시스템, VE/Prefill/Decode 분리 배치, 데이터 병렬 복제본 간 로드밸런싱은 이번 공개에 들어 있지 않다. 원래 vLLM을 바탕으로 만들었고 SGLang·TensorRT-LLM에서 아이디어를 얻었다고 밝힌다. 실행 환경은 Linux, GCC 13 이상, Python 3.12, CUDA 13 또는 CANN 9.2이며 build.sh로 소스 빌드한다.

• vllm-project/vllm — DeepInfer의 출발점이다. vLLM은 다양한 모델 계열과 하드웨어, API 서버를 갖춘 범용 서빙 프로젝트다. DeepInfer는 단일 DeepSeek 모델과 소수의 고급 가속기에 특화돼 있어 그대로 갈아 끼우는 대체재가 아니다. GitHub · dev.to · essamamdani.com (확인)
• sgl-project/sglang — DeepInfer가 영감을 받은 범용 서빙 엔진이다. 여러 모델을 OpenAI 호환 엔드포인트로 서빙하는 것이 목적이라면 SGLang 같은 생태계가 더 먼저 비교할 대상이다. GitHub · essamamdani.com (확인)
• NVIDIA/TensorRT-LLM — DeepInfer가 참고했다고 밝힌 NVIDIA의 추론 스택이다. DeepInfer는 NVIDIA 외에 Huawei Ascend 950도 지원한다는 점이 다르다. GitHub (추정)

• DeepSeek이 자사 모델의 커널·스케줄링·병렬 실행을 어떻게 구성하는지 보여주는 엔지니어링 참고 자료로, 다른 추론 프로젝트가 연구할 구체적 구현이 된다. dev.to · medium.com (확인)
• DeepSeek이 문서화한 V4.1-Flash 엔진 경로를 직접 검토·평가하려는 팀이 SM100 GPU나 Ascend 950에서 오프라인 예제를 돌려볼 수 있다. essamamdani.com · medium.com (확인)
• 공개된 문서의 비용·수익 수치가 HN에서 대형 모델 추론의 경제성 논거로 인용되고 있다. HN 댓글 · HN 댓글 (확인)
• 함께 공개된 deepseek-recipe를 쓰면 공식 API와 호환되는 인코딩/디코딩을 커뮤니티 배포에서 재현할 수 있다. youtube.com · macopenclaw.com · deepseekv4pro.com (확인)

• 범위가 좁다. 모델 하나, 하드웨어 두 종류, 오프라인 추론만 지원한다. KV 캐시, P/D 분리, 로드밸런서가 없어 바로 온라인 서비스로 쓸 수 없고, 빠진 부분은 직접 만들어야 한다. GitHub · marktechpost.com · wukong123.substack.com (확인)
• 진입 장벽이 높다. SM100급 최신 GPU, CUDA 13, GCC 13, Python 3.12가 필요하다. batch-invariant·결정적 샘플링은 NVIDIA에서만 된다. 성능 그래프도 DeepSeek이 직접 측정한 수치다. GitHub · marktechpost.com (확인)
• 미국 등에서는 DeepSeek이 개발한 소프트웨어 사용 자체가 규제나 보안 검토 대상이 될 수 있다는 지적이 HN에서 나왔다. 기업 도입 시 법무 검토가 필요할 수 있다. HN 댓글 · HN 댓글 (추정)
• 공개 직후라 외부 운영 사례가 거의 없다. 상당수 해설이 제조사 문서에 기대고 있다. 이름이 비슷한 호스팅 회사 DeepInfra와 혼동하기 쉽다. 일부 Reddit 출처는 본문을 확인하지 못했다. activepieces.com · reddit.com · reddit.com (확인)

• 2026-10-29 처음 작성 — 기준일 2026-10-24 · 근거 27건
• 2026-11-02 다시 등장 — 기준일 2026-10-31 · 누적 스타 22,015 → 24,700 (+2,685) · AI 탭 새로 뜨는 2위 · 새 근거 14건
  • 새 근거: HN 댓글 — OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why? — HN 댓글 · 2026-10-26
  • 새 근거: HN 댓글 — OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why? — HN 댓글 · 2026-10-26
  • 새 근거: HN 댓글 — IBM CEO says open weight models are now good and cheap on-prem — HN 댓글 · 2026-10-26
  • 새 근거: HN 댓글 — OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why? — HN 댓글 · 2026-10-26
  • 새 근거: HN 댓글 — Ask HN: What do you believe or not believe about AI? — HN 댓글 · 2026-10-28

• E1 deepseek-ai/DeepInfer — GitHub
• E2 DeepInfer: High-performance inference framework for DeepSeek models — HN · 2026-10-20
• E3 HN 댓글 — DeepInfer: High-performance inference framework for DeepSeek models — HN 댓글 · 2026-10-20
• E6 HN 댓글 — DeepInfer: High-performance, large-scale inference framework for DeepSeek models — HN 댓글 · 2026-10-20
• E7 HN 댓글 — DeepInfer: High-performance inference framework for DeepSeek models — HN 댓글 · 2026-10-20
• E8 HN 댓글 — Ask HN: If the models are so good, why doesn't OpenAI just start 100 companies? — HN 댓글 · 2026-10-23
• E9 DeepSeek, 실서비스 추론 엔진 DeepInfer를 오픈소스로 공개 — GeekNews · 2026-10-20
• E12 What is DeepSeek DeepInfer? The Inference Engine Behind Its Production AI Systems — medium.com · 2026-10-20
• E13 DeepSeek DeepInfer Explained: Architecture, Linux, GPUs & Setup | Essa Mamdani — essamamdani.com · 2026-10-21
• E14 DeepSeek Open-Sources DeepInfer, the Inference Framework Behind DeepSeek-V4.1-Flash - MarkTechPost — marktechpost.com · 2026-10-20
• E15 DeepSeek Just Open Sourced Its AI Engine — Deepinfer & Deepseek Recipe — youtube.com · 2026-10-20
• E16 What Is DeepInfer? DeepSeek's Open-Source Engine — activepieces.com · 2026-10-21
• E17 Deepseek released DeepInfer - Open Source high-performance, large-scale inference framework for DeepSeek models! : r/Lo… — reddit.com · 2026-10-22
• E19 What Is DeepInfer? DeepSeek's Open-Source Production Inference Framework | MacOpenClaw — macopenclaw.com · 2026-10-21
• E20 DeepSeek DeepInfer: Deployment, Hardware & Guides — deepseekv4pro.com · 2026-10-23
• E23 High-performance, large-scale inference framework for ... — reddit.com
• E24 Reflections on DeepSeek Open-Sourcing Its Inference Engine, DeepInfer — wukong123.substack.com
• E25 DeepSeek open-sources DeepInfer software to curb AI deployment costs — finance.yahoo.com · 2026-10-20
• E26 DeepInfer vs vLLM: DeepSeek's New Engine Is Not a Drop-In Replacement - DEV Community — dev.to · 2026-10-20