DeepSeek Buka Kode DeepInfer, Mesin Inferensi V4.1-Flash untuk GPU Nvidia dan Chip Huawei

Yang dibuka DeepSeek adalah mesin yang menjalankan layanannya sendiri, tetapi bukan seluruh pabriknya — tiga komponen terpenting untuk layanan skala besar sengaja ditinggal.

DeepSeek merilis sumber terbuka DeepInfer, kerangka inferensi yang disebut perusahaan sebagai mesin di balik layanan produksi skala besarnya, pada Selasa (20/10/2026). Kode berlisensi Apache 2.0 itu menjalankan model DeepSeek-V4.1-Flash di GPU Nvidia generasi SM100 (Blackwell) dan NPU Huawei Ascend 950.

Satu model, dua keluarga chip

DeepInfer saat ini hanya mendukung DeepSeek-V4.1-Flash, dengan titik pemeriksaan bawaan DeepSeek-V4.1-Flash-1017 dari Hugging Face. Menurut MarkTechPost, model itu memiliki jendela konteks 1 juta token berdasarkan kartu modelnya. Untuk membangunnya dibutuhkan Linux, GCC 13 atau lebih baru, Python 3.12, serta CUDA 13 di sisi Nvidia atau CANN 9.2 di sisi Ascend.

Mesin ini memuat kernel dari proyek DeepSeek lain, antara lain FlashMLA, DeepGEMM, dan DeepEP. MarkTechPost menulis bahwa pondasinya awalnya terutama vLLM, dengan gagasan dari SGLang dan TensorRT-LLM.

Fitur untuk mempercepat dan menghemat

Salah satu fiturnya adalah DSpark, metode speculative decoding (model kecil menebak beberapa token sekaligus, lalu model utama memeriksanya) berbasis tingkat keyakinan. Draft mengusulkan 5 token per langkah, dan penjadwal hanya memverifikasi bagian awal yang paling bernilai. DeepSeek mengklaim cara ini memangkas sekitar 30 persen token draft yang perlu diverifikasi dengan panjang token yang diterima nyaris sama, 3,29 dibanding 3,20.

Fitur lain meliputi penjadwalan asinkron yang aktif secara bawaan, bounded replay untuk sliding-window attention yang hanya menghitung ulang 128 token terakhir saat cache ditemukan, serta keluaran terstruktur berbentuk regex, skema JSON, atau tata bahasa EBNF. Inferensi batch-invariant dan pengambilan sampel deterministik hanya tersedia di Nvidia.

Klaim performa dan hal yang tidak disertakan

Angka performa dibaca dari grafik milik DeepSeek sendiri dan belum diuji pihak independen. Pada dekode, MarkTechPost mencatat lebih dari 25.000 token per detik per GPU pada 256 request per rank dengan konteks 131.072 token, sekitar 100 token per detik per pengguna. Pada tahap prefill, angkanya sekitar 60.000 token per detik per GPU dan mendekati 90.000 pada 65.536 token per rank. Pengukuran memakai 4 GPU untuk prefill dan 64 GPU untuk dekode.

Rilis ini hanya untuk inferensi offline. Sistem KV cache, pemisahan prefill dan dekode, serta penyeimbang beban antarreplika data-parallel tidak ikut dibuka. DeepSeek menyebut komponen itu terkait erat dengan infrastruktur internalnya. Quartz mencatat DeepInfer "omits several parts of a full service". Artinya, pihak lain belum bisa meniru layanan penuh DeepSeek hanya dari repositori ini.

Lisensinya cukup longgar. Selain DeepInfer yang berlisensi Apache 2.0, lapisan encoding dan decoding token bernama deepseek-recipe memakai lisensi MIT, dan halaman repositori menyebut bobot DeepSeek-V4.1-Flash juga berlisensi MIT. Skrip untuk mengulang pengukuran performa tersedia di folder examples/sweep pada repositori.

Skala yang dibutuhkan juga tidak kecil. MarkTechPost menyebut unit produksi efisien terkecil adalah 64 GPU untuk prefill ditambah 64 GPU untuk dekode, jauh dari mesin satu kartu milik pengembang individu.

Dirilis saat DeepSeek ditekan di Amerika Serikat

Rilis ini muncul tak lama setelah Amerika Serikat memerintahkan lembaga sipil mencabut DeepSeek dari sistem TI. Halaman repositori yang dilihat pada Rabu (21/10/2026) menampilkan sekitar 17,4 ribu bintang dan 1,8 ribu fork, angka yang akan terus bergerak.

Yang masih ditunggu adalah apakah pengembang di luar DeepSeek mampu menambal bagian yang hilang itu sendiri, dan apakah dukungan model selain V4.1-Flash menyusul.