DeepSeek Buka Kode DeepInfer untuk Mendukung Pemrosesan Model AI pada Berbagai Chip

DeepSeek kembali menarik perhatian industri kecerdasan buatan setelah membuka kode sumber DeepInfer pada 20 Oktober 2026. Framework inferensi ini dirancang untuk membantu menjalankan model AI berskala besar dengan lebih efisien, terutama pada infrastruktur yang menggunakan jenis chip berbeda. Dalam rilis awalnya, DeepInfer mendukung GPU Nvidia berarsitektur SM100 serta NPU Huawei Ascend 950. Langkah tersebut memperlihatkan upaya DeepSeek memperluas pilihan perangkat keras tanpa mengabaikan kebutuhan performa dan efisiensi komputasi. Perkembangan TEKNOLOGI ini membuka peluang bagi pengembang dan perusahaan untuk mempelajari sistem inferensi yang digunakan dalam layanan DeepSeek, sekaligus memahami tantangan penerapannya pada pusat data modern.

DeepSeek Memperkenalkan DeepInfer untuk Infrastruktur Kecerdasan Buatan

DeepInfer merupakan sistem pemrosesan model kecerdasan buatan yang dirancang untuk mendukung pelayanan permintaan kecerdasan buatan dalam jumlah tinggi. Berbeda dari proses pelatihan model yang membutuhkan pembaruan parameter, inferensi berfungsi memproses permintaan menggunakan kemampuan model yang tersedia. Pada tahap tersebut, sistem bertugas menangani permintaan dan menyusun keluaran dengan latensi rendah. Framework ini dikembangkan untuk meningkatkan efisiensi eksekusi model. Melalui rancangan tersebut, DeepSeek berupaya memperluas akses terhadap teknologi inferensi.

Dirilisnya framework DeepInfer secara terbuka memberikan kontribusi baru dalam industri infrastruktur kecerdasan buatan. Proyek sumber terbuka ini tersedia melalui GitHub menggunakan lisensi Apache 2.0. Ketentuan sumber terbuka tersebut memungkinkan penggunaan dan modifikasi kode sesuai ketentuan Apache 2.0. Framework yang baru dirilis ini berasal dari teknologi yang digunakan DeepSeek untuk mengoptimalkan pemrosesan model pada infrastruktur nyata. Walaupun telah digunakan dalam lingkungan DeepSeek, rilis publiknya belum mencakup seluruh komponen layanan online. Untuk memahami cakupan sebenarnya, pengembang sebaiknya memeriksa batas dukungan framework.

DeepInfer Mendukung GPU Nvidia dan NPU Huawei Ascend

Kemampuan yang paling menonjol adalah dukungan terhadap dua keluarga akselerator berbeda. Dalam versi awal, DeepInfer dapat digunakan pada akselerator Nvidia berarsitektur SM100 dan NPU Huawei Ascend 950. Kompatibilitas awal ini memperlihatkan pendekatan lintas platform. Selama ini, variasi perangkat lunak pendukung chip menjadi salah satu tantangan penerapan. Melalui DeepInfer, DeepSeek memperluas pilihan infrastruktur bagi operator AI. Walaupun konsepnya mendukung berbagai chip, dukungan belum mencakup seluruh jenis akselerator.

Variasi teknologi akselerator menimbulkan kebutuhan penyesuaian perangkat lunak. Akselerator grafis Nvidia mengandalkan teknologi komputasi CUDA untuk menjalankan operasi pemrosesan paralel. Sementara itu, Huawei Ascend mengandalkan lingkungan komputasi CANN yang mendukung operasi pada perangkat keras Huawei. Variasi lingkungan pengembangan tersebut membutuhkan optimasi khusus pada setiap arsitektur. Karena itu, kemampuan lintas chip tidak menghilangkan kebutuhan optimasi khusus. Operator infrastruktur dianjurkan menguji kestabilan implementasi sebelum menjalankan model pada produksi.

Bagaimana DeepInfer Mengelola Beban Kerja Model Bahasa Besar?

Sistem inferensi DeepSeek tersebut memanfaatkan berbagai teknologi percepatan model seperti FlashMLA, DeepGEMM, DeepEP, dan TileKernels. Komponen tersebut memiliki fungsi dalam pengolahan operasi AI. Komponen pengolahan attention FlashMLA digunakan dalam pemrosesan perhatian model, sedangkan DeepGEMM berfokus pada operasi perkalian matriks. Sementara pustaka DeepEP digunakan untuk kebutuhan komunikasi antarproses. Dengan menggabungkan komponen tersebut, framework mendukung pengolahan permintaan secara lebih efisien. Namun demikian, hasilnya dipengaruhi perangkat keras serta jenis pekerjaan.

Selain optimasi kernel, DeepInfer mendukung pemrosesan paralel melalui attention data parallelism, context parallelism, serta mixture-of-experts expert parallelism. Pendekatan tersebut membantu mengalokasikan bagian model pada infrastruktur dengan banyak chip. Pada arsitektur AI berbasis MoE, tidak semua bagian model harus aktif bersamaan. DeepInfer juga menyertakan pengaturan keseimbangan beban expert agar pekerjaan tidak terkonsentrasi pada perangkat tertentu. Selain itu, sistem mengandalkan asynchronous scheduling untuk mendukung penggunaan sumber daya yang lebih optimal. Pendekatan pemrosesan tersebut mendukung pengelolaan permintaan yang kompleks.

Fitur Speculative Decoding dan Output Terstruktur DeepInfer

Salah satu kemampuan tambahan DeepInfer adalah speculative decoding. Teknik percepatan ini membantu meningkatkan kecepatan pembangkitan token dengan membuat token draf sebelum diverifikasi. Pada sistem yang dikembangkan DeepSeek, tersedia metode DSpark bersama confidence-scheduled verification untuk membantu menentukan waktu verifikasi kandidat. Optimasi decoding tersebut dapat mengurangi hambatan pembangkitan pada konfigurasi yang sesuai. Meski menawarkan potensi percepatan, peningkatan kinerja dapat bervariasi. Oleh sebab itu, operator sebaiknya mengevaluasi kebutuhan komputasi berdasarkan karakteristik penggunaan model.

Selain percepatan token, framework ini menghadirkan fitur structured outputs yang membantu memastikan jawaban mengikuti aturan format. Melalui kemampuan tersebut, model bisa menghasilkan keluaran sesuai grammar tertentu berdasarkan aturan yang disediakan pengembang. Dukungan format khusus memiliki manfaat bagi pengembangan layanan digital yang membutuhkan data mudah diproses. Dalam penerapan praktis, aplikasi pengelolaan dokumen mampu mengolah respons yang mengikuti skema berisi ringkasan informasi. Dengan format yang sesuai, pengolahan data dapat dilakukan secara lebih terarah. Meski demikian, kebenaran isi tetap harus divalidasi sebelum digunakan untuk keputusan penting.

Persyaratan Instalasi DeepInfer untuk Pengembang AI

Untuk memulai eksperimen menggunakan DeepInfer harus memastikan kompatibilitas perangkat keras. Menurut persyaratan yang tersedia, DeepInfer menggunakan Linux sebagai platform sistem operasi, Python 3.12, serta GCC versi 13 atau lebih baru. Pada konfigurasi berbasis Nvidia, lingkungan harus mendukung CUDA versi 13. Sementara itu, implementasi Ascend menggunakan lingkungan CANN versi 9.2. Ketika lingkungan sudah disiapkan, kode sumber dapat diperoleh dari repositori DeepSeek. Selanjutnya, lingkungan komputasi perlu disesuaikan melalui variabel DEEPINFER_ACCELERATOR dengan nilai nvidia atau ascend. Tahapan pengaturan ini menghindari penggunaan dependensi perangkat yang keliru.

Setelah instalasi berhasil, pengguna memiliki kesempatan menguji kemampuan model secara lokal pada server. Berdasarkan dukungan model yang diumumkan, DeepInfer difokuskan pada model DeepSeek-V4.1-Flash. Model tersebut dapat dimuat dari sumber checkpoint yang kompatibel, dengan kebutuhan perangkat keras yang harus diperhitungkan. Meski DeepInfer berasal dari sistem produksi, rilis sumber terbuka tidak mencakup keseluruhan komponen operasional produksi. Fasilitas yang belum disertakan secara lengkap mencakup sistem pengelolaan KV cache, pemisahan layanan vision encoder, prefill, dan decode, serta load balancing antar-replika. Oleh sebab itu, operator perlu membangun pengelolaan layanan tersendiri.

Masa Depan Inferensi Kecerdasan Buatan dengan Dukungan Multi-Chip

Keputusan DeepSeek membuka kode framework ini mendorong penelitian komputasi kecerdasan buatan. Kompatibilitas pada dua platform perangkat keras menunjukkan bahwa optimasi lintas vendor semakin penting. Dalam banyak sistem komputasi AI, ketergantungan pada pustaka tertentu dapat membatasi pilihan. Ketika teknologi ini memperoleh optimasi tambahan, perusahaan mungkin dapat membandingkan beberapa jenis chip. Walaupun manfaat potensialnya besar, biaya implementasi tetap perlu diperhitungkan. Aspek yang perlu dievaluasi mencakup latensi layanan, jumlah permintaan yang diproses, efisiensi penggunaan energi, serta total biaya pengoperasian layanan.

Untuk komunitas pengembang AI, publikasi kode DeepInfer mendukung penelitian terhadap sistem pemrosesan terdistribusi. Peneliti berpeluang mengevaluasi mekanisme penjadwalan, menganalisis efisiensi perangkat keras, serta membagikan hasil eksperimen kepada komunitas. Berkat model distribusi yang digunakan, kolaborasi pengembangan memiliki ruang lebih luas. Walaupun kode tersedia secara terbuka, kebutuhan sumber daya tetap menjadi tantangan. Model besar sering mengandalkan jaringan serta penyimpanan cepat. Oleh sebab itu, organisasi harus menilai kesiapan infrastrukturnya sebelum mengadopsinya pada layanan pelanggan.

Kesimpulan DeepInfer dan Masa Depan Pemrosesan AI

Pembukaan kode sumber DeepInfer memberikan kontribusi baru dalam ekosistem inferensi kecerdasan buatan. Dengan dukungan GPU Nvidia SM100 dan NPU Huawei Ascend 950, DeepInfer mendukung eksperimen pada dua ekosistem akselerator. Perpaduan pustaka pemrosesan berperforma tinggi, paralelisme, speculative decoding, dan keluaran terstruktur mendukung pengembangan layanan kecerdasan buatan. Meski framework ini menjanjikan, dukungan model masih terbatas. Karena kondisi tersebut, pengembang perlu memahami kebutuhan sistem secara menyeluruh. Di tengah persaingan industri chip AI, DeepInfer dapat membantu penelitian sistem inferensi. Bagaimana pendapat Anda, apakah perangkat lunak inferensi lintas akselerator akan mendorong persaingan yang lebih sehat dalam industri komputasi? Ceritakan pengalaman atau pemikiran Anda mengenai peluang penggunaan berbagai chip untuk kecerdasan buatan.