DeepSeek Buka Kode DeepInfer untuk Mendukung Pemrosesan Model AI pada Berbagai Chip

DeepSeek kembali menarik perhatian industri kecerdasan buatan setelah membuka kode sumber DeepInfer pada 20 Oktober 2026. Framework inferensi ini dirancang untuk membantu menjalankan model AI berskala besar dengan lebih efisien, terutama pada infrastruktur yang menggunakan jenis chip berbeda. Dalam rilis awalnya, DeepInfer mendukung GPU Nvidia berarsitektur SM100 serta NPU Huawei Ascend 950. Langkah tersebut memperlihatkan upaya DeepSeek memperluas pilihan perangkat keras tanpa mengabaikan kebutuhan performa dan efisiensi komputasi. Perkembangan TEKNOLOGI ini membuka peluang bagi pengembang dan perusahaan untuk mempelajari sistem inferensi yang digunakan dalam layanan DeepSeek, sekaligus memahami tantangan penerapannya pada pusat data modern.

Mengenal DeepInfer sebagai Framework AI Terbuka dari DeepSeek

Framework DeepInfer hadir sebagai perangkat lunak inferensi berkinerja tinggi yang dikembangkan guna menangani pemrosesan model pada infrastruktur pusat data. Berbeda dari proses pelatihan model yang membutuhkan pembaruan parameter, inferensi berkaitan dengan penggunaan model untuk menghasilkan keluaran. Dalam proses inferensi, sistem bertugas menangani permintaan dan memberikan jawaban dalam waktu yang sesuai. DeepInfer dirancang untuk mengelola proses tersebut secara terdistribusi. Melalui rancangan tersebut, DeepSeek membuka kesempatan mempelajari pengelolaan model skala besar.

Keputusan DeepSeek membuka kode DeepInfer memberikan kontribusi baru dalam ekosistem perangkat lunak AI. Proyek sumber terbuka ini dibagikan kepada komunitas pengembang menggunakan lisensi Apache 2.0. Skema distribusi perangkat lunak ini memberikan ruang pengembangan lanjutan sesuai persyaratan lisensi yang berlaku. DeepInfer sendiri dikembangkan berdasarkan kebutuhan operasional DeepSeek untuk menangani permintaan model dalam jumlah besar. Namun demikian, rilis publiknya belum mencakup seluruh komponen layanan online. Untuk memahami cakupan sebenarnya, pengembang harus membedakan kemampuan kode publik dan infrastruktur internal.

DeepInfer Mendukung GPU Nvidia dan NPU Huawei Ascend

Kemampuan yang paling menonjol adalah kemampuan menjalankan model pada perangkat keras dari dua produsen. Pada rilis sumber terbuka pertama, DeepInfer menyediakan jalur pemrosesan untuk keluarga GPU SM100 Nvidia dan NPU Huawei Ascend 950. Kompatibilitas awal ini memberikan gambaran strategi penggunaan berbagai chip. Pada banyak lingkungan komputasi, variasi perangkat lunak pendukung chip membutuhkan penyesuaian teknis tambahan. Dengan framework tersebut, DeepSeek berupaya menyediakan fondasi inferensi yang lebih fleksibel. Walaupun konsepnya mendukung berbagai chip, tidak berarti semua GPU dan NPU langsung kompatibel.

Perbedaan arsitektur perangkat keras memengaruhi cara model AI dijalankan. Akselerator grafis Nvidia menggunakan ekosistem CUDA untuk menjalankan operasi pemrosesan paralel. Di sisi lain, Huawei Ascend memanfaatkan ekosistem CANN yang dirancang untuk akselerator Ascend. Perbedaan tersebut membutuhkan optimasi khusus pada setiap arsitektur. Karena itu, kemampuan lintas chip bukan berarti performa identik pada seluruh perangkat. Pengembang tetap perlu menilai dukungan pustaka yang diperlukan sebelum memindahkan pekerjaan penting.

Teknologi DeepInfer untuk Meningkatkan Kecepatan Inferensi AI

Framework ini mengintegrasikan sejumlah komponen optimasi komputasi seperti FlashMLA, DeepGEMM, DeepEP, dan TileKernels. Berbagai pustaka tersebut memiliki fungsi dalam pengolahan operasi AI. FlashMLA mendukung perhitungan attention secara efisien, sedangkan DeepGEMM mendukung optimasi perhitungan matematika model. Di sisi komunikasi, DeepEP mendukung komunikasi pada sistem expert parallelism. Berkat integrasi pustaka khusus, framework berupaya mengurangi hambatan pemrosesan. Meski menawarkan kemampuan optimasi, manfaat sebenarnya bergantung pada model dan konfigurasi.

Selain optimasi kernel, DeepInfer mengintegrasikan mekanisme pembagian pekerjaan melalui attention data parallelism, context parallelism, serta mixture-of-experts expert parallelism. Pendekatan tersebut membantu mengalokasikan bagian model pada infrastruktur dengan banyak chip. Pada arsitektur AI berbasis MoE, hanya sejumlah expert dipilih untuk token tertentu. Framework ini turut mengintegrasikan mekanisme distribusi pekerjaan antar-expert agar sumber daya komputasi dapat dimanfaatkan secara efisien. Dalam proses pembangkitan token, DeepInfer mendukung pengaturan pekerjaan tanpa menunggu secara berlebihan untuk mengurangi jeda antara penjadwalan CPU dan eksekusi perangkat. Integrasi teknologi ini mendukung pengelolaan permintaan yang kompleks.

Inovasi Pemrosesan Model DeepSeek-V4.1-Flash pada DeepInfer

Teknologi optimasi yang turut disediakan DeepInfer adalah mekanisme pembangkitan token spekulatif. Teknik percepatan ini dirancang mempercepat proses generasi jawaban dengan membuat token draf sebelum diverifikasi. Melalui mekanisme framework ini, diintegrasikan pendekatan DSpark bersama confidence-scheduled verification untuk membantu menentukan waktu verifikasi kandidat. Metode percepatan ini membantu mempercepat keluaran model pada konfigurasi yang sesuai. Walaupun secara teknis menjanjikan, hasil penggunaan bergantung pada kondisi pemrosesan. Karena itu, pengujian performa tetap diperlukan berdasarkan karakteristik penggunaan model.

Untuk mendukung keluaran yang lebih terkontrol, tersedia fitur structured outputs yang memungkinkan pembatasan format respons. Berkat mekanisme keluaran terstruktur, model dapat diarahkan menghasilkan JSON berdasarkan aturan yang disediakan pengembang. Dukungan format khusus berguna dalam integrasi aplikasi yang membutuhkan data mudah diproses. Sebagai contoh, aplikasi pengelolaan dokumen dapat meminta model menghasilkan JSON berisi ringkasan informasi. Dengan format yang sesuai, aplikasi lain lebih mudah membaca hasil. Kendati keluaran mengikuti struktur, pemeriksaan hasil masih diperlukan sebelum dijadikan dasar tindakan otomatis.

Cara Memulai DeepInfer dan Batasan Rilis Sumber Terbuka

Pengembang yang ingin mencoba DeepInfer harus memastikan kompatibilitas perangkat keras. Menurut persyaratan yang tersedia, DeepInfer membutuhkan sistem operasi Linux, Python 3.12, serta GCC versi 13 atau lebih baru. Untuk akselerator Nvidia, lingkungan memerlukan CUDA 13. Di sisi lain, implementasi Ascend menggunakan lingkungan CANN versi 9.2. Ketika lingkungan sudah disiapkan, kode sumber dapat diperoleh dari repositori DeepSeek. Dalam proses instalasi, konfigurasi target perangkat keras harus dipilih melalui variabel DEEPINFER_ACCELERATOR dengan nilai nvidia atau ascend. Langkah konfigurasi tersebut memastikan sistem memilih backend yang sesuai.

Ketika framework selesai dikompilasi, pengguna dapat menjalankan contoh inferensi offline. Pada rilis saat ini, DeepInfer difokuskan pada model DeepSeek-V4.1-Flash. Berkas model terkait dapat dimuat dari sumber checkpoint yang kompatibel, dengan persyaratan kapasitas komputasi sesuai ukuran model. Walaupun framework ini digunakan pada infrastruktur DeepSeek, rilis sumber terbuka tidak mencakup keseluruhan komponen operasional produksi. Beberapa bagian penting mencakup sistem pengelolaan KV cache, mekanisme disaggregated deployment secara lengkap, serta load balancing antar-replika. Oleh sebab itu, integrasi tambahan tetap diperlukan.

Masa Depan Inferensi Kecerdasan Buatan dengan Dukungan Multi-Chip

Keputusan DeepSeek membuka kode framework ini berpotensi memengaruhi perkembangan infrastruktur AI. Kompatibilitas pada dua platform perangkat keras menunjukkan bahwa optimasi lintas vendor semakin penting. Pada berbagai lingkungan pengembangan model, pemilihan perangkat keras sering dipengaruhi ekosistem perangkat lunak. Jika dukungan DeepInfer berkembang, perusahaan mungkin dapat membandingkan beberapa jenis chip. Walaupun manfaat potensialnya besar, kinerja pada setiap arsitektur harus dibandingkan secara objektif. Pertimbangan teknis penting meliputi waktu pembangkitan token, kapasitas pemrosesan, kebutuhan daya listrik, serta pengeluaran infrastruktur.

Untuk komunitas pengembang AI, publikasi kode DeepInfer mendukung penelitian terhadap sistem pemrosesan terdistribusi. Tim teknis memiliki kesempatan untuk mengevaluasi mekanisme penjadwalan, membandingkan berbagai konfigurasi, serta berkontribusi pada penyempurnaan proyek. Berkat model distribusi yang digunakan, kontribusi perangkat lunak berpotensi berkembang. Walaupun kode tersedia secara terbuka, biaya komputasi masih perlu dipertimbangkan. Model besar membutuhkan kapasitas memori tinggi. Dalam penggunaan nyata, pengembang perlu memahami kompleksitas penerapan sebelum memindahkan sistem penting ke framework baru.

Perkembangan TEKNOLOGI AI melalui Framework Terbuka DeepInfer

Peluncuran framework DeepInfer dari DeepSeek memberikan kontribusi baru dalam ekosistem inferensi kecerdasan buatan. Berkat integrasi GPU Nvidia SM100 dan NPU Huawei Ascend 950, DeepInfer mendukung eksperimen pada dua ekosistem akselerator. Kombinasi teknologi percepatan komputasi, paralelisme, speculative decoding, dan keluaran terstruktur berpotensi meningkatkan kemampuan pemrosesan model. Namun demikian, rilis publik belum mencakup seluruh komponen produksi. Karena kondisi tersebut, penerapan harus direncanakan secara realistis. Dalam perkembangan TEKNOLOGI modern, DeepInfer dapat membantu penelitian sistem inferensi. Dari sudut pandang Anda, apakah perangkat lunak inferensi lintas akselerator akan mendorong persaingan yang lebih sehat dalam industri komputasi? Ceritakan pengalaman atau pemikiran Anda mengenai peluang penggunaan berbagai chip untuk kecerdasan buatan.