Apa Itu MoE dan CoT di DeepSeek? Keunggulan AI Baru Asal China Pesaing ChatGPT dan Google Gemini

Kedua model ini dirancang untuk memenuhi kebutuhan yang berbeda, menawarkan efisiensi tinggi, dan menantang dominasi model AI terkemuka seperti GPT-4o dari OpenAI.

Meski berasal dari arsitektur dasar yang sama, keduanya memiliki fokus dan keunggulan yang membedakannya.

DeepSeek-V3, yang dirilis pada Desember 2024, adalah model berbasis Mixture-of-Experts (MoE) dengan total 671 miliar parameter. Namun, hanya 37 miliar parameter yang diaktifkan per token selama proses inferensi, membuatnya sangat efisien. 

Model ini mampu menangani jendela konteks hingga 128.000 token dan menghasilkan output hingga 8.000 token.

Fokus utama DeepSeek-V3 adalah menyelesaikan tugas-tugas umum, seperti menjawab pertanyaan sehari-hari, memahami bahasa alami, dan menghasilkan konten kreatif. Model ini dirancang untuk memberikan solusi yang cepat dan efektif bagi pengguna dengan kebutuhan yang beragam.

Sementara itu, DeepSeek-R1, yang diluncurkan pada Januari 2025, mengambil langkah lebih jauh. Dibangun di atas fondasi DeepSeek-V3, model ini menggunakan teknik reinforcement learning untuk meningkatkan kemampuan penalaran (reasoning) dan pemecahan masalah kompleks. 

Dengan kapasitas output yang diperluas hingga 32.000 token, DeepSeek-R1 dirancang untuk tugas-tugas yang membutuhkan analisis mendalam, seperti matematika tingkat lanjut, logika berantai, dan pemrograman. 

Model ini tidak hanya unggul dalam memahami konteks yang kompleks, tetapi juga dalam menghasilkan respons yang lebih detail dan terstruktur.

Perbedaan utama antara keduanya terletak pada tujuan dan fokusnya. DeepSeek-V3 lebih cocok untuk tugas-tugas umum dengan efisiensi tinggi, sementara DeepSeek-R1 diarahkan untuk aplikasi yang membutuhkan kemampuan berpikir kritis dan pemecahan masalah yang mendalam. 

Selain itu, kapasitas output DeepSeek-R1 yang lebih besar memungkinkan model ini memberikan jawaban yang lebih panjang dan komprehensif, menjadikannya ideal untuk skenario penggunaan yang lebih kompleks.

Pemanfaatan Nvidia H800

Untuk melatih model-model ini, DeepSeek menggunakan 2.048 unit Nvidia H800 GPU, yang memiliki spesifikasi lebih rendah dibandingkan H100 yang sering digunakan perusahaan AI di AS. 

Pelatihan memakan waktu sekitar 2.788 juta jam GPU, dengan biaya total sekitar 5.58 dollar juta AS. Efisiensi ini jauh melampaui model seperti GPT-4o, yang dilatih menggunakan ribuan chip H100 dan investasi puluhan miliar dolar.

Pembatasan ekspor chip oleh AS memaksa Tiongkok menggunakan chip seperti H800 yang memiliki performa lebih rendah. Namun, keterbatasan ini justru mendorong inovasi, seperti penggunaan teknik distillation. 

Dengan teknik ini, model AI dilatih untuk fokus pada tugas-tugas spesifik, sehingga lebih efisien dalam hal konsumsi sumber daya, tanpa mengorbankan performa pada tugas tertentu.

Perbandingan biaya dengan model AI AS

Biaya pengembangan DeepSeek menunjukkan efisiensi luar biasa:

• DeepSeek-R1: Dilatih dalam waktu sekitar dua bulan dengan biaya sekitar 6 juta dollar AS atau sekitar Rp 97 milliar. 
• GPT-4: Dilatih dengan biaya hingga 63 juta dollar AS atau sekitar Rp 1 triliun, menggunakan infrastruktur GPU yang jauh lebih mahal dan sumber daya lebih besar.