Meta baru saja meluncurkan dua model bahasa besar (LLM) baru dalam seri Llama 4: Llama 4 Scout dan Llama 4 Maverick. Kedua model ini merupakan model *open-weight native* yang memungkinkan akses publik terhadap parameter bobot modelnya. Keunggulan utama mereka terletak pada kemampuan memproses jumlah teks yang lebih besar dibandingkan pendahulunya, berkat arsitektur *Mixture of Experts* (MoE) yang inovatif.
Arsitektur MoE memungkinkan model untuk menggunakan beberapa sub-model khusus (“experts”) untuk menangani bagian-bagian berbeda dari input teks. Hal ini meningkatkan efisiensi komputasi, terutama dalam pelatihan dan menjawab pertanyaan. Kedua model ini dilatih dengan menggunakan sejumlah besar teks, gambar, dan video tanpa label, memberikan pemahaman yang lebih komprehensif terhadap berbagai jenis data.
Perbedaan Llama 4 Scout dan Llama 4 Maverick
Meskipun sama-sama menggunakan arsitektur MoE, Scout dan Maverick memiliki spesifikasi dan keunggulan yang berbeda. Scout dirancang untuk tugas-tugas yang lebih ringan, seperti meringkas dokumen dan penalaran berbasis kode. Ia memiliki jendela konteks yang besar, mencapai 10 juta token, memungkinkannya memproses dokumen panjang dengan jutaan kata.
Sementara itu, Maverick adalah model yang lebih kuat dan kompleks, membutuhkan sumber daya komputasi yang lebih besar. Maverick memiliki 400 miliar parameter total, meskipun hanya 17 miliar parameter yang aktif. Hasil pengujian internal menunjukkan Maverick unggul dalam berbagai tugas, termasuk menjadi asisten virtual, menghasilkan teks kreatif, memecahkan masalah, penalaran, dan pemahaman multibahasa.
Spesifikasi Teknis
Dari segi spesifikasi hardware, Scout dapat berjalan menggunakan satu GPU Nvidia H100, sedangkan Maverick membutuhkan sistem yang lebih kuat, seperti satu Nvidia H100 DGX atau setara. Perbedaan ini mencerminkan perbedaan kemampuan dan kompleksitas kedua model.
Llama 4 Scout memiliki 109 miliar parameter total, 17 miliar parameter aktif, dan 16 “experts”. Sedangkan Llama 4 Maverick memiliki 400 miliar parameter total, 17 miliar parameter aktif, dan 128 “experts”. Parameter aktif merupakan variabel internal yang disesuaikan selama pelatihan untuk meningkatkan kinerja model.
Perbandingan dengan Model AI Lain
Meta mengklaim bahwa Maverick menghasilkan teks kreatif yang lebih unggul daripada GPT-40 milik OpenAI dan Gemini 2.0 milik Google. Ia juga unggul dalam pemecahan masalah, penalaran, kemampuan multibahasa, menjawab pertanyaan kompleks, pengkodean, dan analisis gambar. Sementara itu, Scout digambarkan sebagai model terbaik di kelasnya dalam mengolah gambar dan menghubungkan petunjuk pengguna dengan konsep visual yang relevan.
Meta juga sedang mengembangkan model LLM yang lebih canggih bernama Behemoth. Behemoth memiliki 2 triliun parameter total, 288 miliar parameter aktif, dan 16 experts, diproyeksikan akan melampaui model AI kompetitor seperti GPT-4.5, Claude 3.7 Sonnet, dan Gemini 2.0 Pro. Namun, Behemoth masih dalam tahap pengembangan.
Kesimpulan
Peluncuran Llama 4 Scout dan Llama 4 Maverick menandai langkah signifikan Meta dalam pengembangan LLM. Kedua model ini menawarkan kemampuan yang mengesankan dan arsitektur yang efisien. Dengan adanya perbedaan spesifikasi dan kemampuan, Meta menyediakan pilihan model yang sesuai dengan berbagai kebutuhan dan sumber daya komputasi. Kehadiran Behemoth di masa depan menjanjikan perkembangan lebih lanjut dalam kemampuan LLM Meta.
Penting untuk dicatat bahwa “token” dalam konteks LLM merujuk pada potongan-potongan teks mentah yang digunakan untuk memproses informasi. Sebuah kalimat dapat dipecah menjadi beberapa token. Jendela konteks yang besar pada Scout menunjukkan kemampuannya untuk memproses informasi dari sejumlah besar teks sekaligus.
