Dakwaan terbaru oleh Cerebras mengenai kelebihan prestasi inferens AI berbanding GPU NVIDIA telah mencetuskan perbincangan hangat dalam komuniti teknologi, mengetengahkan kedua-dua pencapaian berpotensi dan cabaran penting dalam landskap perkakasan AI.
Batasan Memori Menimbulkan Kebimbangan
Satu isu kritikal yang dibangkitkan oleh komuniti adalah kapasiti SRAM Cerebras yang terhad. Walaupun syarikat itu membanggakan 44GB SRAM dalam sistem CS-3 mereka, jumlah ini tidak mencukupi untuk model yang lebih besar. Seperti yang dinyatakan oleh pengguna 'menaerus':
CS-1 mempunyai 18G SRAM, CS-2 meningkat kepada 40G dan CS-3 mempunyai 44G SRAM. Tidak satupun daripada ini mencukupi untuk menjalankan inferens Llama 70B apatah lagi model yang lebih besar.
Pertimbangan Kos-Prestasi
Aspek ekonomi penyelesaian Cerebras telah menarik perhatian khusus. Pada kos $900 juta untuk 576 nod CS-3 ($1.56 juta setiap nod), struktur kos kelihatan mencabar. Analisis komuniti mendedahkan:
- 4 nod CS-3 ($6.24M) diperlukan untuk mengendalikan satu model 70B
- Kluster AMD MI300x yang setanding (~$5M) boleh mengendalikan pelbagai model dengan 24,576GB memori gabungan
- TPU v5e Google Cloud menawarkan 2,175 token/saat pada Llama2 70B dengan kos kira-kira $100K setahun
Landskap Persaingan
AMD dan Google muncul sebagai pesaing yang kuat:
- AMD MI300x menawarkan 192GB memori HBM3 setiap unit
- MI325x akan menyediakan 256GB HBM3e
- TPU v6 Google yang baru diumumkan menjanjikan peningkatan 4x dalam prestasi latihan dan 3x dalam pemprosesan inferens
Potensi Pasaran Khusus
Walaupun terdapat batasan, Cerebras mungkin berjaya dalam kes penggunaan tertentu. Seperti yang dinyatakan oleh 'krasin', teknologi mereka boleh menjadi berharga untuk maklum balas latency rendah: perbualan audio dengan LLM, robotik, dan sebagainya. Walau bagaimanapun, ini mewakili segmen yang kecil dalam pasaran AI secara keseluruhan.
Konsensus komuniti mencadangkan bahawa walaupun Cerebras menunjukkan prestasi yang menjanjikan dalam senario tertentu, batasan memori dan kos tinggi mungkin menghadkan penggunaan pasaran yang lebih luas. Strategi syarikat untuk memberi subsidi kadar penggunaan awan berbanding jualan perkakasan juga menimbulkan persoalan tentang kemampanan perniagaan jangka panjang.