AMD Memperkenalkan 135M: Model Bahasa Kecil Pertamanya dengan Penyahkodan Spekulatif

BigGo Editorial Team
AMD Memperkenalkan 135M: Model Bahasa Kecil Pertamanya dengan Penyahkodan Spekulatif

AMD telah membuat langkah pertamanya dalam dunia model bahasa kecil dengan pelancaran AMD-135M, menunjukkan aspirasi syarikat yang semakin berkembang dalam bidang AI. Model baru ini bertujuan untuk menyediakan keupayaan AI yang cekap untuk perniagaan sambil memanfaatkan kekuatan perkakasan AMD.

Sorotan utama AMD-135M:

  • Dua varian: AMD-Llama-135M untuk kegunaan umum dan AMD-Llama-135M-code yang dioptimumkan untuk tugas pengkodan
  • Proses latihan:
    • Model asas dilatih pada 670 bilion token selama 6 hari
    • Varian kod diperhalusi dengan tambahan 20 bilion token selama 4 hari
    • Menggunakan empat nod berasaskan AMD Instinct MI250 8-hala untuk latihan
  • Penyahkodan spekulatif: Menggunakan model draf yang lebih kecil untuk menjana pelbagai token calon secara serentak, disahkan oleh model sasaran yang lebih besar
  • Tuntutan prestasi: AMD melaporkan peningkatan kelajuan yang ketara pada perkakasan mereka berbanding dengan inferens tanpa penyahkodan spekulatif

Pengenalan AMD-135M menandakan niat syarikat untuk bersaing dalam ruang model AI, berpotensi mencabar dominasi NVIDIA. Dengan memberi tumpuan kepada model bahasa kecil, AMD mensasarkan ceruk yang mungkin sangat berharga untuk perniagaan yang memerlukan penyelesaian AI di premis dengan permintaan pengkomputeran yang lebih rendah.

Pendekatan AMD untuk menjadikan kod latihan, set data, dan pemberat AMD-135M sebagai sumber terbuka boleh menggalakkan kerjasama dan inovasi dalam komuniti AI. Langkah ini selaras dengan trend yang semakin berkembang dalam pembangunan AI yang lebih mudah diakses dan telus.

Walaupun tuntutan prestasi kelihatan menjanjikan, perlu diingat bahawa penanda aras telah dijalankan oleh AMD sendiri. Ujian bebas akan menjadi penting untuk mengesahkan keputusan ini merentasi pelbagai senario dan konfigurasi perkakasan yang berbeza.

Sementara AMD terus membangunkan portfolio AI-nya, termasuk tawaran perkakasan dan perisian, industri teknologi akan mengawasi dengan teliti untuk melihat bagaimana ini memberi kesan kepada landskap persaingan dan memacu inovasi dalam teknologi AI.