Para penyelidik telah menunjukkan kejayaan dalam kecekapan model bahasa dengan membuktikan bagaimana model yang lebih kecil boleh mencapai prestasi setanding dengan model yang jauh lebih besar melalui teknik carian dan pengesahan yang inovatif. Perkembangan ini boleh merevolusikan cara kita menggunakan sistem AI, terutamanya dalam persekitaran yang mempunyai sumber terhad.
Carian dan Pembelajaran: Pendekatan Baru untuk Penskalaan Model
Penyelidikan ini mendedahkan bahawa model bahasa yang lebih kecil, apabila digabungkan dengan strategi carian canggih dan sistem pengesahan, boleh menyamai atau melebihi prestasi model yang lebih besar. Sebagai contoh, model 1B parameter yang menggunakan teknik ini boleh mengatasi model 8B standard, manakala model 3B boleh mencapai keputusan setanding dengan model 70B untuk tugasan tertentu. Pendekatan ini memberi tumpuan kepada penskalaan pengiraan masa ujian atau pengiraan masa inferens berbanding hanya meningkatkan saiz model.
Perbandingan Prestasi Model:
- Model parameter 1B + teknik pencarian boleh mengatasi prestasi model 8B
- Model parameter 3B + teknik pencarian boleh menyamai prestasi model 70B
- Pertukaran: Masa pengkomputeran yang lebih tinggi untuk model yang lebih kecil berbanding keperluan memori yang lebih tinggi untuk model yang lebih besar
Pelaksanaan Teknikal dan Pengesahan
Sistem ini menggunakan pendekatan dua bahagian: model penyelesai yang menghasilkan penyelesaian langkah demi langkah, dan model pengesah yang menilai penyelesaian ini. Prosesnya melibatkan pensampelan pelbagai laluan penyelesaian yang mungkin dan menggunakan carian alur untuk meneroka laluan yang paling menjanjikan. Ini membolehkan sistem mempertimbangkan pelbagai pendekatan untuk sesuatu masalah dan memilih penyelesaian yang paling berkesan.
Untuk menggunakan lebih banyak pengiraan pada masa inferens, sekurang-kurangnya dua pendekatan mudah tersedia: membuat output model penyelesaian penuh langkah demi langkah dan mendorongnya untuk menyemak semula penyelesaian, atau mensampling penyelesaian langkah demi langkah dan menggunakan model pengesah untuk memilih antara calon langkah seterusnya.
Komponen Utama:
- Model penyelesai: Menjana penyelesaian langkah demi langkah
- Model pengesah: Menilai kualiti penyelesaian
- Strategi pencarian: Menggunakan pencarian beam untuk meneroka laluan penyelesaian
Aplikasi Praktikal dan Batasan
Walaupun pendekatan ini menunjukkan potensi, terutamanya untuk peranti tepi seperti telefon pintar yang tidak dapat menjalankan model besar, terdapat beberapa pertimbangan yang perlu diambil kira. Kaedah ini memerlukan lebih banyak masa pengiraan untuk mencapai keputusan yang setanding dengan model yang lebih besar. Walau bagaimanapun, pertukaran antara memori dan masa pengiraan ini membuka kemungkinan baru untuk menggunakan keupayaan AI termaju pada peranti yang mempunyai sumber terhad.
Implikasi Masa Depan
Penyelidikan ini sejajar dengan pengajaran pahit pembangunan AI - bahawa kaedah tujuan umum yang berkembang dengan kuasa pengkomputeran sering terbukti paling berkesan dalam jangka panjang. Pendekatan ini menunjukkan bagaimana penggunaan carian dan pembelajaran yang bijak berpotensi mendemokratikan akses kepada keupayaan AI termaju tanpa memerlukan saiz model yang besar.
Rujukan: Search and Learn