Pelancaran terbaru go-attention, implementasi mekanisme perhatian dan lapisan transformer dalam bahasa Go tulen, telah mencetuskan perbahasan yang signifikan dalam komuniti pembangun mengenai batasan prestasi Go untuk tugas-tugas yang memerlukan pengiraan intensif seperti pembelajaran mesin.
Walaupun pustaka ini bertujuan untuk menyediakan implementasi yang bersih tanpa kebergantungan luaran, maklum balas komuniti menunjukkan ia mungkin menghadapi cabaran prestasi yang besar berbanding alternatif dalam bahasa-bahasa yang mempunyai sokongan lebih baik untuk pecutan perkakasan.
Kebimbangan Prestasi Mendominasi Perbincangan
Pembangun dalam komuniti telah membangkitkan kebimbangan serius mengenai implikasi prestasi dalam mengimplementasikan mekanisme perhatian dalam Go tulen. Beberapa pengulas menyatakan bahawa Go kekurangan sokongan SIMD (Single Instruction, Multiple Data) asli, yang penting untuk operasi vektor dan matriks yang menjadi tulang belakang model transformer. Seorang pembangun menyatakan bahawa Go terlalu lambat apabila berkaitan dengan matematik dan tanpa arahan CPU SIMD, implementasi tersebut mungkin beratus kali lebih perlahan daripada kod setara dalam C, C++, Rust, atau bahkan Python dan Java (yang biasanya memanggil pustaka C/C++ yang dioptimumkan).
Ketiadaan sokongan GPU/CUDA dalam pustaka ini juga diketengahkan sebagai batasan yang signifikan, kerana implementasi transformer moden sangat bergantung pada pecutan GPU untuk prestasi praktikal. Beberapa pembangun mencadangkan bahawa penggunaan pengikatan Go untuk pustaka yang telah mantap seperti llama.cpp akan menjadi pendekatan yang lebih pragmatik untuk kes penggunaan produksi.
Batasan Prestasi yang Diketengahkan oleh Komuniti:
- Kekurangan sokongan asli SIMD (Single Instruction, Multiple Data)
- Tiada pecutan GPU/CUDA
- Kod skalar yang beroperasi pada nilai fp64 tunggal
- Berkemungkinan "beberapa kali ganda lebih perlahan" berbanding pelaksanaan C/C++/Rust
Alternatif yang Dicadangkan:
- Menggunakan pengikatan Go untuk llama.cpp
- Melaksanakan bahagian kritikal dalam pemasangan Go (Goasm)
- Menggunakan pakej khusus seperti viterin/vek atau kelindar/simd
- Menggunakan Go sebagai penjana kod JIT dengan cgo
Pendekatan Alternatif dan Penyelesaian
Beberapa pembangun menawarkan penyelesaian yang berpotensi untuk mengatasi masalah prestasi. Satu cadangan melibatkan penggunaan sokongan assembly Go (Goasm) untuk mengimplementasikan operasi matematik yang kritikal. Yang lain menyebut pakej Go sedia ada seperti viterin/vek atau kelindar/simd yang boleh membantu meningkatkan prestasi melalui penggunaan SIMD yang lebih baik.
Satu pendekatan alternatif yang menarik dicadangkan oleh seorang pembangun yang menerangkan penggunaan Go sebagai penjana kod JIT, menghubungkan hasil secara dinamik, dan melompat ke dalamnya dengan cgo untuk mencapai prestasi yang lebih baik yang dengan mudah menepui unit matematik vektor CPU. Ini menunjukkan penyelesaian kreatif yang sedang diterokai oleh pembangun untuk mengatasi batasan prestasi asli Go untuk operasi matematik.
Nilai Pendidikan Walaupun Ada Isu Prestasi
Walaupun terdapat kebimbangan prestasi, beberapa ahli komuniti menghargai nilai pendidikan implementasi tersebut. Seorang pengulas menyatakan bahawa pustaka ini menyediakan peluang untuk mengkaji [mekanisme perhatian] pada tahap implementasi berbanding dengan membaca blog. Ini menunjukkan bahawa walaupun pustaka ini tidak sesuai untuk beban kerja produksi, ia memainkan peranan penting dalam menjadikan algoritma ini lebih mudah diakses dan difahami oleh pembangun Go.
Apabila menganalisis kod dengan alat seperti Ghidra, pembangun mengesahkan bahawa implementasi tersebut dikompilasi kepada kod skalar yang beroperasi pada nilai fp64 tunggal, menguatkan lagi kebimbangan prestasi. Konsensus yang muncul adalah bahawa walaupun pustaka ini mungkin berguna untuk pembelajaran dan prototaip, aplikasi produksi mungkin memerlukan pendekatan alternatif yang boleh memanfaatkan pecutan perkakasan.
Perbincangan mengenai go-attention mencerminkan ketegangan yang lebih luas dalam ekosistem Go antara penekanan bahasa terhadap kesederhanaan dan kebolehbacaan berbanding tuntutan prestasi domain pengkomputeran intensif seperti pembelajaran mesin. Seperti yang dinyatakan oleh seorang pembangun:
Tanpa menggunakan arahan CPU SIMD, ia akan menjadi sangat mahal.
Perbahasan ini juga menyentuh minat yang semakin meningkat dalam mengimplementasikan primitif pembelajaran mesin dalam bahasa selain Python, kerana pembangun berusaha untuk mengintegrasikan keupayaan ini ke dalam tumpukan teknologi sedia ada mereka tanpa overhead interoperabiliti antara bahasa.
Rujukan: go-attention: Mekanisme perhatian penuh dan transformer dalam Go tulen