Pelancaran terbaru OpenCoder, satu keluarga model LLM kod sumber terbuka, telah mencetuskan perbincangan menarik dalam komuniti pembangun mengenai prestasi sebenar dan implikasi yang lebih luas terhadap pembangunan AI terbuka.
Penilaian Prestasi Sebenar
Walaupun OpenCoder mendakwa dapat menandingi model-model LLM kod terkemuka, ujian komuniti mendedahkan cerita yang berbeza. Maklum balas awal pengguna menunjukkan jurang prestasi yang ketara berbanding model-model terkemuka semasa, terutamanya Qwen 2.5. Perbincangan ini telah menyoroti perbezaan penting dalam penanda aras HumanEval, di mana Qwen2.5-Coder-7B-Instruct mencapai skor mengagumkan 88.4 berbanding 66.5 oleh OpenCoder.
Setelah diuji, terlalu banyak halusinasi, tidak dapat menandingi Qwen 2.5 atau bahkan model tujuan umum Mistral-Nemo. Sumber
Nilai Sebenar Yang Ditawarkan
Walaupun terdapat batasan prestasi, kepentingan OpenCoder terletak pada pendekatan sumber terbukanya yang komprehensif. Projek ini menyediakan akses lengkap kepada:
- Data latihan dan saluran pemprosesan
- Keputusan eksperimen ablasi yang teliti
- Protokol latihan terperinci
- Pemberat model dan kod inferens
Pandangan Mengenai Data
Satu penemuan menarik daripada perbincangan komuniti ialah kadar penduplikatan yang tinggi dalam pangkalan kod. Hampir 75% fail adalah penduplikatan lengkap, yang mencetuskan perbahasan tentang amalan pembangunan moden. Ini termasuk amalan biasa mengimport keseluruhan pustaka ke dalam repositori, mencerminkan bagaimana pendekatan pembangunan moden telah berkembang berbanding 20 tahun lalu.
Latar Belakang Institusi
Projek ini terhasil daripada kerjasama antara INFTech, sebuah syarikat berpangkalan di Shanghai, dan MAP, sebuah kolektif FOSS antarabangsa, bersama dengan pelbagai institusi akademik. Kerjasama antarabangsa ini menyerlahkan usaha global yang semakin meningkat dalam pembangunan AI sumber terbuka, terutamanya dalam model penjanaan kod.
Implikasi Masa Depan
Walaupun OpenCoder mungkin tidak dapat menandingi prestasi model-model terkemuka seperti Qwen 2.5 buat masa ini, sifat terbukannya dan dokumentasi yang komprehensif menjadikannya sumber yang bernilai untuk penyelidik dan pembangun yang ingin memahami dan membina teknologi kod LLM. Komuniti kelihatan sangat berminat dengan perkembangan masa depan, termasuk potensi model yang lebih besar.
Sumber: Laman Rasmi OpenCoder Sumber: Perbincangan HackerNews