Komuniti penyelidikan AI sedang terlibat dalam perbahasan hangat mengenai hala tuju masa depan model bahasa besar (LLM), dicetuskan oleh perkembangan terkini dalam pemprosesan peringkat konsep dan kebimbangan yang semakin meningkat mengenai batasan penskalaan. Perbincangan ini muncul ketika para penyelidik meneroka alternatif kepada pendekatan ramalan tahap token tradisional.
Perbahasan Had Penskalaan
Sebahagian besar perbincangan komuniti berkisar tentang kewujudan had penskalaan dalam pembangunan LLM. Ramai pengulas merujuk kepada laporan dari syarikat-syarikat AI utama, termasuk OpenAI, Anthropic, dan Google, yang menunjukkan pulangan yang semakin berkurangan daripada penskalaan seni bina sedia ada. Dengan kos latihan dilaporkan mencecah 500 juta ringgit Amerika, sesetengah pihak berpendapat bahawa industri ini semakin menghampiri had praktikal pendekatan semasa. Namun, ada yang masih skeptikal terhadap batasan ini, merujuk kepada kejayaan terkini seperti pencapaian DeepSeek.
Terdapat beberapa laporan yang mengesahkan bahawa Orion OpenAI (yang dirancang menjadi GPT-5) menghasilkan keputusan yang tidak dijangka lemah.
Perkara Utama Perbincangan:
- Kos latihan mencecah USD 500 juta bagi setiap perlaksanaan
- Syarikat-syarikat utama ( OpenAI , Anthropic , Google ) melaporkan cabaran penskalaan
- Peralihan daripada pemprosesan tahap token kepada tahap ayat dalam LCM
- Perdebatan antara penskalaan seni bina sedia ada berbanding inovasi seni bina
Pemprosesan Peringkat Konsep: Hala Tuju Baharu
Pengenalan Model Konsep Besar (LCM) mewakili peralihan dari pemprosesan tahap token kepada tahap ayat, mencetuskan perbahasan sama ada pendekatan ini menawarkan kelebihan sebenar berbanding LLM tradisional. Walaupun sesetengah pihak melihat ini sebagai kekangan tiruan pada proses yang sudah dilakukan secara tersirat oleh LLM, yang lain melihatnya sebagai langkah yang diperlukan ke arah keupayaan penaakulan dan perancangan yang lebih menyerupai manusia.
Inovasi Seni Bina vs Pengajaran Pahit
Komuniti kelihatan terbahagi mengenai sama ada pemprosesan peringkat konsep secara eksplisit mewakili penyimpangan dari pengajaran pahit - pemerhatian sejarah bahawa pendekatan mudah yang diskalakan sering mengatasi penyelesaian yang direkayasa secara manual. Sesetengah pihak berpendapat bahawa apabila pendekatan penskalaan tradisional menunjukkan tanda-tanda pulangan yang berkurangan, masa mungkin sesuai untuk inovasi seni bina dan peningkatan bias induktif dalam reka bentuk model.
Pertimbangan Pemprosesan Seperti Manusia
Satu perbincangan menarik memberi tumpuan kepada sama ada batasan kognitif manusia harus mempengaruhi reka bentuk seni bina AI. Sesetengah pihak berpendapat bahawa walaupun manusia memerlukan konsep tahap tinggi disebabkan oleh batasan memori kerja, komputer tidak menghadapi kekangan yang sama dan mungkin membangunkan kecerdasan melalui laluan yang berbeza.
Kesimpulannya, sementara komuniti penyelidikan AI bergelut dengan persoalan asas mengenai penskalaan dan seni bina ini, kemunculan pendekatan pemprosesan peringkat konsep mencadangkan kemungkinan perubahan dalam cara kita berfikir tentang pembangunan model bahasa. Perbahasan ini menyoroti ketegangan antara meneruskan penskalaan seni bina sedia ada dan meneroka paradigma baharu yang mungkin lebih sejajar dengan proses kognitif manusia.
Rujukan: Large Concept Models: Language Modeling in a Sentence Representation Space