Model Dunia dalam AI: Perbahasan Mengenai Pemahaman LLM Terhadap Realiti

Perbincangan mengenai bagaimana Model Bahasa Besar ( LLM ) memahami dan mewakili dunia telah mencetuskan perdebatan hangat dalam komuniti AI. Walaupun penyelidikan baharu mencadangkan metrik untuk menilai model dunia ini, komuniti masih bergelut dengan persoalan asas tentang sifat dan batasan pemahaman AI terhadap realiti.

Sifat Autoregresif Model Dunia LLM

Satu perbincangan utama berkisar tentang perbezaan asas antara cara LLM dan entiti biologi membina pemahaman mereka tentang dunia. Komuniti menekankan bahawa LLM membina model mereka melalui ramalan autoregresif teks, berbanding dengan interaksi langsung dengan dunia fizikal.

Hakikatnya, LLM adalah model auto-regresif - ia cuba meramalkan sambungan sampel set latihan hanya berdasarkan urutan perkataan, dan tidak mengetahui dunia sebenar yang digambarkan oleh urutan perkataan tersebut. Ia tidak dapat memodelkan proses generatif manusia yang mencipta sampel set latihan tersebut kerana proses generatif itu mempunyai input yang berbeza - input deria.

Sumber

Implikasi dan Batasan Praktikal

Komuniti telah mengenal pasti beberapa aspek menarik tentang model dunia ini:

1. Integrasi Pengetahuan : Para penyelidik telah bereksperimen dengan membenamkan model graf pengetahuan yang telah dilatih ke dalam seni bina transformer, menunjukkan hasil yang memberangsangkan untuk aplikasi domain tertentu.

2. Kepaduan Model : Penilaian pemetaan jalan Manhattan menunjukkan bahawa walaupun model boleh menghasilkan perwakilan yang kelihatan padu, ia sering mengandungi kesilapan asas dan konfigurasi fizikal yang mustahil.

3. Pembetulan Ralat : Satu pemerhatian menarik ialah dalam aplikasi praktikal, semakin besar ralat dalam model dunia LLM, semakin cepat ia cenderung untuk membetulkan diri melalui interaksi dan maklum balas.

Persamaan dengan Manusia

Perbincangan ini telah menimbulkan persamaan menarik antara model dunia LLM dan kognisi manusia. Sesetengah ahli komuniti menunjukkan bahawa model dunia manusia juga tidak sempurna dan berpotensi tidak koheren mengikut metrik yang ketat. Ini menimbulkan persoalan tentang tahap kepaduan yang sepatutnya kita harapkan atau tuntut daripada sistem AI.

Perdebatan ini melangkaui pertimbangan falsafah tentang bagaimana kita semua membina pemahaman tentang realiti, sama ada melalui pengalaman deria secara langsung atau, seperti dalam kes konsep seperti warna bagi individu seperti Helen Keller, melalui bahasa dan penerangan sahaja.

Hala Tuju Masa Depan

Komuniti melihat potensi dalam pendekatan hibrid, terutamanya dalam menggabungkan LLM dengan:

• Simulator fizikal semasa latihan
• Pembenaman graf pengetahuan
• Persekitaran pembelajaran interaktif
• Pangkalan pengetahuan domain khusus

Perkembangan ini menunjukkan bahawa walaupun model dunia LLM semasa mempunyai batasan yang ketara, terdapat laluan yang menjanjikan untuk meningkatkan pemahaman dan perwakilan mereka terhadap realiti.

Sumber: Evaluating the World Model Implicit in a Generative Model Sumber: Hacker News Discussion