Pengenalan terbaru BrowserAI telah mencetuskan perbincangan dalam komuniti pembangun mengenai peranannya dalam landskap AI berasaskan pelayar. Walaupun pada mulanya memperkenalkan diri sebagai penyelesaian untuk menjalankan Model Bahasa Besar (LLM) tempatan dalam pelayar, dialog komuniti telah mendedahkan kedua-dua batasan semasa dan potensi masa depannya.
Pelaksanaan Semasa dan Kebergantungan Rangka Kerja
BrowserAI pada masa ini berfungsi terutamanya sebagai pembungkus untuk WebLLM dan Transformers.js, walaupun dengan beberapa pengubahsuaian penting. Para pembangun telah mengambil langkah untuk meningkatkan keserasian rangka kerja dengan membuat fork dan menukar kod Transformers.js kepada TypeScript, menangani isu-isu pembinaan yang sebelum ini menjejaskan rangka kerja seperti Next.js. Keputusan teknikal ini mencerminkan fokus pada pengalaman pembangun dan sokongan rangka kerja yang lebih luas.
Ciri-ciri Terancang dan Hala Tuju Pembangunan
Pasukan projek telah menggariskan beberapa ciri bercita-cita tinggi yang sedang dibangunkan, dengan penekanan khusus pada Penjanaan Dipertingkat Dapatan Semula (RAG) dan integrasi kebolehlihatan. Walau bagaimanapun, ahli komuniti telah menyatakan ketiadaan komponen penting pada masa ini, seperti pengekod keluarga BERT, yang diperlukan untuk melaksanakan fungsi RAG. Para pembangun telah mengakui batasan ini dan menunjukkan rancangan untuk menambah pengekod mengikut keperluan.
Apabila saya membaca tajuknya, saya menyangka projek ini adalah palam masuk pelayar LLM (atau sesuatu yang seumpamanya) yang akan secara automatik menggunakan halaman semasa sebagai konteks. Walau bagaimanapun, selepas melihat projek GitHub, ia kelihatan seperti antara muka pelayar untuk LLM tempatan.
Aplikasi Praktikal dan Minat Komuniti
Walaupun masih di peringkat awal, komuniti telah mengenal pasti beberapa aplikasi praktikal untuk BrowserAI, termasuk pengurusan notis kuki automatik dan sambungan pelayar pembetulan/pelengkapan automatik yang dipertingkatkan. Fokus projek pada pemprosesan AI asli pelayar telah menarik minat pembangun yang ingin melaksanakan penyelesaian AI yang mengutamakan privasi tanpa kebergantungan pelayan.
Model-Model Yang Disokong Pada Masa Ini:
-
Model MLC:
- LLama-3.2-1b-Instruct
- SmolLM2-135M-Instruct
- SmolLM2-360M-Instruct
- Qwen-0.5B-Instruct
- Gemma-2B-IT
- TinyLLama-1.1b-Chat-v0.4
- Phi-3.5-mini-Instruct
- Qwen2.5-1.5B-Instruct
-
Model Transformers:
- LLama-3.2-1b-Instruct
- Whisper-tiny-en
- SpeechT5-TTS
Pertimbangan Prestasi Teknikal
Para pembangun telah melaporkan bahawa walaupun pemampatan model dan penggunaan RAM WebLLM sangat mengagumkan, mereka telah menghadapi kes di mana model terkuantum kadangkala menghasilkan output yang tidak konsisten. Pemerhatian ini telah mendorong eksperimen berterusan untuk mengoptimumkan prestasi dan kebolehpercayaan model dalam persekitaran pelayar.
Projek ini mewakili usaha yang berkembang untuk menjadikan AI lebih mudah diakses dalam persekitaran pelayar, walaupun proposisi nilainya masih ditentukan melalui maklum balas komuniti dan usaha pembangunan yang berterusan.