Pembantu penyelidikan AI sumber terbuka, Local Deep Research telah mencetuskan perbincangan komuniti yang signifikan mengenai masa depan alat AI yang mengutamakan privasi dan kebebasan daripada perkhidmatan korporat. Ketika alat penyelidikan AI menjadi semakin biasa, projek ini menonjol kerana fokusnya untuk beroperasi sepenuhnya pada perkakasan tempatan apabila diperlukan, menawarkan pengguna alternatif kepada perkhidmatan berasaskan awan yang mungkin menjejaskan privasi data.
 |
|---|
| Paparan dashboard alat Deep Research yang memaparkan tugas-tugas penyelidikan yang telah selesai, selaras dengan fokus projek terhadap keupayaan penyelidikan AI secara bebas |
Pendekatan Mengutamakan Privasi Mendapat Sambutan Komuniti
Penekanan projek ini terhadap pemprosesan tempatan telah menarik minat ramai pembangun dan pengguna yang prihatin tentang privasi data. Salah seorang penulis bersama projek ini, yang menyertai ketika ia mempunyai kurang daripada 100 bintang, menjelaskan motivasi mereka didorong oleh kekecewaan dengan alternatif yang kononnya terbuka tetapi akhirnya bergantung pada perkhidmatan API berbayar:
Saya rasa semua alternatif 'terbuka' itu hanyalah pembungkus untuk API 'Open'AI BERBAYAR, yang hanya menjatuhkan istilah 'Terbuka'. Visi saya untuk repositori ini adalah sistem yang bebas daripada pembekal LLM (dan orang tengah) dan perkhidmatan carian web yang terlalu mahal (5 dolar bagi 1000 permintaan carian di Google adalah tidak masuk akal).
Sentimen ini nampaknya mendapat sambutan luas, kerana repositori tersebut mengalami pertumbuhan pesat dalam tempoh masa yang singkat. Penulis bersama menyatakan kejutan terhadap betapa cepatnya projek itu mendapat perhatian, mencadangkan terdapat permintaan yang besar untuk alat penyelidikan AI yang benar-benar bebas yang tidak bergantung pada infrastruktur korporat.
Cabaran dan Batasan Teknikal
Walaupun terdapat semangat untuk konsep ini, pengguna telah menyoroti beberapa cabaran teknikal. Beberapa pengulas menyatakan bahawa LLM tempatan menghadapi batasan yang ketara berbanding dengan yang berasaskan awan. Seorang pengguna menjelaskan bahawa kebanyakan LLM hilang keupayaan untuk mengesan fakta melebihi kira-kira 20,000 perkataan kandungan, dengan model terbaik pun hanya mampu mengendalikan sekitar 40,000 perkataan. Ini mewujudkan batasan semula jadi untuk aplikasi penyelidikan mendalam yang perlu memproses jumlah maklumat yang besar.
Keperluan perkakasan menimbulkan halangan lain. Menjalankan model canggih secara tempatan memerlukan sumber pengkomputeran yang besar, dengan seorang pengulas menyatakan bahawa hanya orang yang mempunyai pelayan perusahaan di rumah boleh menjalankan model dengan tetingkap konteks yang benar-benar besar secara tempatan. Walau bagaimanapun, pengguna lain mencadangkan bahawa perkakasan pengguna yang diubah suai seperti RTX 4090 dengan 48GB VRAM berpotensi mengendalikan model 32B yang dikuantifikasi dengan konteks 200,000 token.
Batasan yang Dikenal Pasti oleh Komuniti
- Keupayaan pengesanan fakta yang terhad bagi LLM tempatan (biasanya 20k-40k perkataan)
- Keperluan perkakasan yang tinggi untuk menjalankan model canggih secara tempatan
- Isu kebolehpercayaan dengan proses penjanaan yang dilaporkan oleh sesetengah pengguna
- Kualiti output berbeza berdasarkan pemilihan model dan jenis soalan
- Model penaakulan berfungsi lebih baik tetapi berjalan lebih perlahan untuk tugas penyelidikan kompleks
Cadangan Komuniti untuk Penambahbaikan
Perbincangan ini telah menghasilkan banyak cadangan untuk meningkatkan keupayaan alat tersebut. Beberapa pengguna mencadangkan untuk menggabungkan pangkalan data graf untuk meningkatkan organisasi dan pengambilan maklumat. Seperti yang dijelaskan oleh seorang pengulas, ini akan membolehkan LLM meletakkan semua maklumatnya di dalamnya, melihat hubungan yang relevan, membuat pertanyaan untuk menyoal dirinya sendiri, dan kemudian menghasilkan laporan akhir.
Yang lain mencadangkan integrasi API carian tambahan seperti Kagi dan Tavily untuk mengembangkan keupayaan penyelidikan alat tersebut. Terdapat juga minat terhadap ciri yang membolehkan pengguna menggabungkan pangkalan pengetahuan kurasi mereka sendiri, dengan seorang pengguna menyatakan kekecewaan bahawa penanda buku adalah dumpster fire yang tidak berguna sekarang dan mencadangkan bahawa alat AI boleh menjadikan kurasi pengetahuan peribadi bernilai semula.
Fragmentasi dalam Ruang Penyelidikan AI Sumber Terbuka
Tema berulang dalam perbincangan ini adalah kebimbangan mengenai fragmentasi dalam ekosistem alat penyelidikan AI sumber terbuka. Beberapa pengulas menunjukkan projek serupa seperti Onyx dan Open Deep Research, mencadangkan bahawa komuniti mungkin mendapat manfaat daripada penggabungan usaha. Seorang pengguna bimbang bahawa terdapat banyak projek penyelidikan mendalam terbuka yang saya bimbang akan hanya mati, menyokong pembangun untuk bergabung tenaga bekerja pada aspek yang paling mereka pedulikan.
Ini menyoroti ketegangan yang lebih luas dalam pembangunan AI sumber terbuka antara inovasi melalui pelbagai pendekatan bersaing berbanding penumpuan sumber pada projek yang lebih sedikit dan lebih matang.
Ciri-ciri Utama Local Deep Research
- Pemprosesan AI Tempatan: Berjalan sepenuhnya pada mesin pengguna apabila menggunakan model tempatan seperti Ollama
- Pelbagai Sumber Carian: Menyokong Wikipedia, arXiv, PubMed, DuckDuckGo, The Guardian, SerpAPI, dan koleksi dokumen tempatan
- Pemilihan Carian Pintar: Enjin carian "Auto" menganalisis pertanyaan dan memilih sumber yang paling sesuai
- Carian Dokumen Tempatan (RAG): Membolehkan pencarian koleksi dokumen peribadi dengan pembenaman vektor
- Sokongan LLM Fleksibel: Serasi dengan model tempatan melalui Ollama atau LLM awan seperti Claude dan GPT
- Pengesanan Petikan: Mengekalkan petikan yang betul dan pengesahan sumber
Arah Masa Depan: Kebebasan daripada Infrastruktur Korporat
Matlamat utama projek ini, menurut penulis bersamanya, adalah bercita-cita tinggi: mencipta sistem penggunaan LLM bebas korporat dengan keupayaan pangkalan data graf bersepadu dan carian web bebas korporat. Yang terakhir diakui sebagai cabaran besar kerana walaupun enjin meta-carian yang mengutamakan privasi biasanya bergantung pada pembekal carian utama di bawahnya.
Visi kebebasan sepenuhnya daripada infrastruktur AI korporat ini mewakili cabaran teknikal yang signifikan tetapi nampaknya mendorong minat komuniti yang besar dan sumbangan. Ketika alat AI menjadi semakin penting untuk kerja pengetahuan dan penyelidikan, persoalan tentang siapa yang mengawal infrastruktur asas—dan pada kos apa kepada privasi dan kebebasan—berkemungkinan akan terus menjadi kebimbangan utama bagi pembangun dan pengguna.
Projek Local Deep Research, dengan fokusnya untuk menjalankan keupayaan penyelidikan AI pada perkakasan peribadi, mewakili satu pendekatan untuk menangani kebimbangan ini. Walaupun batasan teknikal masih ada, minat komuniti yang pesat mencadangkan bahawa alat AI yang memelihara privasi dan dijalankan secara tempatan mungkin memainkan peranan penting dalam ekosistem AI yang lebih luas pada masa hadapan.
Rujukan: Local Deep Research