Dalam landskap carian perusahaan dan pengurusan pengetahuan yang berkembang pesat, Onyx (sebelum ini dikenali sebagai Danswer) telah muncul sebagai penyelesaian yang menarik perhatian dan menghasilkan buzz yang ketara dalam kalangan pengguna teknikal. Platform ini menggabungkan AI generatif sumber terbuka dengan keupayaan carian perusahaan, membolehkan organisasi menghubungkan dokumen dalaman, aplikasi, dan individu mereka ke dalam sistem pengetahuan bersepadu.
Yang menarik tentang Onyx bukan hanya set cirinya, tetapi juga seni bina teknikal yang menggerakkan keupayaan cariannya, yang telah menjadi tumpuan perbincangan komuniti.
 |
|---|
| Repositori GitHub untuk Onyx, mempamerkan kod sumber dan struktur pembangunannya |
Pendekatan Pengindeksan Hibrid
Teras keberkesanan Onyx adalah sistem pengindeksan dokumen hibridnya yang menggabungkan kekerapan kata kunci dengan pembenaman vektor. Tidak seperti penyelesaian yang bergantung pada keupayaan carian asli aplikasi individu, Onyx membina indeks dokumen komprehensif merentasi semua sumber yang bersambung. Pendekatan ini menangani beberapa cabaran utama dalam carian perusahaan, termasuk terminologi khusus pasukan, pertanyaan bahasa semula jadi, dan padanan tidak tepat.
Indeks dokumen adalah indeks hibrid kekerapan kata kunci dan vektor. Komponen kata kunci menangani isu seperti terminologi khusus pasukan dan komponen vektor membolehkan pertanyaan bahasa semula jadi dan padanan tidak tepat.
Seni bina ini membolehkan Onyx memproses dokumen sebelum masa pertanyaan, mencipta representasi mesra LLM yang membolehkan inferens yang pantas. Sistem ini juga menggabungkan isyarat tambahan seperti keterkinian dokumen, menggunakan pemberat berasaskan masa untuk mengutamakan maklumat yang lebih terkini merentasi semua sumber.
Penyelidikan Mendalam vs RAG Tradisional
Ramai ahli komuniti telah mempersoalkan bagaimana keupayaan penyelidikan mendalam Onyx berbeza daripada sistem Retrieval-Augmented Generation (RAG) standard. Perbezaannya terletak pada bagaimana ejen berinteraksi dengan infrastruktur carian asas. Walaupun RAG berfungsi sebagai alat asas, ejen penyelidikan mendalam Onyx boleh melakukan pelbagai carian, merenung hasil sebelumnya, dan menghasilkan output rantaian pemikiran untuk meneroka maklumat dengan lebih menyeluruh.
Ejen ini boleh memutuskan soalan mana yang perlu diterokai dengan lebih lanjut, sama seperti bagaimana seorang penyelidik manusia mungkin mengikuti benang pertanyaan yang berbeza ketika menyiasat topik yang kompleks. Ini mewujudkan proses penyelidikan yang lebih dinamik dan menyeluruh berbanding dengan pelaksanaan RAG pertanyaan tunggal.
Pengurusan Kebenaran
Cabaran besar bagi sistem pengetahuan perusahaan adalah mengendalikan model kebenaran yang kompleks merentasi aplikasi yang berbeza. Onyx menangani ini dengan memetakan objek luaran dan pengguna/kumpulan berkaitan ke dalam perwakilan bersepadu dalam platform.
Sistem ini menjalankan tugasan tidak segerak yang memeriksa kemas kini kebenaran pada selang masa yang boleh dikonfigurasi, dengan tetapan lalai yang disesuaikan untuk setiap jenis sumber luaran. Pendekatan ini mengekalkan keselamatan sambil membolehkan carian merentas aplikasi, sentiasa mengutamakan model akses paling terhad untuk mengelakkan pendedahan maklumat yang tidak dibenarkan.
Prestasi dan Penilaian
Dalam penilaian dalaman menggunakan set data yang terdiri daripada kandungan perusahaan tipikal (mesej Slack, dokumentasi teknikal, dll.), Onyx melaporkan hasil yang mengagumkan. Dengan set ujian 10,000 dokumen, sistem ini mencapai lebih 94% penarikan semula pada 4,000 token, mengekalkan lebih 90% penarikan semula walaupun apabila diperluaskan kepada ratusan ribu dokumen dengan gangguan tambahan.
Platform ini terutamanya dibangunkan untuk GPT-4o tetapi telah dioptimumkan untuk berfungsi dengan berkesan dengan model terkini lain termasuk Claude 3.5, Gemini, dan Deepseek.
Ciri-ciri Utama Onyx
- Pengindeksan dokumen hibrid (frekuensi kata kunci + vektor)
- Lebih 40 penyambung termasuk Google Drive, Confluence, Slack, Gmail, Salesforce
- Keupayaan agen penyelidikan mendalam melampaui RAG standard
- Pemetaan kebenaran merentasi aplikasi berbeza
- Pilihan penempatan: tempatan, di premis, atau awan
- Dua edisi: Edisi Komuniti (lesen MIT) dan Edisi Perusahaan
Metrik Prestasi
- 94% dapatan semula pada 4K token dalam set ujian 10K dokumen
- 90%+ dapatan semula dikekalkan dengan ratusan ribu dokumen
- Serasi dengan pelbagai backend LLM (GPT-4o, Claude 3.5, Gemini, Deepseek)
Item Peta Jalan
- Kaedah pengambilan maklumat baharu (StructRAG, LightGraphRAG)
- Carian yang diperibadikan
- Pemahaman organisasi dan cadangan pakar
- Carian kod
- Sokongan SQL dan bahasa pertanyaan berstruktur
Arah Masa Depan
Melangkah ke hadapan, Onyx sedang meneroka beberapa kaedah pengambilan maklumat lanjutan, termasuk graf pengetahuan berasaskan LLM yang disesuaikan yang diilhamkan oleh pendekatan seperti LightGraphRAG. Ciri-ciri lain yang dirancang termasuk carian peribadi, pemahaman organisasi dengan keupayaan cadangan pakar, carian kod, dan sokongan bahasa pertanyaan berstruktur.
Bagi organisasi yang ingin meningkatkan penemuan dan penggunaan pengetahuan merentasi ekosistem digital mereka, Onyx mewakili pilihan sumber terbuka yang menarik yang boleh digunakan secara tempatan, di premis, atau di awan. Edisi komuniti boleh didapati secara percuma di bawah lesen MIT Expat, manakala edisi perusahaan dengan ciri-ciri tambahan yang disasarkan kepada organisasi yang lebih besar juga tersedia.
Ketika carian perusahaan berkuasa AI terus berkembang, pendekatan Onyx yang menggabungkan keupayaan penyelidikan mendalam dengan indeks dokumen bersepadu menunjukkan bagaimana jurang antara sumber maklumat yang berbeza boleh dijambatani dengan berkesan, berpotensi mengurangkan masa dan usaha yang diperlukan untuk pekerja pengetahuan mencari dan mensintesis maklumat.