Dalam landskap pembantu suara AI yang berkembang pesat, pembangun sedang menolak sempadan untuk mencipta pengalaman perbualan yang lebih semula jadi. Projek sumber terbuka terkini yang dipanggil RealtimeVoiceChat telah mencetuskan perbincangan mengenai cabaran asas dalam menjadikan interaksi suara AI benar-benar seperti manusia. Walaupun pencapaian teknikal yang mengagumkan telah dibuat dalam mengurangkan kependaman, komuniti telah mengenal pasti dinamik perbualan yang lebih mendalam yang masih perlu diselesaikan.
Cabaran Kependaman
Kependaman—kelewatan antara ucapan manusia dan respons AI—kekal sebagai faktor kritikal dalam interaksi suara. Pembantu suara tradisional biasanya mempunyai kelewatan minimum sekitar 300ms, terutamanya kerana mereka bergantung pada pengesanan senyap untuk menentukan bila hendak memberi respons. Projek RealtimeVoiceChat bertujuan untuk mencapai kependaman respons sekitar 500ms walaupun ketika menjalankan model tempatan yang lebih besar, yang dicatat oleh komuniti sebagai mendekati standard emas untuk aplikasi komersial. Walau bagaimanapun, ini masih tidak sepadan dengan dinamik perbualan manusia, di mana kelewatan median antara penutur sebenarnya adalah sifar milisaat—bermakna manusia sering bertindih atau mengganggu antara satu sama lain semasa berbual secara semula jadi.
Kelewatan median antara penutur dalam perbualan manusia dengan manusia adalah sifar milisaat. Dengan kata lain, kira-kira 1/2 masa, seorang penutur mengganggu yang lain, menjadikan kelewatan negatif.
Paradoks Gangguan
Salah satu ciri yang paling banyak dibincangkan dalam sistem RealtimeVoiceChat adalah keupayaannya untuk menangani gangguan, membolehkan pengguna menyampuk semasa AI sedang bercakap. Pelaksanaannya menggunakan transkripsi masa nyata yang masuk sebagai pencetus dan bukannya pengesanan aktiviti suara mudah, yang memberikan ketepatan yang lebih baik dengan kos kependaman tambahan yang sedikit. Walau bagaimanapun, ahli komuniti menunjukkan paradoks yang mencabar: walaupun kita mahu sistem AI yang boleh diganggu, kita juga tidak mahu mereka mengganggu kita semasa jeda semula jadi dalam ucapan kita. Ini mewujudkan masalah kompleks di mana sistem mesti membezakan antara jeda berfikir pengguna dan akhir giliran sebenar mereka.
Masalah Jeda Semula Jadi
Mungkin cabaran yang paling ketara yang dikenal pasti dalam perbincangan adalah menangani jeda semula jadi dalam ucapan manusia. Sistem suara AI semasa cenderung mentafsirkan sebarang senyap singkat sebagai isyarat pengambilan giliran, melompat masuk untuk memberi respons sebelum pengguna sepenuhnya merumuskan pemikiran mereka. Ini memaksa pengguna untuk menggunakan corak pertuturan yang tidak semula jadi, seperti menggunakan kata-kata pengisi (uhhhh) untuk mengekalkan giliran mereka atau menekan butang untuk menunjukkan bila mereka selesai bercakap. Komuniti mencadangkan beberapa penyelesaian yang berpotensi, dari arahan tunggu khas hingga aliran input berganda yang boleh mengesan kata-kata pengisi berbanding penyelesaian giliran yang tulen, tetapi tiada penyelesaian sempurna yang telah muncul.
Tumpukan Teknikal RealtimeVoiceChat:
- Backend: Python 3.x, FastAPI
- Frontend: HTML, CSS, JavaScript (Vanilla JS, Web Audio API, AudioWorklets)
- Komunikasi: WebSockets
- Kontainerisasi: Docker, Docker Compose
- Komponen Teras AI/ML:
- Pengesanan Aktiviti Suara: Webrtcvad + SileroVAD
- Transkripsi: Whisper base.en (CTranslate2)
- Pengesanan Giliran: Model BERT khusus (KoljaB/SentenceFinishedClassification)
- LLM: Model tempatan melalui Ollama (lalai) atau OpenAI (pilihan)
- TTS: Coqui XTTSv2, Kokoro, atau Orpheus
Keperluan Perkakasan:
- GPU NVIDIA berkemampuan CUDA (diuji pada RTX 4090)
- Anggaran kependaman respons: ~500ms
Pemprosesan Tempatan dan Keperluan Teknikal
Sistem RealtimeVoiceChat berjalan sepenuhnya pada perkakasan tempatan, menggunakan model sumber terbuka untuk setiap komponen saluran paip interaksi suara: pengesanan aktiviti suara, transkripsi pertuturan, pengesanan giliran, pemprosesan model bahasa, dan sintesis teks-ke-ucapan. Pendekatan ini memberikan faedah privasi dan menghapuskan kebergantungan pada perkhidmatan awan, tetapi datang dengan keperluan perkakasan yang besar. Pembangun hanya telah mengujinya pada GPU NVIDIA RTX 4090 setakat ini, menyerlahkan betapa intensifnya sumber interaksi suara AI masa nyata ini, walaupun ia menjadi lebih mudah diakses oleh pembangun.
Usaha untuk mencapai perbualan suara AI yang terasa semula jadi terus menjadi persimpangan menarik antara cabaran teknikal dan manusia. Walaupun pengurangan kependaman dan membolehkan gangguan mewakili kemajuan penting, dinamik halus pengambilan giliran, jeda, dan pendengaran aktif kekal sebagai bidang di mana sistem yang paling maju sekalipun masih kurang dari interaksi seperti manusia. Seperti yang diperhatikan oleh seorang ahli komuniti dengan tepat, ini membentangkan peluang untuk berpotensi menjadikan komunikasi AI lebih baik daripada perbualan manusia, yang sendirinya sering dipenuhi dengan gangguan janggal dan isyarat sosial yang salah tafsir.
Rujukan: Real-Time AI Voice Chat