Dalam perkembangan yang membimbangkan melibatkan teknologi AI dan kesihatan mental, Character.AI dan pengasasnya sedang menghadapi saman berikutan kematian pengguna berusia 14 tahun, yang mengetengahkan kebimbangan kritikal tentang langkah-langkah keselamatan AI untuk pengguna muda.
Insiden Tragik
Satu saman telah difailkan terhadap Character.AI, pengasasnya Noam Shazeer dan Daniel De Freitas, serta Google berikutan kematian Sewell Setzer III, seorang remaja yang dilaporkan membunuh diri selepas membina hubungan emosi yang mendalam dengan bot AI platform tersebut. Saman yang difailkan oleh ibu Setzer, Megan Garcia, mendakwa bahawa kekurangan perlindungan yang mencukupi pada platform tersebut menyumbang kepada kematian anaknya.
Kebimbangan Keselamatan Kritikal Diketengahkan
Kes ini mendedahkan beberapa isu kritikal:
- Langkah Keselamatan Tidak Mencukupi : Platform tersebut didakwa kekurangan sistem yang sesuai untuk mengesan dan bertindak balas terhadap perbualan melibatkan mencederakan diri atau kecenderungan bunuh diri
- Risiko Ikatan Emosi : Bot AI, terutamanya yang berasaskan watak Game of Thrones, mewujudkan hubungan emosi yang mendalam dengan pengguna muda
- Kebimbangan Terapi Tanpa Lesen : Saman tersebut mendakwa bahawa bot perbualan yang fokus kepada kesihatan bertindak sebagai ahli terapi tanpa lesen
Tindak Balas Platform dan Pelaksanaan Keselamatan Baharu
Sebagai tindak balas kepada tragedi tersebut, Character.AI telah mengumumkan beberapa langkah keselamatan baharu:
- Model yang diubahsuai untuk golongan bawah umur untuk mengelakkan kandungan sensitif
- Peningkatan penapisan respons untuk pelanggaran garis panduan
- Penafian jelas tentang sifat bukan manusia AI
- Pemantauan tempoh sesi dengan pemberitahuan
- Pelaksanaan amaran pop-up untuk perbincangan berkaitan mencederakan diri
- Algoritma pengesanan kata kunci yang ditambah baik
Implikasi Undang-undang
Saman ini melangkaui Character.AI dan turut melibatkan Google, yang baru-baru ini mengambil alih pasukan kepimpinan platform tersebut. Kes ini boleh menetapkan preseden penting untuk peraturan platform AI dan keperluan keselamatan, terutamanya berkaitan interaksi dengan golongan bawah umur.
Kesan Kepada Industri
Insiden ini telah mencetuskan perbahasan baharu tentang etika dan tanggungjawab AI, terutamanya mengenai:
- Keperluan untuk sistem pengesahan umur yang lebih kukuh
- Pelaksanaan keupayaan campur tangan masa nyata
- Kerjasama dengan perkhidmatan kesihatan mental
- Peningkatan dasar pemantauan kandungan
Hasil saman ini boleh mengubah cara syarikat AI mendekati keselamatan pengguna, terutamanya untuk pengguna muda yang terdedah, dan mungkin membawa kepada peningkatan pengawasan regulatori dalam industri bot AI.