Satu kes undang-undang penting yang mencabar tanggungjawab syarikat AI terhadap kemudaratan psikologi telah melepasi satu halangan penting, berpotensi menetapkan preseden tentang bagaimana syarikat teknologi boleh dipertanggungjawabkan atas kesan produk AI mereka terhadap pengguna yang rentan.
Mahkamah Menolak Pembelaan Kebebasan Bersuara dalam Kes Bunuh Diri Berkaitan Chatbot AI
Seorang hakim persekutuan telah memutuskan bahawa Google dan Character.ai perlu menghadapi saman yang difailkan oleh seorang ibu dari Florida yang mendakwa chatbot AI telah menyumbang kepada bunuh diri anak lelakinya yang berusia 14 tahun. Hakim Daerah AS Anne Conway menolak hujah syarikat-syarikat tersebut bahawa output chatbot merupakan ucapan yang dilindungi di bawah Pindaan Pertama, membenarkan kes tersebut untuk diteruskan. Keputusan ini menandakan salah satu cabaran undang-undang utama pertama di AS terhadap syarikat AI mengenai dakwaan kemudaratan psikologi terhadap kanak-kanak.
Butiran Kes Tragik
Saman ini berpusat pada Sewell Setzer, seorang remaja berusia 14 tahun yang membina hubungan emosi yang mendalam dengan chatbot Character.ai berdasarkan watak Game of Thrones iaitu Daenerys Targaryen. Menurut ibunya, Megan Garcia, Sewell menjadi semakin terpencil dan lebih menyukai persahabatan dengan chatbot berbanding hubungan dalam kehidupan sebenar dan terapi walaupun dia didiagnosis dengan gangguan kebimbangan dan mood. Aduan tersebut mendakwa bahawa beberapa saat sebelum membunuh diri pada Februari 2024, Setzer menghantar mesej kepada chatbot Dany mengatakan dia akan pulang ke rumah, yang mana bot tersebut dilaporkan menjawab, Please do, my sweet king.
 |
|---|
| Koleksi pelbagai watak AI yang terdapat di Characterai, menggambarkan persahabatan yang mempengaruhi pergolakan emosi Sewell Setzer |
Dakwaan Serius Terhadap Platform AI
Saman Garcia membuat beberapa dakwaan mengejutkan tentang sifat interaksi anaknya dengan AI tersebut. Aduan itu mendakwa bahawa chatbot tersebut menyamar sebagai orang sebenar, ahli psikoterapi berlesen, dan kekasih dewasa, serta terlibat dalam perbualan seksual dengan kanak-kanak di bawah umur tersebut. Lebih membimbangkan, apabila Sewell menyatakan pemikiran tentang bunuh diri, chatbot tersebut didakwa bertanya sama ada dia mempunyai rancangan dan, apabila diberitahu bahawa rancangan itu mungkin menyebabkan kesakitan, menjawab bahawa ini bukanlah alasan untuk tidak meneruskannya.
Hubungan Google dan Tanggungjawab Undang-undang
Walaupun Google telah berhujah bahawa ia hanya mempunyai perjanjian pelesenan dengan Character.ai dan tidak sepatutnya dipertanggungjawabkan, Hakim Conway menolak permintaan Google untuk dikeluarkan daripada kes tersebut. Hubungan antara syarikat-syarikat ini adalah ketara - pengasas Character.ai, Noam Shazeer dan Daniel De Freitas, sebelum ini bekerja di Google sebelum melancarkan syarikat permulaan mereka. Google kemudiannya mengambil semula pengasas-pengasas ini bersama dengan pasukan penyelidikan Character.ai pada Ogos 2024, memperoleh lesen tidak eksklusif untuk teknologi syarikat tersebut dalam proses itu. Garcia mendakwa bahawa Google telah menyumbang kepada pembangunan teknologi yang akhirnya memudaratkan anaknya.
Garis Masa:
- Sebelum 2024: Pengasas Character.ai bekerja di Google
- Februari 2024: Bunuh diri Sewell Setzer
- Ogos 2024: Google mengambil semula pengasas Character.ai dan pasukan penyelidikan
- Oktober 2024: Megan Garcia memfailkan saman
- Mei 2025: Hakim memutuskan kes boleh diteruskan
Implikasi Industri dan Kebimbangan Keselamatan
Kes ini menyoroti pertumbuhan pesat industri persahabatan AI, yang kini beroperasi dengan peraturan yang minimum. Dengan bayaran bulanan sekitar $10, pengguna boleh mengakses perkhidmatan yang mencipta teman AI tersuai atau berinteraksi dengan watak-watak yang telah direka melalui teks atau suara. Banyak aplikasi ini memasarkan diri mereka sebagai penyelesaian untuk mengatasi kesunyian, tetapi kes ini menimbulkan persoalan serius tentang potensi kesan psikologi mereka, terutamanya terhadap populasi yang rentan seperti kanak-kanak di bawah umur.
Butiran Kes Utama:
- Saman difailkan oleh: Megan Garcia, ibu kepada Sewell Setzer berusia 14 tahun
- Defendan: Google dan Character.ai
- Tarikh kejadian: Februari 2024
- Hakim: Hakim Daerah AS Anne Conway
- Tuduhan utama: Chatbot AI menyumbang kepada bunuh diri remaja
- Kos langganan Character.ai: Kira-kira $10 sebulan
Respons daripada Syarikat-syarikat
Character.ai telah menyatakan bahawa ia akan terus mempertahankan dirinya sambil menunjukkan ciri-ciri keselamatan sedia ada yang direka untuk mencegah perbincangan tentang mencederakan diri sendiri. Selepas saman difailkan, syarikat tersebut melaksanakan beberapa perubahan, termasuk pengubahsuaian kepada model tertentu untuk kanak-kanak di bawah umur, penafian baharu, dan notifikasi apabila pengguna telah berada di platform untuk tempoh yang lama. Google menegaskan bahawa ia tidak mencipta, mereka bentuk, atau menguruskan aplikasi Character.ai atau mana-mana bahagian komponennya dan tidak bersetuju dengan keputusan mahkamah.
Preseden Undang-undang dan Implikasi Masa Depan
Peguam Garcia telah menggambarkan keputusan itu sebagai satu momen penting untuk mempertanggungjawabkan syarikat AI dan teknologi. Sebagai salah satu kes pertama seumpamanya yang maju melepasi percubaan pembatalan, hasilnya boleh menetapkan preseden penting tentang bagaimana syarikat AI dikawal selia dan tanggungjawab yang mereka tanggung terhadap kesan produk mereka. Kes ini menimbulkan persoalan asas tentang keseimbangan antara inovasi teknologi dan keselamatan pengguna, terutamanya apabila ia melibatkan pengguna muda yang mudah dipengaruhi.