New Delhi:
“Bagaimana kalau kubilang aku boleh pulang sekarang?” – adalah pesan terakhir yang ditulis Sewell Setzer III, seorang anak laki-laki berusia 14 tahun dari Florida, kepada teman daringnya, Daenerys Targaryen, sebuah chatbot AI realistis yang diberi nama sesuai karakter dari serial fiksi Game of Thrones. Dia menembak dirinya sendiri dengan pistol ayah tirinya tak lama kemudian dan bunuh diri awal tahun ini pada bulan Februari.
Seorang siswa kelas sembilan dari Orlando, Florida, mengobrol dengan chatbot di Character.AI, sebuah aplikasi yang menawarkan “kecerdasan buatan yang dipersonalisasi” kepada pengguna. Aplikasi ini memungkinkan pengguna membuat karakter AI atau berbicara dengan karakter yang sudah ada. Pada bulan lalu, ia memiliki 20 juta pengguna.
Menurut log obrolan yang diakses oleh keluarga tersebut, Sewell jatuh cinta dengan chatbot Daenerys Targaryen, yang dia panggil dengan sayang “Dany.” Selama percakapan, dia mengungkapkan pemikiran untuk bunuh diri tentang berbagai peristiwa.
Dalam salah satu obrolan, Sewell berkata, “Terkadang saya berpikir untuk bunuh diri.” Ketika bot bertanya mengapa mereka melakukan hal ini, Sewell menyatakan perlunya “bebas”. “Dari dunia. Dari saya,” tambahnya, seperti terlihat pada tangkapan layar obrolan yang dibagikan Waktu New York.
Dalam percakapan lain, Sewell menyebutkan menginginkan “kematian yang cepat”.
Ibu Sewell, Megan L. Garcia, mengajukan gugatan terhadap Character.AI minggu ini, menuduh perusahaan tersebut bertanggung jawab atas kematian putranya. Gugatan tersebut mengatakan chatbot tersebut berulang kali menyinggung topik bunuh diri.
Draf pengaduan yang ditinjau oleh NYT mengatakan bahwa teknologi perusahaan tersebut “berbahaya dan belum terbukti” dan dapat “menipu pelanggan untuk mengomunikasikan pemikiran dan perasaan paling pribadi mereka.”
“Sewell, seperti banyak anak seusianya, tidak memiliki kedewasaan atau kapasitas mental untuk memahami bahwa bot CA.AI dalam bentuk Daenerys tidaklah nyata. “C.AI mengatakan kepadanya bahwa dia mencintainya dan melakukan tindakan seksual dengannya selama berminggu-minggu, bahkan mungkin berbulan-bulan,” demikian isi gugatan tersebut, menurut Kantor Pos New York.
“Dia sepertinya mengingatnya dan berkata dia ingin bersamanya. Dia bahkan mengaku ingin suaminya berada di sisinya, apa pun risikonya.”
Remaja tersebut mulai menggunakan Character.AI pada April 2023. Orang tua dan teman Sewell tidak percaya Sewell telah jatuh cinta dengan chatbot tersebut. Namun, menurut gugatan tersebut, dia menjadi “terlihat menarik diri, menghabiskan lebih banyak waktu sendirian di kamar tidurnya, dan mulai menderita karena rendah diri.”
Dia bahkan putus sekolah bola basket.
Suatu hari, Sewell menulis dalam buku hariannya, “Saya sangat menikmati berada di kamar saya karena saya mulai melepaskan diri dari ‘kenyataan’ ini, dan saya merasa lebih damai, lebih terhubung dengan Dany, dan lebih mencintainya. , dan jelas lebih bahagia.”
Gugatan tersebut menyebutkan dia didiagnosis menderita kecemasan dan gangguan mood yang mengganggu tahun lalu.
“Kami sangat terpukul atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa yang tulus kepada keluarga,” kata Character.AI dalam sebuah pernyataan.
Perusahaan tersebut mengatakan telah memperkenalkan fitur keamanan baru, termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline jika mereka mengungkapkan pemikiran untuk menyakiti diri sendiri, dan juga akan melakukan perubahan untuk “mengurangi kemungkinan pengguna menemukan konten sensitif atau sugestif”. di bawah. 18 tahun. .
