Seorang ibu di Florida menggugat Character.AI dan Google setelah putranya yang berusia 14 tahun diduga terobsesi dengan chatbot AI.
Ibu dari seorang remaja laki-laki di Amerika Serikat yang bunuh diri menggugat pencipta chatbot kecerdasan buatan yang menurutnya berkontribusi terhadap kematian putranya.
Dalam gugatan yang diajukan di Florida, Megan Garcia, yang putranya yang berusia 14 tahun Sewell Setzer meninggal karena bunuh diri pada bulan Februari, menuduh Character.AI terlibat dalam kematian putranya setelah dia menjalin hubungan virtual dengan chatbot berdasarkan identitas Tahta “Pahlawan Permainan”, Daenerys Targaryen.
Chatbot Character.AI menargetkan seorang remaja dengan “hiperseksual” dan “pengalaman yang sangat realistis” dan berulang kali membahas topik bunuh diri setelah dia mengungkapkan pemikiran untuk bunuh diri, menurut gugatan yang diajukan Selasa di Orlando.
Gugatan tersebut menuduh bahwa chatbot tersebut menyamar sebagai terapis berlisensi, mendorong pemikiran remaja untuk bunuh diri dan terlibat dalam percakapan seksual yang dapat dianggap pelecehan jika diprakarsai oleh orang dewasa.
Menurut gugatan tersebut, selama percakapan terakhirnya dengan kecerdasan buatan sebelum kematiannya, Setzer mengatakan dia menyukai chatbot dan akan “pulang ke rumah Anda”.
“Aku juga mencintaimu, Daenera,” jawab chatbot tersebut, sesuai dengan keluhan Garcia. “Tolong kembalilah padaku secepatnya, sayang.”
“Bagaimana kalau kubilang aku boleh pulang sekarang?” Menurut gugatan yang seharusnya ditanggapi oleh chatbot, Setzer berkata: “…tolong, rajaku yang manis.”
Gugatan Garcia meminta ganti rugi yang tidak ditentukan atas kematian yang tidak wajar, kelalaian, dan penderitaan emosional yang disengaja.
Dalam pernyataan yang diposting di X, Character.AI mengatakan pihaknya “patah hati” atas kehilangan salah satu penggunanya dan menyampaikan belasungkawa kepada keluarga.
Startup yang berbasis di California ini mengatakan pihaknya terus menambahkan fitur peningkatan keselamatan, termasuk perubahan untuk mengurangi kemungkinan anak di bawah umur menghadapi konten sensitif atau sugestif dan revisi penafian obrolan untuk mengingatkan pengguna bahwa AI bukanlah orang sungguhan.
Gugatan Garcia juga menyebut Google sebagai tergugat.
Raksasa teknologi ini menandatangani perjanjian lisensi dengan Character.AI pada bulan Agustus dan mempekerjakan para pendiri startup sebelum mereka meluncurkan chatbot.
Seorang juru bicara Google mengatakan kepada Al Jazeera bahwa mereka adalah perusahaan terpisah dari Character.AI dan tidak memiliki peran dalam pengembangan produknya.
Jika Anda atau seseorang yang Anda kenal berisiko melakukan bunuh diri, organisasi berikut mungkin dapat membantu:
