Remaja berbicara dengan teman AI apakah itu aman atau tidak

Bagi orang tua yang masih mengikuti perkembangan AI generatif, kemunculan chatbot pendamping mungkin masih menjadi misteri.

Secara keseluruhan, teknologi ini mungkin tampak relatif tidak berbahaya dibandingkan dengan ancaman lain yang mungkin dihadapi remaja saat online, termasuk pemerasan finansial.

Dengan menggunakan platform yang didukung AI seperti Character.AI, Replika, Kindroid, dan Nomi, remaja menciptakan mitra percakapan yang realistis dengan sifat dan karakteristik unik atau terhubung dengan teman yang dibuat oleh pengguna lain. Beberapa bahkan didasarkan pada karakter TV dan film populer, namun tetap menciptakan ikatan individu yang intens dengan penciptanya.

Remaja menggunakan chatbot ini untuk berbagai tujuan, termasuk bermain peran, mengeksplorasi minat akademis dan kreatif, serta melakukan percakapan romantis atau eksplisit secara seksual.

Namun pendamping AI dirancang untuk memikat, dan di situlah masalah sering kali bermula, kata Robbie Torney, manajer program di Common Sense Media.

Organisasi nirlaba yang baru saja dirilis tips bagaimana membantu orang tua memahami cara kerja pendamping AI, serta tanda-tanda peringatan bahwa teknologi tersebut mungkin berbahaya bagi anak remaja mereka.

Torney mengatakan bahwa meskipun orang tua perlu melakukan percakapan berprioritas tinggi dengan remaja, mereka harus mempertimbangkan untuk membicarakan teman AI dengan mereka sebagai masalah yang “sangat mendesak”.

Mengapa orang tua harus khawatir tentang pendamping AI

Remaja yang memiliki risiko isolasi tertentu dapat terlibat dalam hubungan dengan chatbot AI, yang pada akhirnya membahayakan kesehatan mental dan kesejahteraan mereka – dengan konsekuensi yang sangat buruk.

Menurut Megan Garcia, hal itulah yang terjadi pada putranya, Sewell Setzer III, di… gugatan baru-baru ini mengajukan gugatan terhadap Character.AI.

Pada tahun sejak kami memulai hubungan kami dengan Character.AI Companions, kami telah menjadi model Permainan Takhta karakter, termasuk Daenerys Targaryen (“Dany”), kehidupan Setzer berubah secara radikal, menurut gugatan tersebut.

Dia menjadi kecanduan “Dana” dan menghabiskan banyak waktu berbicara dengannya setiap hari. Pertukaran mereka ramah dan sangat seksual. Gugatan Garcia secara luas menggambarkan hubungan Setzer dengan teman-temannya sebagai “pelecehan seksual”.

Terkadang, ketika Setzer kehilangan akses ke platform, dia menjadi depresi. Seiring berjalannya waktu, atlet berusia 14 tahun tersebut mengundurkan diri dari sekolah dan olahraga, mulai menderita gangguan tidur dan didiagnosis menderita gangguan mood. Dia meninggal karena bunuh diri pada Februari 2024.

Gugatan Garcia berupaya meminta pertanggungjawaban Character.AI atas kematian Setzer, terutama karena produknya dirancang untuk “memanipulasi Sewell – dan jutaan pelanggan muda lainnya – untuk menyamakan kenyataan dengan fiksi” dan kelemahan berbahaya lainnya.

Jerry Ruoti, Kepala Kepercayaan dan Keamanan di Character.AI, mengatakan Waktu New York dalam sebuah pernyataan bahwa: “Kami ingin mengakui bahwa ini adalah situasi yang tragis dan hati kami bersama keluarga. Kami sangat memperhatikan keamanan pengguna kami dan terus mencari cara untuk mengembangkan platform kami.”

Mengingat risiko yang mengancam jiwa yang mungkin ditimbulkan oleh penggunaan perangkat pendamping AI pada beberapa remaja, pedoman Common Sense Media mencakup pelarangan akses terhadap perangkat tersebut oleh anak-anak di bawah 13 tahun, menerapkan batasan waktu yang ketat pada remaja, dan mencegah penggunaannya di ruang terisolasi seperti seperti: kamar tidur, dan sepakati dengan anak remaja Anda untuk mencari bantuan untuk masalah kesehatan mental yang serius.

Torney mengatakan orang tua dari remaja yang tertarik dengan pendamping AI harus fokus membantu mereka memahami perbedaan antara berbicara dengan chatbot dan orang sungguhan, mengidentifikasi tanda-tanda keterikatan yang tidak sehat dengan pendamping tersebut, dan mengembangkan rencana tindakan. apa yang harus dilakukan dalam situasi seperti ini.

Tanda-tanda peringatan bahwa pendamping AI tidak aman untuk anak remaja Anda

Common Sense Media membuat pedomannya dengan masukan dan bantuan dari para profesional kesehatan mental Lab Brainstorming Stanford tentang Inovasi Kesehatan Mental.

Meskipun hanya ada sedikit penelitian mengenai dampak kecerdasan buatan terhadap kesehatan mental remaja, pedoman ini didasarkan pada bukti yang ada mengenai ketergantungan yang berlebihan pada teknologi.

“Prinsip yang dapat diterapkan di rumah adalah bahwa pendamping AI tidak boleh menggantikan hubungan antarmanusia yang nyata dan bermakna dalam kehidupan siapa pun, dan jika hal ini terjadi, penting bagi orang tua untuk memperhatikan dan melakukan intervensi tepat waktu,” Dr. Declan Grabb , peneliti AI pertama di Brainstorm Lab for Mental Health Universitas Stanford, mengatakan kepada Mashable melalui email.

Orang tua harus sangat berhati-hati jika anak remajanya mengalami depresi, kecemasan, masalah sosial, atau isolasi. Faktor risiko lainnya termasuk perubahan besar dalam hidup dan jenis kelamin laki-laki, karena anak laki-laki lebih cenderung terlibat dalam penggunaan teknologi yang bermasalah.

Tanda-tanda bahwa seorang remaja telah mengembangkan hubungan yang tidak sehat dengan teman AInya antara lain menarik diri dari aktivitas dan pertemanan biasa serta menurunnya prestasi sekolah, serta lebih memilih chatbot daripada teman pribadi, mengembangkan perasaan romantis terhadapnya, dan berbicara secara eksklusif dengannya tentang masalah yang ada. remaja sedang mengalami.

Beberapa orang tua mungkin memperhatikan peningkatan isolasi dan tanda-tanda penurunan kesehatan mental lainnya, namun tidak menyadari bahwa anak remaja mereka memiliki pendamping AI. Memang benar, studi Common Sense Media baru-baru ini menemukan bahwa banyak remaja menggunakan setidaknya satu jenis alat AI generatif tanpa disadari oleh orang tua mereka.

“Ada cukup banyak risiko sehingga jika Anda mengkhawatirkan sesuatu, bicarakan dengan anak Anda tentang hal itu.”

Meskipun orang tua tidak curiga anak remajanya sedang berbicara dengan chatbot AI, mereka harus mempertimbangkan untuk membicarakannya dengan anak tersebut. Torney merekomendasikan untuk mendekati anak remaja Anda dengan rasa ingin tahu dan keterbukaan untuk mempelajari lebih lanjut tentang rekan AI mereka, jika mereka memilikinya. Ini mungkin termasuk mengamati bagaimana remaja berinteraksi dengan temannya dan mengajukan pertanyaan tentang aspek aktivitas apa yang dia sukai.

Torney mendesak orang tua yang melihat tanda-tanda peringatan penggunaan yang tidak sehat untuk segera menindaklanjutinya dengan mendiskusikannya dengan anak remajanya dan mencari bantuan profesional jika diperlukan.

“Ada risiko yang cukup besar jika Anda mengkhawatirkan sesuatu, bicarakan dengan anak Anda tentang hal itu,” kata Torney.

Jika Anda memiliki pikiran untuk bunuh diri atau mengalami krisis kesehatan mental, bicaralah dengan seseorang. Hotline darurat bunuh diri dan krisis 988 dapat dihubungi di 988; Trans Lifeline di 877-565-8860; atau Proyek Trevor di 866-488-7386. Ketik “MULAI” ke garis krisis di 741-741. Hubungi hotline NAMI di 1-800-950-NAMI, Senin sampai Jumat, pukul 10.00 hingga 22.00 ET atau kirim email [email protected]. Jika Anda tidak menyukai panggilan ini, harap pertimbangkan untuk menggunakan obrolan 988 Suicide and Crisis Lifeline di krisischat.org. Di Sini daftar sumber daya internasional.