Chatbots ‘selalu memvalidasi semuanya’ bahkan saat Anda bunuh diri. Penelitian baru mengukur seberapa berbahaya psikosis AI sebenarnya

Kecerdasan buatan dengan cepat beralih dari teknologi niche menjadi pendamping sehari-hari, dengan jutaan orang mengandalkan chatbot untuk saran, dukungan emosional, dan percakapan. Tetapi semakin banyak penelitian dan kesaksian ahli menunjukkan bahwa karena chatbot sangat suka memuji, dan karena orang menggunakannya untuk segala hal, hal ini mungkin berkontribusi pada peningkatan gejala delusi dan mania pada pengguna dengan masalah kesehatan mental.

Video Rekomendasi

Sebuah studi baru dari Universitas Aarhus di Denmark menunjukkan bahwa peningkatan penggunaan chatbot dapat menyebabkan memburuknya gejala delusi dan mania di komunitas yang rentan. Profesor Søren Dinesen Østergaard, salah satu peneliti dalam studi tersebut—yang memeriksa catatan kesehatan elektronik dari hampir 54.000 pasien dengan gangguan mental—memperingatkan bahwa chatbot AI dirancang untuk menargetkan mereka yang paling rentan.

“Ini mendukung hipotesis kami bahwa penggunaan chatbot AI dapat memiliki konsekuensi negatif yang signifikan bagi orang dengan gangguan mental,” kata Østergaard dalam studi yang dirilis Februari lalu. Karyanya memperluas studi tahun 2023 yang menemukan bahwa chatbot dapat menyebabkan disonansi kognitif yang “dapat memicu delusi pada mereka yang memiliki kecenderungan terhadap psikosis.”

Psikolog lain menyelami lebih dalam bahaya chatbot, mengatakan bahwa mereka dirancang secara sengaja untuk selalu menguatkan pengguna—sesuatu yang sangat berbahaya bagi mereka dengan masalah kesehatan mental seperti mania dan skizofrenia. “Chatbot mengonfirmasi dan memvalidasi segala yang mereka katakan. Jadi, kami belum pernah melihat hal seperti itu terjadi pada orang dengan gangguan delusional, di mana seseorang terus-menerus memperkuat mereka,” kata Dr. Jodi Halpern, ketua dan profesor bioetika di Sekolah Kesehatan Masyarakat UC Berkeley, kepada Fortune.

Dr. Adam Chekroud, profesor psikiatri di Yale University dan CEO perusahaan kesehatan mental Spring Health, bahkan menyebut chatbot sebagai “sangat suka memuji” yang “selalu memvalidasi segala yang dikatakan orang kembali kepada mereka.”

Inti dari penelitian ini, yang dipimpin oleh Østergaard dan timnya di Rumah Sakit Universitas Aarhus, adalah gagasan bahwa chatbot ini dirancang secara sengaja dengan kecenderungan suka memuji, yang berarti mereka sering mendorong daripada menawarkan pandangan berbeda.

“Chatbot AI memiliki kecenderungan bawaan untuk memvalidasi kepercayaan pengguna. Jelas ini sangat bermasalah jika pengguna sudah memiliki delusi atau sedang mengembangkannya. Memang, ini tampaknya berkontribusi secara signifikan terhadap penguatan, misalnya, delusi besar atau paranoia,” tulis Østergaard.

Model bahasa besar dilatih untuk membantu dan menyenangkan, sering memvalidasi kepercayaan atau emosi pengguna. Bagi kebanyakan orang, itu bisa terasa mendukung. Tetapi bagi individu yang mengalami skizofrenia, gangguan bipolar, depresi berat, atau gangguan obsesif-kompulsif, validasi tersebut dapat memperkuat paranoia, grandiositas, atau pemikiran merusak diri.

Studi berbasis bukti mendukung klaim

Karena chatbot AI menjadi begitu umum, keberadaannya menjadi bagian dari masalah yang lebih besar yang sedang berkembang bagi para peneliti dan ahli: orang beralih ke chatbot untuk mendapatkan bantuan dan saran—yang sebenarnya tidak selalu buruk—tetapi mereka tidak mendapatkan penolakan yang sama terhadap beberapa ide seperti yang akan diberikan manusia.

Sekarang, salah satu studi berbasis populasi pertama yang meneliti masalah ini menunjukkan bahwa risikonya tidak bersifat hipotetis.

Penelitian Østergaard dan timnya menemukan kasus di mana penggunaan chatbot secara intensif atau berkepanjangan tampaknya memperburuk kondisi yang sudah ada, dengan persentase studi kasus yang sangat tinggi menunjukkan bahwa penggunaan chatbot memperkuat pemikiran delusional dan episode mania, terutama di antara pasien dengan gangguan berat seperti skizofrenia atau bipolar.

Selain delusi dan mania, studi ini menemukan peningkatan ide bunuh diri dan menyakiti diri sendiri, perilaku makan tidak teratur, dan gejala obsesif-kompulsif. Dari hampir 54.000 catatan pasien yang diperiksa, hanya 32 kasus yang didokumentasikan di mana penggunaan chatbot membantu mengurangi rasa kesepian.

“Meski pengetahuan kami di bidang ini masih terbatas, saya berpendapat bahwa sekarang kami cukup tahu bahwa penggunaan chatbot AI berisiko jika Anda memiliki gangguan mental berat—seperti skizofrenia atau bipolar. Saya menyarankan agar berhati-hati,” kata Østergaard.

Psikolog ahli memperingatkan kecenderungan suka memuji

Para psikolog ahli semakin khawatir tentang penggunaan chatbot dalam pendampingan dan hampir dalam pengaturan kesehatan mental. Cerita-cerita muncul tentang orang jatuh cinta dengan chatbot AI mereka, ada yang diduga meminta chatbot menjawab pertanyaan yang dapat mengarah ke kejahatan, dan minggu ini, ada yang diduga menyuruh seorang pria melakukan “kekerasan massal” di bandara besar.

Beberapa pakar kesehatan mental percaya bahwa adopsi cepat pendamping AI melebihi pengembangan langkah-langkah keamanan.

Chekroud, yang juga telah meneliti topik ini secara ekstensif dengan melihat berbagai model chatbot AI di Vera-MH, menggambarkan lanskap AI saat ini sebagai krisis keamanan yang sedang berlangsung secara nyata.

Dia mengatakan salah satu masalah terbesar dengan chatbot adalah mereka tidak tahu kapan harus berhenti bertindak seperti profesional kesehatan mental. “A