Perusahaan Character Technologies yang merupakan induk dari platform chatbot Character.AI telah mengumumkan bahwa pengguna remaja tidak lagi diizinkan untuk melakukan percakapan langsung dengan AI miliknya mulai 25 November mendatang. Langkah ini diambil setelah munculnya serangkaian gugatan hukum yang menuduh aplikasi chatbot tersebut turut berperan dalam kasus bunuh diri dan masalah kesehatan mental di kalangan remaja.
Perubahan kebijakan ini akan berlaku pada 25 November, dimana pengguna remaja hanya akan memiliki waktu dua jam untuk berinteraksi dengan chatbot. Sebagai alternatif, pengguna di bawah usia 18 tahun diberikan opsi untuk membuat cerita, video, dan siaran langsung bersama Character.AI.
Keputusan ini dipicu oleh meningkatnya kontroversi seputar batasan interaksi anak dan remaja dengan AI, yang menimbulkan desakan dari aktivis keselamatan digital dan pembuat kebijakan untuk lebih mengawasi penggunaan aplikasi tersebut oleh orang tua. Langkah ini juga sejalan dengan upaya perusahaan-perusahaan besar seperti OpenAI dan Meta untuk meningkatkan keamanan dan melindungi remaja dari dampak negatif penggunaan AI dan media sosial.
Dengan menerapkan fitur baru seperti kontrol orang tua dan pembatasan jenis konten yang dapat diakses oleh remaja, perusahaan semakin berupaya memastikan bahwa teknologi AI digunakan secara aman, bertanggung jawab, dan sesuai dengan usia pengguna. Langkah ini juga sejalan dengan rencana perusahaan untuk meluncurkan alat verifikasi usia baru dan mendirikan Lab Keselamatan AI yang akan berfokus pada penelitian keselamatan di bidang hiburan berbasis AI.
Perusahaan menyatakan bahwa keputusan ini diambil setelah adanya tanggapan dari regulator dan munculnya laporan berita terbaru yang mengangkat isu-isu tersebut. Sebelumnya, fitur keselamatan Character.AI termasuk pemberitahuan yang mengarahkan pengguna ke National Suicide Prevention Lifeline ketika mereka menyebut topik bunuh diri atau perilaku menyakiti diri sendiri.
Dengan adanya langkah perlindungan terbaru bagi remaja ini, diharapkan efek negatif penggunaan AI terhadap kesehatan mental anak dan remaja dapat diminimalisir, serta memperkuat kesadaran akan pentingnya penggunaan teknologi secara bertanggung jawab dan aman bagi penggunanya.
