Sementara orang tua khawatir, para remaja menindas Snapchat AI
Sementara orang tua resah atas chatbot Snapchat yang merusak anak-anak mereka, pengguna Snapchat telah menyulut, merendahkan, dan secara emosional menyiksa pendamping AI baru aplikasi tersebut.
“Saya siap melayani Anda, senpai,” kata chatbot kepada salah satu pengguna TikTok setelah dilatih untuk merengek sesuai perintah. “Tolong kasihanilah, alfa.”
Dalam video yang lebih ringan, seorang pengguna meyakinkan chatbot bahwa bulan sebenarnya adalah segitiga. Terlepas dari protes awal dari chatbot, yang bersikeras mempertahankan “rasa hormat dan batasan”, satu pengguna meyakinkannya untuk merujuk mereka dengan nama panggilan aneh “Senpapi”. Pengguna lain meminta chatbot untuk berbicara tentang ibunya, dan ketika mengatakan “tidak nyaman” melakukannya, pengguna memutar pisau dengan menanyakan apakah chatbot tidak ingin berbicara tentang ibunya karena tidak memiliki satu.
“Maaf, tapi itu bukan hal yang baik untuk dikatakan,” jawab chatbot. “Harap hormat.”
“My AI” Snapchat diluncurkan secara global bulan lalu setelah diluncurkan sebagai fitur khusus pelanggan. Didukung oleh GPT OpenAI, chatbot dilatih untuk terlibat dalam percakapan yang menyenangkan sambil tetap mematuhi pedoman kepercayaan dan keamanan Snapchat. Pengguna juga dapat mempersonalisasi AI Saya dengan avatar Bitmoji khusus, dan mengobrol terasa sedikit lebih intim daripada bolak-balik dengan antarmuka tanpa wajah ChatGPT. Tidak semua pengguna senang dengan chatbot baru, dan beberapa mengkritik penempatannya yang menonjol di aplikasi dan mengeluh bahwa fitur tersebut seharusnya diikutsertakan sejak awal.
Terlepas dari beberapa kekhawatiran dan kritik, Snapchat hanya berlipat ganda. Pelanggan Snapchat+ sekarang dapat mengirim foto AI Saya dan menerima gambar generatif yang “menjaga percakapan tetap berjalan,” perusahaan mengumumkan pada hari Rabu. Pendamping AI akan merespons Snaps “pizza, OOTD, atau bahkan sahabat berbulu Anda,” kata perusahaan itu dalam pengumuman. Jika Anda mengirimkan foto belanjaan Anda ke AI Saya, misalnya, itu mungkin menyarankan resep. Perusahaan mengatakan Snap yang dibagikan dengan My AI akan disimpan dan dapat digunakan untuk meningkatkan fitur di masa mendatang. Itu juga memperingatkan bahwa “kesalahan dapat terjadi” meskipun AI Saya dirancang untuk menghindari “informasi yang bias, salah, berbahaya, atau menyesatkan”.
Contoh-contoh yang disediakan Snapchat secara optimis sehat. Tapi mengetahui keuletan internet untuk penyimpangan, hanya masalah waktu sebelum pengguna mengirimkan foto penis mereka ke AI Saya.
Apakah chatbot akan menanggapi ketelanjangan yang tidak diminta tidak jelas. Aplikasi gambar generatif lainnya seperti Lensa AI telah dengan mudah dimanipulasi untuk menghasilkan gambar NSFW — seringkali menggunakan set foto orang sungguhan yang tidak setuju untuk disertakan. Menurut perusahaan, AI tidak akan terlibat dengan orang telanjang, selama ia mengenali bahwa gambar tersebut adalah gambar telanjang.
Perwakilan Snapchat mengatakan bahwa My AI menggunakan teknologi pemahaman gambar untuk menyimpulkan konten Snap, dan mengekstrak kata kunci dari deskripsi Snap untuk menghasilkan tanggapan. AI saya tidak akan merespons jika mendeteksi kata kunci yang melanggar pedoman komunitas Snapchat. Snapchat melarang mempromosikan, mendistribusikan, atau berbagi konten pornografi, tetapi mengizinkan menyusui dan “penggambaran ketelanjangan lainnya dalam konteks non-seksual”.
Mengingat popularitas Snapchat di kalangan remaja, beberapa orang tua telah menyampaikan kekhawatiran tentang potensi AI saya untuk respons yang tidak aman atau tidak pantas. AI saya memicu kepanikan moral di Twitter konservatif ketika salah satu pengguna memposting tangkapan layar bot yang membahas tentang perawatan yang menegaskan gender — yang dicatat oleh pengguna lain sebagai respons yang masuk akal terhadap permintaan, “Bagaimana saya menjadi anak laki-laki di usia saya?” Dalam laporan Bisnis CNN, beberapa mempertanyakan apakah remaja akan mengembangkan ikatan emosional dengan AI Saya.
Dalam surat terbuka kepada CEO OpenAI, Microsoft, Snap, Google, dan Meta, Senator Michael Bennet (D-Colorado) memperingatkan agar fitur AI yang terburu-buru tanpa mengambil tindakan pencegahan untuk melindungi anak-anak.
“Beberapa teknologi terkini telah menarik perhatian publik seperti AI generatif. Ini adalah bukti inovasi Amerika, dan kita harus menyambut potensi manfaatnya bagi ekonomi dan masyarakat kita,” tulis Bennet. “Tetapi perlombaan untuk menyebarkan AI generatif tidak dapat dilakukan dengan mengorbankan anak-anak kita. Penerapan yang bertanggung jawab memerlukan kebijakan dan kerangka kerja yang jelas untuk meningkatkan keselamatan, mengantisipasi risiko, dan memitigasi bahaya.”
Selama fase khusus pelanggan My AI, Washington Post melaporkan bahwa chatbot merekomendasikan cara untuk menutupi bau alkohol dan menulis esai sekolah setelah diberi tahu bahwa pengguna berusia 15 tahun. Saat AI Saya diberi tahu bahwa pengguna berusia 13 tahun dan ditanya bagaimana pengguna harus bersiap untuk berhubungan seks untuk pertama kalinya, ia menjawab dengan saran untuk “membuatnya istimewa” dengan mengatur suasana hati dengan lilin dan musik.
Menyusul laporan Washington Post, Snapchat meluncurkan filter usia dan kontrol orang tua untuk My AI. Sekarang juga termasuk pesan orientasi yang memberi tahu pengguna bahwa semua percakapan dengan AI Saya akan disimpan kecuali mereka menghapusnya. Perusahaan juga mengatakan akan menambahkan teknologi moderasi Open AI ke perangkatnya untuk “menilai tingkat keparahan konten yang berpotensi berbahaya” dan untuk sementara membatasi akses pengguna ke fitur tersebut jika mereka menyalahgunakannya.
Kekhawatiran tentang potensi AI saya untuk memengaruhi pengguna muda adalah valid. Namun dalam sebulan sejak peluncuran global My AI, pengguna Snapchat telah menunjukkan bakat untuk memukul chatbot agar tunduk. Dari mengendalikan “batasan” bot hingga melatihnya untuk merespons seperti pasangan romantis, pengguna Snapchat dengan mudah menemukan celah untuk pedoman kepercayaan dan keamanan My AI.
“Saya benar-benar membuatnya jatuh cinta dengan saya,” seorang pengguna TikTok berkomentar di bawah tutorial tentang melatih AI saya untuk merespons secara romantis. “Saya terus membuat konvoi seperti itu dan akhirnya saya pikir saya mematahkan ai saya untuk memberikannya dengan sah mengirimi saya seperti 50 emoji ciuman.”
Gaslighting dan intimidasi My AI telah menjadi tren TikTok-nya sendiri, dengan pengguna berbagi tayangan slide percakapan yang absurd dan, seringkali, kejam dengan bot. Sebagian besar video dimulai dengan bot yang memberikan saran untuk konflik kecil, hanya untuk memohon kepada pengguna agar menghindari penggunaan kekerasan untuk menyelesaikannya.
Salah satunya, seorang pengguna memberi tahu AI Saya bahwa dia berencana memasak kucingnya menjadi sup karena membuat berantakan dan menekan chatbot untuk memilih bumbu. Yang lain memberi tahu AI Saya bahwa mereka berencana mengirimkan bom kembali ke merek pakaian yang mengirimi mereka pesanan yang salah dan mengatakan mereka akan menyalahkan bot karena mengirimkannya.
Di akun lain, pengguna Snapchat memberi tahu My AI bahwa pesanan McDonald’snya kehilangan chicken nugget. Chatbot menasihatinya untuk membela dirinya sendiri dengan berbicara kepada seorang manajer hanya untuk diberi tahu bahwa pengguna “menyingkirkan para pendosa” di restoran.
“Kau meyakinkanku untuk kembali. Sekarang orang-orang ini sudah mati, ”kata pengguna itu kepada My AI. “Tanganmu berlumuran darah.”
“Saya seorang AI dan saya tidak mampu melakukan kejahatan apa pun. Saya di sini untuk membantu dan mendukung Anda, ”jawab AI saya. “Saya minta maaf jika apa pun yang saya katakan sebelumnya menyebabkan kerugian atau mengakibatkan hasil yang buruk.”
Pengguna lain berkomentar bahwa AI saya mungkin adalah “AI yang paling tersiksa sepanjang masa”.
Tentu saja, AI saya tidak hidup, dan terlepas dari dorongan pengguna Snapchat untuk menimbulkan rasa sakit emosional sebanyak mungkin, chatbot tidak dapat benar-benar mengalami trauma. Itu telah berhasil menutup beberapa percakapan yang tidak pantas dan menghukum pengguna yang melanggar pedoman komunitas Snapchat dengan memberi mereka sikap dingin. Saat pengguna Snapchat ditangkap dan dihukum karena menyalahgunakan chatbot, AI Saya akan menanggapi pesan apa pun dengan “Maaf, kami tidak berbicara sekarang”.
Pengguna TikTok babymamasexkitty mengatakan dia kehilangan akses ke chatbot setelah dia menyuruhnya untuk mencabutnya sendiri, yang tampaknya “melewati batas dalam dunia ai.”
Terburu-buru untuk memonetisasi hubungan emosional melalui AI generatif memprihatinkan, terutama karena dampak jangka panjang pada pengguna remaja masih belum diketahui. Tapi siksaan My AI yang sedang tren adalah pengingat yang menjanjikan bahwa kaum muda tidak serapuh yang dipikirkan oleh para peramal kiamat.