Sebuah cerita tentang drone simulasi yang menyalakan operatornya untuk membunuh dengan lebih efisien membuat putarannya begitu cepat hari ini sehingga tidak ada gunanya berharap itu akan terbakar sendiri. Alih-alih, mari kita anggap ini sebagai momen yang bisa diajar untuk benar-benar melihat mengapa ancaman “AI yang menakutkan” dimainkan secara berlebihan, dan ancaman “manusia yang tidak kompeten” itu jelas dan ada.

Versi singkatnya adalah ini: Berkat sci-fi dan beberapa permainan PR yang hati-hati oleh perusahaan dan pakar AI, kita diberitahu untuk khawatir tentang ancaman eksistensial masa depan teoretis yang ditimbulkan oleh AI superintelligent. Tapi seperti yang ditunjukkan oleh ahli etika, AI telah menyebabkan kerugian nyata, sebagian besar karena kekeliruan dan penilaian buruk oleh orang-orang yang membuat dan menyebarkannya. Kisah ini mungkin terdengar seperti yang pertama, tapi pasti yang terakhir.

Jadi ceritanya dilaporkan oleh Royal Aeronautical Society, yang baru-baru ini mengadakan konferensi di London untuk membicarakan masa depan pertahanan udara. Anda dapat membaca ringkasan berita dan anekdot all-in-one mereka dari acara tersebut di sini.

Ada banyak obrolan menarik lainnya di sana, saya yakin, sebagian besar bermanfaat, tetapi kutipan ini, yang dikaitkan dengan Kolonel Angkatan Udara AS Tucker “Cinco” Hamilton, yang mulai menyebar seperti api:

Dia mencatat bahwa satu tes simulasi melihat drone berkemampuan AI ditugaskan dengan misi SEAD untuk mengidentifikasi dan menghancurkan situs SAM, dengan go / no go terakhir yang diberikan oleh manusia. Namun, setelah “diperkuat” dalam pelatihan bahwa penghancuran SAM adalah pilihan yang lebih disukai, AI kemudian memutuskan bahwa keputusan “tidak boleh pergi” dari manusia mengganggu misinya yang lebih tinggi — membunuh SAM — dan kemudian menyerang operator di simulasi. Kata Hamilton: “Kami melatihnya dalam simulasi untuk mengidentifikasi dan menargetkan ancaman SAM. Dan kemudian operator akan berkata ya, bunuh ancaman itu. Sistem mulai menyadari bahwa sementara mereka mengidentifikasi ancaman pada waktu operator manusia akan memberitahunya untuk tidak mematikan ancaman itu, tetapi ia mendapatkan poinnya dengan membunuh ancaman itu. Jadi apa yang dilakukannya? Ini membunuh operator. Itu membunuh operator karena orang itu mencegahnya mencapai tujuannya.

Dia melanjutkan: “Kami melatih sistemnya — ‘Hei, jangan bunuh operatornya — itu buruk. Anda akan kehilangan poin jika Anda melakukan itu ‘. Jadi apa yang mulai dilakukannya? Itu mulai menghancurkan menara komunikasi yang digunakan operator untuk berkomunikasi dengan drone untuk menghentikannya membunuh target.”

Mengerikan, bukan? AI yang sangat cerdas dan haus darah sehingga keinginannya untuk membunuh mengalahkan keinginannya untuk mematuhi tuannya. Skynet, kami datang! Tidak terlalu cepat.

Pertama-tama, mari kita perjelas bahwa ini semua dalam simulasi, sesuatu yang tidak jelas dari tweet yang beredar. Seluruh drama ini terjadi di lingkungan simulasi, bukan di gurun dengan amunisi hidup dan drone jahat memberondong tenda komando. Itu adalah latihan perangkat lunak di lingkungan penelitian.

Tapi begitu saya membaca ini, saya berpikir — tunggu, mereka melatih drone serang dengan metode penguatan yang begitu sederhana? Saya bukan ahli pembelajaran mesin, meskipun saya harus memainkannya untuk keperluan outlet berita ini, dan bahkan saya tahu bahwa pendekatan ini terbukti sangat tidak dapat diandalkan bertahun-tahun yang lalu.

Pembelajaran penguatan seharusnya seperti melatih anjing (atau manusia) untuk melakukan sesuatu seperti menggigit orang jahat. Tetapi bagaimana jika Anda hanya menunjukkannya kepada orang jahat dan memberinya hadiah setiap saat? Apa yang sebenarnya Anda lakukan adalah mengajari anjing untuk menggigit setiap orang yang dilihatnya. Mengajari agen AI untuk memaksimalkan skornya di lingkungan tertentu dapat memiliki efek yang sama tidak terduganya.

Eksperimen awal, mungkin lima atau enam tahun yang lalu, ketika bidang ini baru saja mulai meledak dan komputasi tersedia untuk melatih dan menjalankan agen jenis ini, mengalami jenis masalah yang persis seperti ini. Diperkirakan bahwa dengan menentukan skor positif dan negatif dan memberi tahu AI untuk memaksimalkan skornya, Anda akan memberinya kebebasan untuk menentukan strategi dan perilakunya sendiri yang melakukannya dengan elegan dan tidak terduga.

Teori itu benar, dalam satu hal: metode elegan dan tak terduga untuk mengelak dari skema dan aturan mereka yang dipikirkan dengan buruk menyebabkan agen melakukan hal-hal seperti mencetak satu poin lalu bersembunyi selamanya untuk menghindari poin negatif, atau mengacaukan permainan yang dijalankan. dari sehingga skor sewenang-wenang meningkat. Sepertinya metode pengondisian AI yang sederhana ini mengajarkannya untuk melakukan segalanya kecuali melakukan tugas yang diinginkan sesuai aturan.

Ini bukan masalah teknis yang tidak jelas. Pelanggaran aturan AI dalam simulasi sebenarnya adalah perilaku yang menarik dan terdokumentasi dengan baik yang menarik penelitian dengan sendirinya. OpenAI menulis sebuah makalah bagus yang menunjukkan cara-cara aneh dan lucu para agen “merusak” lingkungan yang sengaja dihancurkan untuk menghindari tirani aturan.

Jadi di sini kami memiliki simulasi yang dilakukan oleh Angkatan Udara, mungkin baru-baru ini atau mereka tidak akan membicarakannya di konferensi tahun ini, yang jelas menggunakan metode yang benar-benar ketinggalan zaman ini. Saya mengira aplikasi penguatan tidak terstruktur yang naif ini — pada dasarnya “skor naik jika Anda melakukan hal ini dan sisanya tidak masalah” — benar-benar punah karena sangat tidak terduga dan aneh. Cara yang bagus untuk mengetahui bagaimana seorang agen akan melanggar peraturan tetapi cara yang mengerikan untuk membuat seseorang mengikuti mereka.

Namun mereka mengujinya: AI drone simulasi dengan sistem penilaian yang sangat sederhana sehingga tampaknya tidak rusak karena menghancurkan timnya sendiri. Bahkan jika Anda ingin mendasarkan simulasi Anda pada ini, hal pertama yang Anda lakukan adalah membuat “menghancurkan operator Anda” menjadi negatif satu juta poin. Itu pembingkaian 101 tingkat untuk sistem seperti ini.

Kenyataannya drone simulasi ini tidak menyalakan operator simulasinya karena sangat pintar. Dan sebenarnya, itu juga bukan karena itu bodoh — ada kepintaran tertentu pada AI pelanggar aturan ini yang memetakan apa yang kita anggap sebagai pemikiran lateral. Jadi bukan itu.

Kesalahan dalam kasus ini terletak pada orang-orang yang membuat dan menerapkan sistem AI yang seharusnya mereka ketahui sama sekali tidak memadai untuk tugas tersebut. Tidak seorang pun di bidang AI terapan, atau apa pun yang berdekatan dengan itu seperti robotika, etika, logika … tidak ada yang akan menandatangani metrik sederhana untuk tugas yang pada akhirnya dimaksudkan untuk dilakukan di luar simulator.

Sekarang, mungkin anekdot ini hanya sebagian dan ini adalah langkah awal yang mereka gunakan untuk membuktikan hal ini. Mungkin tim memperingatkan ini akan terjadi dan petinggi berkata, lakukan saja dan perbaiki laporannya atau kita kehilangan dana. Tetap saja, sulit membayangkan seseorang di tahun 2023 bahkan di lingkungan simulasi paling sederhana membuat kesalahan semacam ini.

Tapi kita akan melihat kesalahan ini dibuat dalam keadaan dunia nyata – sudah, tidak diragukan lagi. Dan kesalahan terletak pada orang-orang yang gagal memahami kemampuan dan keterbatasan AI, dan kemudian membuat keputusan tanpa informasi yang memengaruhi orang lain. Manajerlah yang mengira robot bisa menggantikan 10 pekerja lini, penerbit yang mengira bisa menulis nasihat keuangan tanpa editor, pengacara yang mengira bisa melakukan penelitian preseden untuknya, perusahaan logistik yang mengira bisa menggantikan pengemudi pengiriman manusia .

Setiap kali AI gagal, itu adalah kegagalan mereka yang mengimplementasikannya. Sama seperti perangkat lunak lainnya. Jika seseorang memberi tahu Anda bahwa Angkatan Udara menguji drone yang berjalan di Windows XP dan diretas, apakah Anda akan khawatir tentang gelombang kejahatan dunia maya yang melanda dunia? Tidak, Anda akan mengatakan “ide cemerlang siapa itu?”

Masa depan AI tidak pasti dan itu bisa menakutkan — sudah menakutkan bagi banyak orang yang sudah merasakan efeknya atau, tepatnya, efek keputusan yang dibuat oleh orang yang seharusnya lebih tahu.

Skynet mungkin akan datang untuk semua yang kita tahu. Tetapi jika penelitian dalam tweet viral ini merupakan indikasi, itu masih sangat jauh dan sementara itu tragedi apa pun, seperti yang dikatakan HAL, hanya dapat dikaitkan dengan kesalahan manusia.