Google mengklaim bahwa Bard meningkat dalam matematika dan pemrograman
Bard, chatbot bertenaga AI Google yang terkepung, perlahan-lahan meningkat dalam tugas-tugas yang melibatkan logika dan penalaran. Itu menurut posting blog yang diterbitkan hari ini oleh raksasa teknologi, yang menunjukkan bahwa – berkat teknik yang disebut “eksekusi kode implisit” – Bard sekarang ditingkatkan secara khusus di bidang matematika dan pengkodean.
Seperti yang dijelaskan oleh posting blog, model bahasa besar (LLM) seperti Bard pada dasarnya adalah mesin prediksi. Saat diberi prompt, mereka menghasilkan respons dengan mengantisipasi kata-kata apa yang mungkin muncul berikutnya dalam sebuah kalimat. Itu menjadikan mereka penulis email dan esai yang sangat baik, tetapi pengembang perangkat lunak yang rawan kesalahan.
Tapi tunggu, Anda mungkin berkata — bagaimana dengan model pembuat kode seperti GitHub’s Copilot dan Amazon’s CodeWhisperer? Yah, itu bukan tujuan umum. Tidak seperti Bard dan saingannya di sepanjang lini ChatGPT, yang dilatih menggunakan berbagai sampel teks dari web, ebook, dan sumber daya lainnya, Copilot, CodeWhisperer, dan model penghasil kode yang sebanding dilatih dan disesuaikan hampir secara eksklusif pada sampel kode.
Termotivasi untuk mengatasi kekurangan pengkodean dan matematika di LLM umum, Google mengembangkan eksekusi kode implisit, yang memungkinkan Bard untuk menulis dan mengeksekusi kodenya sendiri. Versi terbaru Bard mengidentifikasi permintaan yang mungkin mendapat manfaat dari kode logis, menulis kode “di bawah tenda”, mengujinya, dan menggunakan hasilnya untuk menghasilkan respons yang seolah-olah lebih akurat.
Kredit Gambar: Google
Berdasarkan pembandingan internal, Google mengatakan bahwa tanggapan Bard yang baru untuk masalah kata dan matematika “berbasis komputasi” meningkat sebesar 30% dibandingkan dengan rilis Bard sebelumnya. Tentu saja, kita harus melihat apakah klaim tersebut sesuai dengan pengujian di luar.
“Bahkan dengan peningkatan ini, Bard tidak akan selalu melakukannya dengan benar — misalnya, Bard mungkin tidak menghasilkan kode untuk membantu respons yang cepat, kode yang dihasilkannya mungkin salah atau Bard mungkin tidak menyertakan kode yang dieksekusi dalam responsnya,” Bard product lead Jack Krawczyk dan VP of engineering Amarnag Subramanya menulis di posting blog. “Dengan semua itu, peningkatan kemampuan untuk merespons dengan kemampuan yang terstruktur dan digerakkan oleh logika ini merupakan langkah penting untuk menjadikan Bard lebih bermanfaat lagi.”
Ketika Google meluncurkan Bard awal tahun ini, itu tidak sebanding dengan Bing Chat dan ChatGPT. Memang, peluncuran itu sedikit bencana, dengan iklan Google yang menampilkan jawaban yang salah oleh Bard – secara singkat mengurangi saham perusahaan sebesar 8%.
Dilaporkan, beberapa karyawan Google yang menguji Bard sebelum peluncurannya menyampaikan keprihatinan serius kepada raksasa pencarian tersebut, dengan satu orang menyebutnya sebagai “pembohong patologis” dan yang lain menganggapnya “lebih buruk daripada tidak berguna”.
Dengan pembuatan kode implisit dan penyempurnaan lainnya, seperti dukungan untuk bahasa baru, kueri multimodal, dan pembuatan gambar, Google menanggapi kritik — dan berusaha membalikkan keadaan.
Apakah itu akan cukup untuk mengimbangi chatbot AI generatif terkemuka di luar angkasa, masih harus dilihat. Baru-baru ini, Anthropic memperkenalkan model chatbot AI dengan “jendela konteks” yang sangat diperluas, yang memungkinkan model untuk berkomunikasi secara relatif koheren selama berjam-jam atau bahkan berhari-hari dibandingkan dengan menit. Dan OpenAI, pengembang di balik ChatGPT, telah mulai mendukung plugin yang melengkapi ChatGPT dengan pengetahuan dan keterampilan luar.