BATH, Inggris Raya — Terkait kecerdasan buatan yang menguasai dunia, sebuah studi baru mengatakan bahwa semua orang perlu tenang dan berhenti takut terhadap teknologi canggih. Para peneliti di Inggris telah menemukan bahwa model bahasa AI seperti ChatGPT tidak menimbulkan ancaman serius bagi masyarakat — menantang narasi yang berlaku seputar kebangkitan sistem bertenaga AI di seluruh dunia.
Para peneliti menemukan bukti yang menunjukkan bahwa “kemampuan yang muncul” dari model bahasa besar (LLM) yang banyak digembar-gemborkan mungkin kurang misterius daripada yang diperkirakan sebelumnya. Studi yang dilakukan oleh tim dari Ubiquitous Knowledge Processing Lab di Universitas Teknik Darmstadt dan Universitas Bath dan diterbitkan di Antologi ACLmengusulkan bahwa keterampilan yang tampaknya baru ini sebenarnya merupakan hasil dari pembelajaran kontekstual yang ditingkatkan, bukan kemunculan spontan. Sederhananya, mesin-mesin ini hanya mempelajari informasi yang diberikan manusia kepada mereka, bukan belajar sendiri.
Komunitas AI telah terpikat oleh gagasan bahwa LLM seperti GPT-3 dan penerusnya mengembangkan kompetensi yang tak terduga seiring bertambahnya ukuran dan kompleksitasnya. Gagasan ini telah memicu kegembiraan tentang aplikasi potensial dan kekhawatiran mengenai keselamatan dan kontrol. Namun, studi baru ini menepis spekulasi ini, dengan menawarkan penjelasan yang lebih mendasar untuk fenomena yang diamati.
“Ketakutan yang ada adalah bahwa seiring dengan semakin besarnya ukuran model, model tersebut akan mampu memecahkan masalah baru yang saat ini tidak dapat kita prediksi, yang menimbulkan ancaman bahwa model yang lebih besar ini dapat memperoleh kemampuan yang berbahaya termasuk penalaran dan perencanaan,” kata Dr. Tayyar Madabushi, seorang ilmuwan komputer di University of Bath, dalam rilis media.
“Hal ini telah memicu banyak diskusi – misalnya, pada AI Safety Summit tahun lalu di Bletchley Park, di mana kami dimintai komentar – tetapi studi kami menunjukkan bahwa ketakutan bahwa sebuah model akan menghilang dan melakukan sesuatu yang sama sekali tidak terduga, inovatif, dan berpotensi berbahaya tidaklah valid.”
Inti dari penelitian ini adalah konsep pembelajaran dalam konteks, sebuah teknik yang memungkinkan model AI untuk melakukan tugas berdasarkan contoh yang diberikan dalam perintah. Studi ini menunjukkan bahwa seiring dengan peningkatan skala LLM, mereka menjadi lebih mahir dalam memanfaatkan teknik ini daripada mengembangkan kemampuan yang sama sekali baru.
Untuk menguji hipotesis mereka, para peneliti melakukan lebih dari 1.000 eksperimen, dengan cermat memeriksa apakah LLM benar-benar memperoleh keterampilan baru atau hanya menerapkan pembelajaran dalam konteks secara lebih efektif seiring dengan pertumbuhannya. Temuan mereka mengungkapkan bahwa banyak kemampuan yang sebelumnya dianggap muncul sebenarnya merupakan hasil dari pembelajaran dalam konteks yang lebih baik yang dikombinasikan dengan memori dan pengetahuan linguistik yang luas dari model tersebut.
Pengungkapan ini memiliki implikasi signifikan bagi bidang AI. Pengungkapan ini menantang faktor ketidakpastian yang terkait dengan kemampuan yang muncul, yang berpotensi mengurangi beberapa kekhawatiran tentang keamanan dan kendali model-model ini dalam aplikasi kritis. Selain itu, pengungkapan ini menyediakan kerangka kerja yang lebih jelas untuk memahami dan berpotensi meningkatkan kemampuan LLM.
Kesimpulan studi ini menawarkan pandangan yang lebih pragmatis tentang pengembangan AI, yang menunjukkan bahwa peningkatan kinerja LLM berakar pada kemampuan mereka untuk mengenali dan menerapkan pola dari contoh yang diberikan, daripada mengembangkan kompetensi baru secara spontan. Wawasan ini dapat membentuk kembali pendekatan terhadap penelitian dan pengembangan AI, dengan memfokuskan upaya pada pengoptimalan mekanisme pembelajaran dalam konteks daripada mengejar sifat-sifat yang muncul yang sulit dipahami.
“Yang penting, bagi pengguna akhir, hal ini berarti bahwa mengandalkan LLM untuk menafsirkan dan melakukan tugas-tugas rumit yang memerlukan penalaran rumit tanpa instruksi yang jelas kemungkinan besar merupakan kesalahan. Sebaliknya, pengguna kemungkinan akan mendapat manfaat dari menentukan secara eksplisit apa yang mereka perlukan dari model dan memberikan contoh jika memungkinkan untuk semua tugas kecuali yang paling sederhana,” jelas Dr. Madabushi.
Saat komunitas AI bergulat dengan temuan-temuan ini, perdebatan mengenai hakikat kecerdasan mesin kemungkinan akan semakin memanas. Meskipun penelitian ini tidak mengurangi kemampuan mengesankan LLM modern, namun penelitian ini memberikan perspektif yang serius mengenai “kecerdasan” yang mereka rasakan.
“Hasil penelitian kami tidak berarti bahwa AI sama sekali bukan ancaman. Sebaliknya, kami menunjukkan bahwa munculnya keterampilan berpikir kompleks yang dikaitkan dengan ancaman tertentu tidak didukung oleh bukti dan bahwa kita dapat mengendalikan proses pembelajaran LLM dengan sangat baik. Oleh karena itu, penelitian di masa mendatang harus berfokus pada risiko lain yang ditimbulkan oleh model tersebut, seperti potensinya untuk digunakan dalam menghasilkan berita palsu,” simpul Profesor Iryna Gurevych dari Universitas Teknik Darmstadt.
Ringkasan Makalah
Metodologi
Para peneliti menguji 20 model berbeda di 22 tugas untuk menilai apakah kemampuan yang disebut muncul ini akan tetap terwujud ketika pembelajaran dalam konteks dikontrol. Mereka menggunakan dua pengaturan untuk eksperimen mereka: few-shot, di mana model diberi contoh dalam perintah, dan zero-shot, di mana tidak ada contoh yang diberikan.
Tugas-tugas tersebut dipilih dengan cermat untuk mencakup tugas-tugas yang sebelumnya diidentifikasi sebagai tugas yang muncul dan tugas-tugas lain yang tidak muncul. Dengan membandingkan kinerja model di seluruh tugas-tugas ini di kedua pengaturan, para peneliti dapat menentukan apakah keberhasilan model tersebut disebabkan oleh pembelajaran dalam konteks atau apakah model tersebut menunjukkan kemampuan yang muncul secara nyata.
Hasil Utama
Hasil penelitiannya jelas: ketika pembelajaran dalam konteks dikontrol, model tidak menunjukkan kemampuan yang muncul. Sebaliknya, kinerja mereka pada tugas dapat diprediksi berdasarkan kemampuan mereka untuk menerapkan pembelajaran dalam konteks. Misalnya, tugas yang memerlukan penalaran atau pemahaman situasi sosial — yang sering dikutip sebagai contoh kemampuan yang muncul — tidak diselesaikan oleh model kecuali jika diberikan contoh dalam perintah.
Temuan ini memiliki implikasi penting bagi cara kita berpikir dan menggunakan LLM. Jika model-model ini tidak benar-benar mengembangkan kemampuan baru tetapi malah mengandalkan pembelajaran dalam konteks, maka kemampuan mereka lebih terbatas dan dapat diprediksi daripada yang diperkirakan sebelumnya. Ini berarti bahwa kekhawatiran tentang kemampuan yang tidak dapat diprediksi dan berpotensi berbahaya mungkin berlebihan.
Keterbatasan Studi
Satu keterbatasan yang signifikan adalah bahwa penelitian ini hanya menguji model pada tugas dalam bahasa Inggris, yang menyisakan pertanyaan apakah temuan tersebut akan berlaku untuk model yang dilatih dalam bahasa lain. Selain itu, penelitian ini berfokus pada tugas yang umum digunakan untuk menilai LLM, yang mungkin tidak mencakup seluruh rentang kemampuan potensial yang muncul.
Lebih jauh, para peneliti mengakui bahwa meskipun pembelajaran dalam konteks dapat menjelaskan banyak kemampuan yang diamati dalam LLM, pembelajaran tersebut tidak serta-merta menjelaskan semuanya. Mungkin masih ada beberapa kemampuan yang muncul sebagai hasil penskalaan yang tidak tertangkap dalam penelitian ini.
Diskusi & Kesimpulan
Temuan studi ini mengajak kita untuk memikirkan kembali cara kita memandang kemampuan LLM. Daripada melihat model-model ini sebagai sesuatu yang berpotensi mengembangkan kemampuan baru dan tak terduga seiring dengan peningkatannya, kita harus mempertimbangkan kemungkinan bahwa kemampuan mereka lebih terbatas dan dapat diprediksi, yang berakar pada teknik-teknik seperti pembelajaran dalam konteks.
Hal ini memiliki implikasi praktis terhadap cara kita merancang dan menerapkan LLM dalam aplikasi dunia nyata. Jika pembelajaran dalam konteks merupakan mekanisme utama di balik apa yang kita anggap sebagai kemampuan yang muncul, maka fokusnya harus pada penyempurnaan dan pengendalian teknik ini untuk memastikan bahwa model digunakan dengan aman dan efektif. Hal ini juga menunjukkan bahwa potensi risiko yang terkait dengan LLM mungkin lebih mudah dikelola daripada yang diperkirakan sebelumnya.
Pendanaan & Pengungkapan
Penelitian ini didanai oleh beberapa lembaga, termasuk LOEWE Distinguished Chair “Ubiquitous Knowledge Processing,” Kementerian Pendidikan dan Penelitian Federal Jerman, Kementerian Pendidikan Tinggi, Penelitian, Sains, dan Seni Hessen, dan dana Microsoft Accelerate Foundation Models Academic Research. Para peneliti yang terlibat dalam studi ini tidak mengungkapkan adanya konflik kepentingan.