SEATTLE — Ingatkah Anda ketika ancaman terbesar daring adalah virus komputer? Itu adalah masa yang lebih sederhana. Kini, kita menghadapi bahaya digital yang jauh lebih berbahaya: bot media sosial yang didukung AI. Sebuah studi oleh para peneliti dari University of Washington dan Xi'an Jiaotong University mengungkap potensi yang sangat besar sekaligus risiko yang mengkhawatirkan dari penggunaan model bahasa besar (LLM) seperti ChatGPT dalam pendeteksian dan pembuatan profil palsu yang menipu ini.
Bot media sosial — akun otomatis yang dapat meniru perilaku manusia — telah lama menjadi duri dalam daging bagi operator dan pengguna platform. Akun-akun buatan ini dapat menyebarkan informasi yang salah, mengganggu pemilu, dan bahkan mempromosikan ideologi ekstremis. Hingga saat ini, perang melawan bot telah menjadi permainan kucing dan tikus yang terus-menerus, dengan para peneliti mengembangkan metode deteksi yang semakin canggih, hanya untuk membuat pembuat bot menemukan cara baru untuk menghindarinya.
Memasuki era model bahasa yang besar. Keajaiban AI ini, yang mampu memahami dan menghasilkan teks seperti manusia, telah menunjukkan janji dalam berbagai bidang. Namun, dapatkah mereka menjadi senjata rahasia dalam perang melawan bot media sosial? Atau mungkinkah mereka malah menjadi alat yang ampuh untuk membuat akun palsu yang lebih meyakinkan?
Tim peneliti yang dipimpin oleh Shangbin Feng berusaha menjawab pertanyaan-pertanyaan ini dengan menguji LLM dalam skenario pendeteksian dan pembuatan bot. Temuan mereka menggambarkan harapan sekaligus kehati-hatian untuk masa depan integritas media sosial.
“Selalu ada persaingan sengit antara operator bot dan para peneliti yang mencoba menghentikan mereka,” kata Feng, seorang mahasiswa doktoral di Paul G. Allen School of Computer Science & Engineering di Washington, dalam rilis universitas. “Setiap kemajuan dalam pendeteksian bot sering kali dibarengi dengan kemajuan dalam kecanggihan bot, jadi kami mengeksplorasi peluang dan risiko yang dihadirkan oleh model bahasa besar dalam persaingan sengit ini.”
Di sisi deteksi, beritanya menggembirakan. Para peneliti mengembangkan pendekatan baru menggunakan LLM untuk menganalisis berbagai aspek akun pengguna, termasuk metadata (seperti jumlah pengikut dan usia akun), teks postingan, dan jaringan koneksi antarpengguna. Dengan menggabungkan berbagai aliran informasi ini, sistem berbasis LLM mereka mampu mengungguli metode deteksi bot yang ada dengan margin yang mengesankan—hingga 9,1% lebih baik pada kumpulan data standar.
Yang paling menarik dari pendekatan ini adalah efisiensinya. Sementara model deteksi bot tradisional memerlukan pelatihan ekstensif pada kumpulan data besar akun berlabel, metode berbasis LLM mencapai hasil yang lebih unggul setelah disempurnakan hanya pada 1.000 contoh. Ini bisa menjadi pengubah permainan di bidang di mana data beranotasi berkualitas tinggi sering kali langka dan mahal untuk diperoleh.
Namun, temuan studi tersebut tidak sepenuhnya menggembirakan. Para peneliti juga meneliti bagaimana LLM dapat digunakan oleh pihak yang berseberangan dalam pertempuran tersebut — para kreator bot itu sendiri. Dengan memanfaatkan kemampuan pembuatan bahasa dari model AI ini, mereka dapat mengembangkan strategi untuk memanipulasi akun bot guna menghindari deteksi.
Taktik penghindaran yang dipandu LLM ini terbukti sangat efektif. Ketika diterapkan pada akun bot yang dikenal, taktik ini mampu mengurangi tingkat deteksi algoritma perburuan bot yang ada hingga 29,6%. Manipulasi tersebut berkisar dari penulisan ulang teks yang dibuat bot secara halus agar tampak lebih mirip manusia hingga perubahan strategis pada akun mana yang diikuti atau tidak diikuti bot.
Barangkali yang paling mengkhawatirkan adalah potensi LLM untuk menciptakan bot yang tidak hanya mengelak tetapi juga benar-benar meyakinkan. Studi tersebut menunjukkan bahwa LLM dapat menghasilkan profil dan kiriman pengguna yang menangkap perilaku manusia yang bernuansa, sehingga jauh lebih sulit dibedakan dari akun asli.
Potensi penggunaan ganda LLM dalam ranah integritas media sosial ini menghadirkan tantangan bagi operator platform, peneliti, dan pembuat kebijakan. Di satu sisi, perangkat AI yang canggih ini dapat merevolusi kemampuan kita untuk mengidentifikasi dan menghapus akun bot jahat dalam skala besar. Di sisi lain, perangkat ini berisiko menjadi senjata canggih dalam gudang senjata mereka yang ingin memanipulasi wacana daring.
“Menganalisis apakah pengguna adalah bot atau bukan jauh lebih rumit daripada beberapa tugas yang selama ini berhasil diselesaikan oleh para LLM umum, seperti mengingat fakta atau mengerjakan soal matematika sekolah dasar,” kata Feng.
Implikasinya jauh melampaui sekadar membersihkan linimasa media sosial kita. Di era di mana informasi daring dapat memengaruhi pemilihan umum, membentuk opini publik tentang isu-isu penting, dan bahkan memengaruhi peristiwa global, taruhan dari perlombaan senjata teknologi ini sangat besar.
Saat kita berada di persimpangan ini, para peneliti menekankan perlunya inovasi berkelanjutan dalam metode deteksi bot, khususnya metode yang dapat mengimbangi taktik penghindaran yang ditingkatkan oleh LLM. Mereka juga menyerukan peningkatan transparansi dari platform media sosial dan pendekatan kolaboratif antara peneliti, perusahaan teknologi, dan pembuat kebijakan untuk mengatasi tantangan yang muncul ini.
“Karya ini hanyalah prototipe ilmiah,” kata penulis senior Yulia Tsvetkov, seorang profesor madya di Allen School. “Kami tidak merilis sistem ini sebagai alat yang dapat diunduh siapa saja, karena selain mengembangkan teknologi untuk bertahan melawan bot jahat, kami juga bereksperimen dengan pemodelan ancaman tentang cara membuat bot yang mengelak, yang melanjutkan permainan kucing-kucingan untuk membangun bot yang lebih kuat yang membutuhkan detektor yang lebih kuat.”
Pertarungan bot masih jauh dari kata berakhir. Namun, dengan masuknya model bahasa yang besar, kita mungkin menyaksikan momen penting dalam perjuangan untuk integritas media sosial. Seiring dengan terus berkembangnya teknologi AI ini, perannya dalam membentuk dunia daring kita — baik atau buruk — kemungkinan besar akan semakin berkembang.
Ringkasan Makalah
Metodologi
Para peneliti mengembangkan kerangka kerja yang mereka sebut “campuran pakar heterogen” untuk menganalisis berbagai aspek akun media sosial menggunakan model bahasa besar (LLM). Mereka menguji tiga LLM: Mistral-7B, LLaMA2-70B, dan ChatGPT. Untuk setiap akun, mereka menganalisis metadata (seperti jumlah pengikut), teks kiriman, dan jaringan koneksi.
Mereka kemudian menggabungkan analisis ini untuk membuat prediksi akhir tentang apakah suatu akun adalah bot atau bukan. Untuk menguji efektivitas pendekatan mereka, mereka menggunakan dua kumpulan data akun Twitter yang banyak digunakan: Twibot-20 dan Twibot-22. Di sisi pembuatan bot, mereka mengeksplorasi berbagai cara LLM dapat digunakan untuk memodifikasi akun bot, termasuk menulis ulang postingan dan secara strategis mengubah akun mana yang diikuti bot.
Hasil Utama
Metode deteksi bot berbasis LLM mengungguli pendekatan yang ada, mencapai peningkatan hingga 9,1% dalam skor F1 (ukuran akurasi) pada kedua set data. Khususnya, ini dicapai setelah menyempurnakan LLM hanya pada 1.000 contoh, dibandingkan dengan ribuan atau bahkan jutaan contoh yang sering dibutuhkan untuk pendekatan pembelajaran mesin tradisional.
Pada sisi pembuatan bot, strategi manipulasi yang dipandu LLM mampu mengurangi efektivitas detektor bot yang ada hingga 29,6%. Studi ini juga menemukan bahwa LLM yang lebih besar dan lebih canggih (seperti ChatGPT) umumnya berkinerja lebih baik pada tugas deteksi dan penghindaran daripada model yang lebih kecil.
Keterbatasan Studi
Studi ini terutama berfokus pada data X (Twitter), yang mungkin tidak sepenuhnya mewakili keragaman platform media sosial. Para peneliti juga mencatat bahwa mereka tidak dapat menguji metode mereka pada akun bot terbaru karena keterbatasan ketersediaan data.
Selain itu, meski studi ini menunjukkan potensi LLM di domain ini, studi ini tidak mengeksplorasi secara mendalam semua kemungkinan cara model ini dapat digunakan untuk mendeteksi atau membuat bot.
Diskusi & Kesimpulan
Studi ini menyoroti sifat LLM yang bermata dua dalam konteks integritas media sosial. Meskipun model-model ini menunjukkan harapan besar untuk meningkatkan deteksi bot, model-model ini juga menghadirkan tantangan baru dengan memungkinkan terciptanya bot yang lebih canggih.
Para peneliti menekankan perlunya inovasi berkelanjutan dalam metode deteksi dan menekankan pentingnya mempertimbangkan implikasi etis dari teknologi ini. Mereka juga mencatat bahwa pendekatan berbasis LLM dapat sangat berharga dalam skenario di mana sejumlah besar data pelatihan berlabel tidak tersedia.
Pendanaan & Pengungkapan
Penelitian ini didukung oleh National Science Foundation di bawah dua hibah (IIS2142739 dan IIS2203097) dan oleh DARPA. Dukungan tambahan datang dari Alfred P. Sloan Foundation Fellowship. Para peneliti menyatakan tidak ada konflik kepentingan yang terkait dengan pekerjaan ini.