Bisakah AI lulus ujian hukum perguruan tinggi? Jangan bertaruh untuk itu

Ruang belajar saya

Untuk mengeksplorasi kemampuan akademis AI generatif, saya melihat kinerjanya pada ujian akhir sarjana hukum pidana di Universitas Wollongong – salah satu mata pelajaran inti yang harus dilalui mahasiswa untuk lulus dalam gelar mereka. Ada 225 siswa yang mengerjakan ujian.

Ujiannya berlangsung selama tiga jam dan memiliki dua bagian. Tahap pertama meminta siswa untuk mengevaluasi studi kasus tentang pelanggaran pidana – dan kemungkinan keberhasilan penuntutan. Yang kedua mencakup esai singkat dan serangkaian pertanyaan jawaban singkat.

Soal-soal tes mengevaluasi gabungan keterampilan, termasuk pengetahuan hukum, berpikir kritis, dan kemampuan menyusun argumen persuasif.

Siswa tidak diperbolehkan menggunakan AI untuk tanggapan mereka. Dan melakukan penilaian di lingkungan yang diawasi.

Saya menggunakan model AI yang berbeda untuk membuat sepuluh jawaban berbeda atas soal ujian.

Lima makalah dihasilkan hanya dengan menempelkan soal ujian ke alat AI tanpa perintah apa pun. Untuk lima kasus lainnya, saya memberikan petunjuk rinci dan konten hukum yang relevan untuk melihat apakah hal tersebut akan meningkatkan hasil.

Saya menulis sendiri jawaban yang dihasilkan AI di buku ujian resmi dan menggunakan nama dan nomor siswa palsu. Jawaban yang dihasilkan AI ini dicampur dengan jawaban ujian siswa yang sebenarnya dan diberikan secara anonim kepada lima tutor untuk dinilai.

Yang penting, saat menilai, tutor tidak mengetahui bahwa AI telah menghasilkan sepuluh jawaban ujian.

Bagaimana kinerja makalah AI?

Ketika para tutor diwawancarai setelah penilaian, tidak ada satupun dari mereka yang curiga bahwa jawaban tersebut berasal dari AI.

Hal ini menunjukkan potensi AI untuk meniru respons siswa dan ketidakmampuan pendidik mengenali makalah semacam itu.

Namun secara keseluruhan, makalah AI tidak mengesankan.

Meskipun AI berhasil dengan baik dalam pertanyaan bergaya esai, AI kesulitan menjawab pertanyaan kompleks yang memerlukan analisis hukum mendalam.

Artinya, meskipun AI dapat meniru gaya penulisan manusia, AI tidak memiliki pemahaman yang diperlukan untuk penalaran hukum yang rumit.

Rata-rata ujian siswa adalah 66%.

Makalah AI yang tidak memiliki dorongan rata-rata hanya mengalahkan 4,3% siswa. Dua nyaris lolos (nilai kelulusan 50%), dan tiga gagal.

Dalam hal makalah yang menggunakan petunjuk, rata-rata mengalahkan 39,9% siswa. Tiga dari makalah ini tidak mengesankan dan menerima 50%, 51,7%, dan 60%, namun dua diantaranya cukup baik. Satu mendapat skor 73,3%, dan yang lainnya mendapat skor 78%.

Apa artinya ini?

Temuan ini mempunyai implikasi penting bagi pendidikan dan standar profesional.

Meskipun begitu, AI generatif masih belum bisa menggantikan manusia dalam tugas-tugas yang menuntut intelektualitas seperti ujian hukum ini.

Studi saya menunjukkan bahwa AI harus dilihat lebih seperti sebuah alat, dan jika digunakan dengan benar, AI dapat meningkatkan kemampuan manusia.

Oleh karena itu, sekolah dan universitas harus berkonsentrasi pada pengembangan keterampilan siswa untuk berkolaborasi dengan AI dan menganalisis hasilnya secara kritis daripada mengandalkan kemampuan alat tersebut untuk sekadar memberikan jawaban.

Lebih lanjut, untuk memungkinkan kolaborasi antara AI dan siswa, kita mungkin harus memikirkan kembali beberapa gagasan tradisional yang kita miliki tentang pendidikan dan penilaian.

Misalnya, kita mungkin mempertimbangkan ketika seorang siswa meminta, memverifikasi, dan mengedit karya yang dihasilkan AI, itu adalah kontribusi asli mereka dan tetap harus dipandang sebagai bagian pembelajaran yang berharga.