

Bader Alsharif, penulis pertama dan Ph.D. kandidat di Departemen Teknik Elektro dan Ilmu Komputer FAU. (Kredit: FAU)
BOCA RATON, Florida — Dalam lompatan maju yang luar biasa dalam teknologi komunikasi, para peneliti di Florida Atlantic University telah mengembangkan sistem kecerdasan buatan yang dapat mengenali Bahasa Isyarat Amerika (ASL) dengan ketepatan luar biasa. Hal ini berpotensi mengubah cara individu tunarungu dan gangguan pendengaran berinteraksi dengan teknologi dan dunia di sekitar mereka.
Bayangkan sebuah dunia di mana setiap gerakan tangan dapat langsung dipahami, di mana nuansa bahasa isyarat menjadi mudah dibaca seperti kata-kata yang diucapkan. Ini bukan lagi sekedar mimpi. Dengan menggunakan teknologi visi komputer mutakhir, tim peneliti telah menciptakan model AI yang dapat secara akurat menafsirkan gerakan alfabet ASL dengan kecepatan yang mencengangkan. akurasi 98%..
Penelitian tersebut dipublikasikan di jurnal Franklin Terbukamengatasi tantangan yang kompleks: mengajar komputer untuk memahami gerakan rumit bahasa isyarat. Para peneliti membangun kumpulan data besar-besaran yang terdiri dari 29.820 gambar statis gerakan tangan, menggunakan teknologi pelacakan canggih yang disebut MediaPipe untuk memberi anotasi pada setiap gambar dengan 21 titik landmark tepat yang menangkap detail halus posisi tangan.
“Menggabungkan MediaPipe dan YOLOv8, serta menyempurnakan hyperparameter untuk mendapatkan akurasi terbaik, mewakili pendekatan yang inovatif dan inovatif,” kata Bader Alsharif, peneliti utama studi tersebut dan seorang Ph.D. kandidat, dalam rilis universitas.


Pendekatan ini memungkinkan AI mengenali perbedaan terkecil sekalipun antara bentuk tangan yang serupa.
Model AI mencapai tingkat akurasi 98% dalam mengidentifikasi gerakan alfabet ASL, dengan skor kinerja keseluruhan yang hampir sempurna yaitu 99%. Artinya, sistem ini dapat dengan andal menerjemahkan gerakan tangan ke dalam huruf-huruf yang dapat dikenali, sehingga membuka kemungkinan-kemungkinan baru dalam teknologi komunikasi.
Meskipun hasilnya sangat mengesankan, para peneliti tidak berhenti sampai di sini. Rencana masa depan termasuk memperluas kumpulan data untuk mencakup lebih banyak bentuk tangan dan gerakan serta mengoptimalkan sistem agar berfungsi pada perangkat portabel yang lebih kecil. Tujuan utamanya adalah untuk menciptakan alat yang dapat menyediakan terjemahan bahasa isyarat secara real-time, menghilangkan hambatan komunikasi bagi individu tunarungu dan yang mengalami gangguan pendengaran.
“Dengan meningkatkan pengenalan Bahasa Isyarat Amerika, karya ini berkontribusi dalam menciptakan alat yang dapat meningkatkan komunikasi bagi komunitas tuna rungu dan orang yang mengalami gangguan pendengaran,” kata Dr. Stella Batalama, Dekan Fakultas Teknik dan Ilmu Komputer FAU.
Batalama menekankan bahwa teknologi ini dapat membuat interaksi sehari-hari di bidang pendidikan, layanan kesehatan, dan lingkungan sosial menjadi lebih lancar dan inklusif.
Terobosan ini mewakili lebih dari sekedar pencapaian teknologi. Ini adalah langkah menuju dunia yang lebih mudah diakses dimana komunikasi tidak mengenal batas. Seiring dengan terus berkembangnya teknologi, proyek-proyek seperti ini mengingatkan kita akan dampak besar inovasi terhadap hubungan antarmanusia.
Ringkasan Makalah
Metodologi
Studi ini menggunakan metodologi dua langkah menggunakan YOLOv8 dan MediaPipe untuk pengenalan gerakan alfabet American Sign Language (ASL) secara real-time. Awalnya, YOLOv8 digunakan untuk mendeteksi dan melokalisasi gerakan tangan. Setelah deteksi, MediaPipe memberi anotasi pada setiap gambar gerakan tangan dengan penanda utama untuk menganalisis pose tangan secara tepat. Integrasi teknologi ini memastikan pengenalan yang akurat dan efisien, memanfaatkan kekuatan kemampuan deteksi YOLOv8 dan pelacakan landmark MediaPipe yang mendetail.
Hasil Utama
Studi ini mencapai akurasi yang mengesankan dalam pengenalan gerakan ASL secara real-time. YOLOv8, ditambah dengan MediaPipe, memfasilitasi sistem pengenalan ASL real-time yang efektif, mencapai tingkat presisi dan perolehan sebesar 98%, dengan skor F1 sebesar 99%. Performa tingkat tinggi ini menekankan kemampuan sistem dalam mengenali dan menafsirkan isyarat ASL dengan cepat, bahkan dalam berbagai kondisi.
Keterbatasan Studi
Meskipun penelitian ini menunjukkan akurasi yang tinggi, penelitian ini terutama berfokus pada ASL dan mungkin tidak langsung diterjemahkan ke bahasa isyarat lain karena perbedaan struktural. Selain itu, ketergantungan penelitian ini pada teknologi canggih seperti YOLOv8 dan MediaPipe mungkin membatasi penerapannya di lingkungan dengan sumber daya rendah di mana teknologi tersebut tidak tersedia atau terjangkau.
Diskusi & Kesimpulan
Penelitian ini menyoroti potensi pengintegrasian teknologi deteksi objek canggih dan pelacakan landmark untuk meningkatkan aksesibilitas komunikasi. Hal ini menunjukkan bahwa metodologi serupa dapat diterapkan pada bahasa isyarat dan gerak tubuh lainnya, sehingga mungkin dapat meningkatkan interaksi bagi komunitas tunarungu dan orang yang mengalami gangguan pendengaran secara lebih luas. Penelitian di masa depan dapat mengeksplorasi adaptasi teknik ini untuk bahasa berbasis isyarat kompleks lainnya dan meningkatkan ketahanan model terhadap beragam latar belakang dan kondisi pencahayaan.
Pendanaan & Pengungkapan
Studi ini tidak merinci sumber pendanaan atau konflik kepentingan apa pun, sehingga menyarankan adanya upaya penelitian independen.