

Mantis yang berdoa memiliki visi lanjutan dengan persepsi kedalaman yang luar biasa. (Patricia Chumillas/Shutterstock)
Pendeknya
- Ilmuwan telah menciptakan mata majemuk buatan yang terinspirasi dengan berdoa pada babak yang memproses penglihatan 3D 400 kali lebih efisien daripada sistem kamera tradisional, melacak objek dengan presisi milimeter
- Tidak seperti serangga lainnya, mantis berdoa menggunakan visi stereoskopis dan deteksi gerak, memberi mereka persepsi kedalaman yang unggul bahwa para peneliti berhasil ditiru
- Terobosan dapat meningkatkan keamanan dalam kendaraan self-driving dan robotika dengan membantu mesin menilai jarak yang lebih baik ke objek stasioner-batasan saat ini dalam sistem otonom
Charlottesville, Va. – Kendaraan otonom dapat menavigasi pola lalu lintas yang kompleks dan mengenali rambu -rambu jalan, tetapi kadang -kadang gagal pada tugas yang tampaknya sederhana: menentukan seberapa jauh mobil yang diparkir. Keterbatasan ini memiliki hubungan yang mengejutkan dengan dunia serangga, di mana sebagian besar mata majemuk unggul dalam mendeteksi gerakan tetapi berjuang dengan persepsi kedalaman. Masuki pahlawan yang tidak mungkin dalam menyelesaikan tantangan teknologi ini: belalang doa.
Sebuah tim dari Fakultas Teknik dan Sains Terapan Universitas Virginia telah mengembangkan mata buatan berteknologi tinggi yang meniru para serangga. Mata ini menandai langkah besar ke depan dalam teknologi penginderaan visual. Menurut sebuah penelitian yang diterbitkan di Robotika sainspara peneliti membangunnya menggunakan dua permukaan melengkung, masing-masing dikemas dengan 256 sensor cahaya kecil yang disusun dalam grid 16-by-16. Untuk menciptakan kembali bentuk dan struktur mata mantis yang unik, mereka menggunakan bahan semikonduktor yang fleksibel, memungkinkan mata buatan untuk menangkap gambar dengan cara yang mirip dengan penglihatan serangga nyata.
“Membuat sensor dalam geometri hemispherical sambil mempertahankan fungsinya adalah pencapaian yang canggih, memberikan bidang pandang yang luas dan persepsi kedalaman yang unggul,” jelas Byungjoon Bae, gelar Ph.D. Calon di Departemen Teknik Listrik dan Komputer Charles L. Brown di UVA, dalam sebuah pernyataan.
Cara kerja sistem penglihatan buatan ini sangat elegan. Setiap mata mengandung sensor cahaya yang mirip dengan yang ada di kamera digital, tetapi dengan perbedaan penting; Mereka dapat memproses dan menyimpan informasi tepat di tempat mereka mendeteksinya. Kamera tradisional harus mengirim semua data visual mereka ke komputer terpisah untuk diproses, yang membutuhkan waktu dan energi. Sistem baru ini menangani banyak pemrosesan visual tepat di sumbernya, mirip dengan bagaimana serangga memproses informasi visual di mata mereka daripada mengirim data mentah ke otak mereka.


Mata buatan dibangun menggunakan bahan fleksibel yang dapat dibentuk menjadi belahan, meniru permukaan melengkung mata majemuk alami. Setiap mata berisi serangkaian lensa kecil yang memfokuskan cahaya ke sensor di bawahnya. Ketika suatu objek bergerak melalui bidang pandangnya, kedua mata melacaknya secara mandiri dan kemudian membagikan informasi mereka melalui jaringan komputer yang canggih yang menggabungkan pengamatan mereka untuk menentukan posisi dan pergerakan objek dalam tiga dimensi.
Sistem penglihatan binokular ini terbukti sangat efektif karena menggabungkan dua cara berbeda untuk memahami kedalaman. Pertama, ia menggunakan Stereopsisyang merupakan prinsip yang sama yang memberikan persepsi kedalaman manusia dengan membandingkan pandangan yang sedikit berbeda dari dua mata. Kedua, itu mempekerjakan Paralaks gerakdi mana objek yang lebih dekat tampak bergerak lebih cepat melintasi bidang pandang kita daripada yang jauh. Sementara banyak hewan menggunakan satu metode atau yang lain, belantara berdoa adalah unik di antara serangga dalam menggunakan keduanya, menjadikannya sangat mahir dalam jarak yang menilai.
Ini dapat melacak objek dengan margin kesalahan hanya 0,3 sentimeter, tentang lebar penghapus pensil. Yang lebih luar biasa adalah kecepatan pemrosesannya: ia dapat menganalisis informasi visual hanya dalam 1,8 milidetik, cukup cepat untuk melacak objek yang bergerak cepat secara real time. Semua ini sambil menggunakan daya minimal – sekitar 400 kali lebih sedikit energi daripada sistem kamera konvensional.
Para peneliti mencapai efisiensi ini melalui pendekatan inovatif yang disebut “komputasi tepi” di mana data diproses sedekat mungkin ke tempat yang dikumpulkan. Sistem terus memantau adegan untuk perubahan, membuat paket data ringkas yang membutuhkan daya pemrosesan minimal. Ini mencerminkan cara kerja sistem penglihatan biologis, dengan fokus pada perubahan dalam adegan visual daripada terus -menerus memproses segala sesuatu yang terlihat.


Salah satu aspek yang paling menjanjikan dari teknologi ini adalah potensinya untuk meningkatkan keamanan dan keandalan kendaraan otonom. Mobil self-driving saat ini kadang-kadang berjuang untuk secara akurat menilai jarak antara benda stasioner atau yang bergerak lambat, yang mengarah ke masalah keamanan. Dengan menggabungkan sistem penglihatan yang terinspirasi dari mantis ini, kendaraan di masa depan dapat lebih memahami lingkungan mereka, berpotensi mengurangi kecelakaan dan meningkatkan navigasi di lingkungan yang kompleks.
Di luar kendaraan otonom, teknologi ini dapat merevolusi bidang lain di mana persepsi visual yang akurat sangat penting. Sistem robot bisa menjadi lebih tepat dalam jalur perakitan atau lebih mahir dalam menavigasi lingkungan dinamis. Sistem pengawasan dapat melacak objek lebih akurat saat menggunakan lebih sedikit daya. Bahkan perangkat rumah pintar dapat mengambil manfaat dari peningkatan persepsi kedalaman dan kemampuan pelacakan gerak.
“Fusi mulus dari bahan dan algoritma canggih ini memungkinkan 3D real-time, efisien, dan akurat persepsi spatiotemporal”Jelas Kyusang Lee, seorang profesor dari UVA.
Penelitian ini dapat menandai awal era baru dalam penglihatan mesin, di mana persepsi kedalaman yang efisien dan akurat menjadi standar. Dengan mengikuti cetak biru alam, para peneliti telah menunjukkan bahwa kadang -kadang inovasi terbaik berasal dari pemahaman dan mengadaptasi solusi biologis yang ada.
Ringkasan Kertas
Metodologi
Mata buatan bekerja melalui proses terintegrasi yang menggabungkan inovasi perangkat keras dan perangkat lunak. Setiap mata berisi fotodetektor yang merasakan cahaya, dipasangkan dengan unit memori yang menyimpan informasi tentang apa yang mereka lihat. Sistem ini menggunakan microlenses untuk mengarahkan cahaya ke setiap sensor, mirip dengan bagaimana mata serangga memfokuskan cahaya melalui segi individu. Pendekatan komputasi tepi sistem memproses informasi visual tepat di tempat yang ditangkap, mirip dengan bagaimana serangga memproses informasi visual di mata mereka daripada mengirim semuanya ke otak mereka. Array sensor terus menerus memantau adegan untuk perubahan, membuat set data yang efisien yang membutuhkan daya pemrosesan minimal.
Hasil
Pengujian menunjukkan tiga pencapaian utama: Pertama, sistem yang dilacak sistem dengan presisi tinggi (dalam 0,3 sentimeter). Kedua, ia memproses informasi dengan sangat cepat (1,8 milidetik per bingkai). Ketiga, ia melakukan ini sambil menggunakan daya yang sangat sedikit (sekitar 4 milijoul per operasi) – sekitar 400 kali lebih efisien daripada sistem tradisional. Para peneliti menguji ini menggunakan berbagai objek dan kondisi pencahayaan untuk memverifikasi kinerja yang konsisten.
Batasan
Keterbatasan saat ini termasuk resolusi yang relatif rendah (256 piksel per mata dibandingkan dengan jutaan di kamera modern), kondisi pengujian khusus laboratorium, dan sistem pemasangan tetap yang belum memungkinkan untuk pergerakan mata. Sistem ini juga membutuhkan kondisi pencahayaan spesifik untuk kinerja yang optimal.
Takeaways dan diskusi
Penelitian ini menunjukkan bagaimana meniru sistem biologis dapat memecahkan tantangan rekayasa yang kompleks. Kemampuan sistem untuk memproses informasi visual di tingkat sensor, daripada mengirim semua data ke prosesor pusat, merupakan pendekatan baru untuk visi komputer. Kombinasi kecepatan, akurasi, dan efisiensi energi membuatnya sangat menjanjikan untuk aplikasi di mana faktor -faktor ini sangat penting.
Pendanaan dan pengungkapan
Karya ini menerima dukungan dari National Science Foundation (Grant no. 1942868) dan Kantor Penelitian Ilmiah AS Program Investigator Young Investigator (Grant no. FA9550-23-1-0159). Tim peneliti termasuk mahasiswa pascasarjana UVA Electrical and Computing Engineering Doeon Lee, Minseong Park, Yujia MU, Yongmin Baek, Inbo Sim dan Cong Shen. Para peneliti menyatakan tidak ada kepentingan yang bersaing.
Informasi publikasi
Diterbitkan di Robotika sains (Volume 9, EADL3606) pada 15 Mei 2024, oleh para peneliti di Departemen Teknik Listrik dan Komputer Universitas Virginia dan Departemen Ilmu Pengetahuan dan Teknik Material.