Untuk beradaptasi dengan lingkungan perkotaan yang terbuka, badan -badan cerdas perlu menangkap gerakan tubuh orang -orang di sekitarnya dan struktur pemandangan secara real time. Persepsi tradisional berarti berdasarkan sensor inersia dan kamera, yang memiliki masalah data lama dan sensitivitas terhadap perubahan dinamis cahaya dan lingkungan, masing -masing, sulit untuk memenuhi permintaan akan pergerakan tubuh manusia dan penangkapan adegan di lingkungan yang kompleks dalam aplikasi tersebut Bidang mengemudi cerdas, robotika layanan, dan pelatihan olahraga.
Sejak 2022, tim Prof. Cheng Wang dan Prof. Chenglu Wen telah menjadi yang pertama mengusulkan teknologi penangkapan gerak manusia Lidar di arena internasional (LidArcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4d, CVPR 2023). Dalam publikasi ini, HISC4D, tim menerobos metode untuk menangkap gerakan interaksi dua orang yang beragam dan adegan 3D dalam tampilan orang pertama dalam adegan terbuka indoor dan outdoor skala besar. Metode ini membangun kerangka optimisasi gabungan multi-tahap dengan menggabungkan bimbingan inersia dan data lidar, yang secara efektif memecahkan masalah melayang yang disebabkan oleh panduan inersia dan secara signifikan meningkatkan akurasi rekonstruksi pemandangan dan memperluas jangkauan spasial, gerakan manusia dan penangkapan interaksi. Pada saat yang sama, dataset interaksi dua orang multimodal pertama dirilis, mencakup berbagai jenis adegan dan beragam gerakan manusia, menyediakan sumber daya data pelatihan untuk bidang penelitian terkait. Teknologi HISC4D menggunakan LIDAR sebagai sensor inti untuk merekonstruksi gerakan manusia dan adegan 3D pada Saat yang sama, yang membuka cara berpikir baru untuk kecerdasan yang diwujudkan untuk pergi ke alam bebas yang luas dan berintegrasi ke dalam kerumunan.
