Pentru a se adapta la mediul urban deschis, corpurile inteligente trebuie să surprindă mișcările corpului oamenilor din jur și structura scenei în timp real. Mijloacele de percepție tradițională bazată pe senzori și camere inerțiale, care au probleme de derivă de date de lungă durată și sensibilitate la schimbările dinamice ale luminii și ale mediului, sunt dificil să răspundă cererii pentru mișcarea corpului uman și captarea scenei în medii complexe în aplicație Câmpuri de conducere inteligentă, robotică de serviciu și antrenament sportiv.
Începând cu 2022, echipa prof. Cheng Wang și prof. Chenglu Wen a fost primul care a propus tehnologia de captare a mișcării umane Lidar în arena internațională (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4d, CVPR 2023). În această publicație, HISC4D, echipa trece printr-o metodă de a surprinde diverse mișcări de interacțiune în două persoane și scene 3D în vizualizarea primei persoane în scene deschise la scară largă și în aer liber. Metoda construiește un cadru de optimizare a articulațiilor în mai multe etape prin concurarea orientării inerțiale și a datelor LIDAR, care rezolvă eficient problema derivă cauzată de îndrumarea inerțială și îmbunătățește semnificativ precizia reconstrucției scenei și extinde gama de mișcare spațială, umană și captare de interacțiune. În același timp, este lansat primul set de date multimodal de interacțiune cu două persoane, care acoperă diferite tipuri de scenă și mișcări umane diversificate, oferind resurse de date de instruire pentru domeniile de cercetare conexe. În același timp, care deschide un nou mod de a gândi pentru ca inteligența întruchipată să meargă la vastele în aer liber și să se integreze în mulțime.
