Nouvelles

May 16, 2023

Le jeu de données HA4M : Multi

Données scientifiques volume 9, Numéro d'article : 745 (2022) Citer cet article 2558 Accès 1 Détails des métriques Altmetric Cet article présente la surveillance multimodale de l'action humaine dans la fabrication (HA4M)

Données scientifiques volume 9, Numéro d'article : 745 (2022) Citer cet article

2558 Accès

1 Altmétrique

Détails des métriques

Cet article présente l'ensemble de données de surveillance multimodale de l'action humaine dans la fabrication (HA4M), une collection de données multimodales relatives aux actions effectuées par différents sujets construisant un train à engrenages épicycloïdaux (EGT). En particulier, 41 sujets ont exécuté plusieurs essais de la tâche d'assemblage, qui comprend 12 actions. Les données ont été collectées dans un scénario de laboratoire à l'aide d'un Microsoft® Azure Kinect qui intègre une caméra de profondeur, une caméra RVB et des émetteurs infrarouges (IR). À la connaissance des auteurs, l'ensemble de données HA4M est le premier ensemble de données multimodal sur une tâche d'assemblage contenant six types de données : images RVB, cartes de profondeur, images IR, images RVB alignées sur la profondeur, nuages ​​de points et squelette. données. Ces données représentent une bonne base pour développer et tester des systèmes avancés de reconnaissance d'actions dans plusieurs domaines, notamment la vision par ordinateur et l'apprentissage automatique, et des domaines d'application tels que la fabrication intelligente et la collaboration homme-robot.

Des mesures)

actions humaines dans un contexte manufacturier

Type(s) de technologie

Caméra Microsoft Azure Kinect

La reconnaissance de l’action humaine est un sujet de recherche actif en vision par ordinateur1,2 et en apprentissage automatique3,4 et de vastes travaux de recherche ont été menés au cours de la dernière décennie, comme le montre la littérature existante5. En outre, la récente généralisation des systèmes de caméras vidéo à faible coût, y compris les caméras de profondeur6, a renforcé le développement de systèmes d'observation dans une variété de domaines d'application tels que la vidéosurveillance, la sûreté et la sécurité des maisons intelligentes, l'aide à la vie ambiante, la santé. -soins et ainsi de suite. Cependant, peu de travaux ont été réalisés sur la reconnaissance de l'action humaine pour l'assemblage manufacturier7,8,9 et la faible disponibilité des ensembles de données publiques limite l'étude, le développement et la comparaison de nouvelles méthodes. Cela est principalement dû à des problèmes complexes tels que la similarité entre les actions, la complexité des actions, la manipulation des outils et des pièces, la présence de mouvements fins et d'opérations complexes.

La reconnaissance des actions humaines dans le contexte de la fabrication intelligente revêt une grande importance à diverses fins : améliorer l’efficacité opérationnelle8 ; promouvoir la coopération homme-robot10 ; pour assister les opérateurs11 ; soutenir la formation des employés9,12 ; accroître la productivité et la sécurité13 ; ou encore pour promouvoir la bonne santé mentale des travailleurs14. Dans cet article, nous présentons l'ensemble de données Human Action Multi-Modal Monitoring in Manufacturing (HA4M), qui est un ensemble de données multimodales acquises par une caméra RVB-D lors de l'assemblage d'un train d'engrenages épicycloïdaux (EGT) (voir Fig. 1). .

Composants impliqués dans l'assemblage du train épicycloïdal. Le modèle CAO des composants est accessible au public sur44.

L'ensemble de données HA4M fournit une bonne base pour développer, valider et tester des techniques et méthodologies permettant de reconnaître les actions d'assemblage. La littérature est riche en ensembles de données RVB-D pour la reconnaissance des actions humaines15,16,17, généralement acquis dans des environnements intérieurs/extérieurs sans contraintes. Ils sont principalement liés aux actions quotidiennes (comme marcher, sauter, agiter, se pencher, etc.), aux problèmes médicaux (comme les maux de tête, les maux de dos, chanceler, etc.), aux interactions à deux (comme se serrer dans ses bras, prendre une photo). , pointer du doigt, donner un objet, etc.) ou des actions de jeu (telles que frapper vers l'avant, servir au tennis, swinguer au golf, etc.). Le tableau 1 présente certains des ensembles de données RVB-D les plus connus et les plus couramment utilisés sur la reconnaissance des actions humaines, décrivant leurs principales particularités.

À la connaissance des auteurs, peu d’ensembles de données basés sur la vision existent dans le contexte de l’assemblage d’objets. Les chercheurs construisent généralement leurs propres ensembles de données à partir de données vidéo privées7,18. Le tableau 2 compare l'ensemble de données HA4M proposé avec les ensembles de données existants sur la reconnaissance des actions d'assemblage. Comme le montre le tableau 2, le HA4M proposé présente diverses contributions principales :