Differences

This shows you the differences between two versions of the page.

--- comparatif_openpose_kinect [2018/10/23 08:59] – ybendou
+++ comparatif_openpose_kinect [2020/09/12 17:15] (current) – [Superposition des squelettes:] mai
@@ Line 1: / Line 1: @@
 ====== Stage 2018 ======
+===== Introduction =====
 Du 02 Juillet 2018 au 30 Juillet 2018, j’ai effectué un stage au sein du département informatique de l’IMT Atlantique. Au cours de ce stage, j’ai pu m’intéresser aux différents algorithmes d’estimation du squelette humain.
 Dans le cadre de l’utilisation du robot Poppy pour exécuter des exercices de kinésithérapie, ce robot utilise une caméra Kinect afin de détecter le squelette du patient et évaluer l’exécution du mouvement. Mon travail au cours de ce stage a été d’évaluer d’autres algorithmes permettant la détection du squelette humain et leur comparaison avec la Kinect et la Xsens.
@@ Line 103: / Line 103: @@
 ==== Coloriage de la vidéo en supprimant le squelette: ====
 Les données brutes fournies contiennent le squelette de la Kinect tracé sur la vidéo. Il faut tout d’abord corriger cela en supprimant le squelette et en essayant de recolorier la vidéo.
-Pour cela, le programme (Remove_Skeleton.py) permet de détecter les pixels rouges du squelette, les supprime et les remplace en faisant une moyenne sur un carré de 16 pixels centré sur le pixel que l’on souhaite supprimer sans prendre en compte les pixels rouges.\\
+Pour cela, le programme (//Algo/Scripts/Remove_Skeleton.py//) permet de détecter les pixels rouges du squelette, les supprime et les remplace en faisant une moyenne sur un carré de 16 pixels centré sur le pixel que l’on souhaite supprimer sans prendre en compte les pixels rouges.\\
 Ce programme parcourt la vidéo frame par frame et enregistre le résultat sous forme d’une nouvelle vidéo avec la possibilité d’enregistrer les frames.
 \\ Une fois la vidéo coloriée, nous disposons d’une vidéo relativement similaire à l'originale avec quelques défauts notamment au niveau des extrémités des membres et à certains endroits où le squelette est de couleur presque orange similaire à celle des capteurs. En diminuant encore plus le seuil de (R,G,B) les capteurs étaient aussi coloriés.
@@ Line 133: / Line 134: @@
 ==== Superposition des squelettes: ====
-Avant d’entamer la comparaison, il faut tout d’abord superposer les différentes données. Pour cela, les deux programmes (Supperposition_Mobilenet_Kinect.py et SupperpositionXsens_Kinect.py) automatisent la superposition, et un autre programme (plot_skeletons.py) permet de visualiser les squelettes superposés. La superposition se fait par rapport aux données de la Kinect de la manière suivante :
+Avant d’entamer la comparaison, il faut tout d’abord superposer les différentes données. Pour cela, les deux programmes (Supperposition_Mobilenet_Kinect.py et SupperpositionXsens_Kinect.py) automatisent la superposition, et un autre programme (python3 plot_skeletons.py in folder Algo/Scripts) permet de visualiser les squelettes superposés. La superposition se fait par rapport aux données de la Kinect de la manière suivante :
   * Rotation selon l’axe des y pour les données de la Xsens.
   * Rescale du squelette en se basant sur la longueur des jambres (genou à la cheville)
   * Superposition des middle Shoulders en exécutant une translation dans le plan (X,Y)
-{{ :supperpositionsquelettes.png?nolink&400 |}}
+{{ :supperpositionsquelettes.png?nolink&300 |}} \\
+A ce stade, les données sont superposées spatialement. La prochaine étape consiste à les superposer temporellement.
+==== Interpolation des données: ====
+Afin de pouvoir comparer les données à chaque instant, le programme (Interpolation.py) permet, selon la caméra à l’entrée, d’interpoler les données. Afin de ne pas être dans un cas d’extrapolation, il est recommandé d’exécuter l’interpolation dans un intervalle de temps inférieure à l’intervalle de temps initial.
+{{ :apresinterpolation.png?nolink&300 |}} \\
+Maintenant que les données sont tous superposées spatialement et temporellement, nous pouvons enfin passer à une comparaison quantitative.
+====  Comparaison des données: ====
+Cette étape consiste consiste à tirer des résultats comparatifs des différentes caméras, en se basant sur la Xsens comme vérité terrain. Avant d’analyser les résultats, il est nécessaire de mentionner que les squelettes sont superposés spatialement uniquement au niveau du middle Shoulder, des différences entre les squelettes existent en raison de la position des capteurs de la Xsens qui est différente des parties du corps détectées par la Kinect. De même, les parties du corps détectées par la Kinect ne sont pas forcément identiques à celles de la Mobilenet. C’est pour cela que nous nous intéresserons notamment à l’évolution de ces différences et l’évolution de leur écart-type. \\
+Pour cela, on utilise les deux programmes suivants :
+  * Le premier consiste à comparer les 3 méthodes: Kinect, Mobilenet et Xsens. (comparaison_Kinect_Mobilenet_Xsens.py)
+  * Le deuxième consiste à comparer la Kinect et la Mobilenet en utilisant les données du Skeleton2D converties au bon format. (comparaison_Kinect_Mobilenet.py)
+Les deux programmes permettent de comparer l’évolution des positions X,Y , de l’écart-type et de la distance entre les différentes méthodes et ce pour chaque partie du corps.
+La comparaison des parties gauches du squelette donnent des résultats cohérents et interprétables.
+{{ :comparaisonxsenskinectmobilenet.png?nolink&600 |}}
+Pour un profil de face, la Kinect détecte toujours toutes les différentes parties du corps. Or, ce n’est pas le cas pour la Mobilenet. Par ailleurs, pour un profil de côté, la Mobilenet est plus précise que la Kinect. \\
+{{:comparaisonkinectmobilenetcote.png?nolink&300|}}
+{{:comparaisonkinectmobilenetcote2.png?nolink&300|}}
+Cependant, après quelques tests, il s’est avéré que des complications persistent au niveau de la variance et de l’écart type de la partie droite du corps. Au début, j'ai soulevé un problème d'effet miroir. En effet, la gauche et la droite de la Kinect sont inversés par rapport à ceux de la Kinect et la Xsens. Une fois ce problème résolu, un autre problème persistait au niveau de la variance et l'écart-type de la partie droite. En effet, les valeurs d'écart-type (en mètre) sont relativement grand, tandis que la vérité terrain montre que la différence n'est pas autant grande.\\
+Les résultats suivants sont ceux de la vidéo Chris1 pour la poignée Droite.
+{{ :comparaisonxsenskinectmobilenet2.png?nolink&600 |}}
+===== Conclusion =====
+Pour conclure, ce projet a permi l’implémentation de différentes versions de l’algorithme OpenPose tel quel la Mobilenet sous Tensorflow et l’implémentation sous Caffe.\\
+Après comparaison de ces implémentations avec la Mobilenet et la vérité terrain représentée par la Xsens. Il paraît que l’implémentation sous Caffe est la plus performante pour un scale au dessus de 1. Toutefois, cette version est très lente et ne peut pas être utilisée pour un rendu en temps réel. D’autre part, la mobilenet est la version la plus rapide d’OpenPose. Ses résultats sont comparables à ceux de la Kinect. \\
+Malheureusement, faute de temps je n’ai pu exécuter plus de comparaisons afin de mieux interpréter les résultats de ces comparaisons. Toutefois, les programmes que j’ai pu écrire permettront à d’autres personnes d'exécuter d’autres comparaisons et d’utiliser la Mobilenet et l’implémentation sous Caffe.
+===== Compléments =====
+  * Le squelette utilisé dans tf_pose_estimation est le modèle COCO. La correspondance des index et des parties du corps est consultable sur https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/output.md#keypoint-ordering et  https://github.com/ildoonet/tf-pose-estimation/blob/460dfab9a73784455c314c7a979dd87a36b35f4f/tf_pose/common.py
+{{tag>poppy-kine}}