Table of Contents

, , ,

Poppy-Kine : Stage d'été 2017 PoppyImitatesKinect

Introduction

Les objectifs principaux est travail portera sur la conversion et l’imitation de mouvements humains capturés à l’aide d’une Kinect en mouvements robots joués par Poppy.
- Conversion de l’orientation et la position des jointures en angles moteur de Poppy
- Simulation sur Vrep

Comment l'utiliser

  1. : Installation de V-rep
  2. : Voir Poppy-Kine : S5 project 2015-2016
  3. : Capture les données via Kinect en utilisant l'outil de Poppy-Kine-S5 project 2015-2016
  4. : faire la conversion
  5. : Simulation sur V-rep

Première étape: obtenir les données de quaternion

Click to display ⇲

Click to hide ⇱


Cliquez save.bat
Entrez le nom d'exercice dans le shell.
Une nouvelle fenêtre, avec la vidéo capturé par le Kinect caméra et le squelette de la personne.
Les mouvements sont séparés par des pressions sur espace .

Par exemple:

  • espace : Commence la capture du premier mouvement,
  • Faire le mouvement…
  • espace : Arrête la capture du premier mouvement,
  • espace : Commence la capture du second mouvement,
  • etc

Les mouvements sont sauvegardés dans ⁄exercices⁄<name_of_the_exercise>/ dossier, <name_of_the_exercise_x>.txt fichier.
x commence à zéro (Premier mouvement.
Pour finir de capturer les mouvements, fermez la fenêtre.

Deuxième étape: obtenir la position en angles moteur et la simuler

Le code est sur git https://redmine.telecom-bretagne.eu/projects/poppyimitateskinect

  1. : ouvrir le V-rep
  2. : lancer la prgrammation Main.py et entrer le nom de fichier de quaternion dans le terminal.

Entrer python Main.py nom_fichier
Par exemple :
python Main.py 20170825_0

L'éntré : Le fichier de quaternion capturé par Kinect doit être enregistré dans le dossier mouvement_kinect .
Lorsque la programmation est lancé, nous obtenons deux fichiers json:

Le dossier mouvement_filtre enregitre les données de quaternion filtrés par un filtre de Butterworth.
Le dossier mouvement_poppy enregitre les données de angle de moteur de Poppy.


NB :

Fonction de Code


butterworth.py et filtre.py est le filtre de butterworth.
Les fonctions de Main.py :
creatPoppyData(ex) : Conversion de quaternion à l'angle. ex est le nom d'exercice.
runSimu(PoppyData) : Exécuter la simulation sur V-rep. PoppyData est les données des angles qui sont enregistré sur le dossier mouvement_poppy .

Comment avancer

filtrer les quaternion capturé par le Kinect

Nous utilisons le filtre Butterworth pour filtrer les quaternions.
Filtre passe-bas
Ordre : 5
fs : 30Hz
cutoff : 0.2

Conversion de quaternion à l'angle de moteur

La structure de json fichie dans le dossier mouvement_poppy 

{
"positions": { "<time1>": { "<moteur1>": [angle,0], "<moteur2>": [angle,0] }, "<time2>": { "<moteur1>": [angle,0], "<moteur2>": [angle,0] } }
}

filtrer les angles


Parceque il y a les points discontinu sur les angles. Nous ajoutons un filtre pour assurer que les angles sont lissés.
Le filtre est la même que le dernier. C'est le résultat(angles filtrés)

Résultat et Amélioration



Le résultat est pas mal pour les postures humaines statiques.
Pour les postures humaines dynamique les angles obtenu ne sont par très précis.
Nous n'avons pas détecter la faisabilité de mouvment. Il y a les cas où le poppy ne peut pas faire le mouvment humaines.
De plus, c'est mieux d'ajouter la gestion de l'équilibre