Daily Activity Dataset recording

with Ensta

Sensors :

• Kinect 360 v2
• Optris IR camera
• Flir IR Camera
• xsens
• FishEye camera
• smarthome sensors
  • sensefloor to detect localisation wrt each room
  • motion sensors for each room
  • opening/closing cupboards
  • lights
  • power consumption of stove, oven, boiler, plugs, tv
  • pressure sensor for bed, sofa

Recorded on the drive 10To La Cie/dataset. The folders are organised as : s1/experiment2 for the subjectNumber and recording number In each folder are files :

• list of all recordings are on the document DatasetRecordings2021Log https://docs.google.com/spreadsheets/d/1W0DqjJVarbkoAUHT3j2Q7lVogSw5QohR092B2tZ4iks/edit?usp=sharing
• Rules for the setup and design of the recording sessions https://docs.google.com/document/d/17Z-UU5QdpVliK1zFvtqa-svI1SIBw9suLfvPhSxTlKE/edit?usp=sharing
• The scripts to launch and synchronize all activities are on https://github.com/dbouchabou/Experiment_HAAL_dataset

describe how we launch the scripts, which programs to open

Computers :

• A linux computer with USB 3 (for the Optris IR camera) with
  • ROS and http://wiki.ros.org/optris_drivers
  • xaal installed
• a Windows computer with USB 3 (for the Kinect v2 360) with
  • Microsoft Kinect Studio
  • MVN Studio Biomech
• a macos computer to record the videos via the network (ffmpeg)

Pluging of the sensors :

• Plug the Optris IR Camera with USB 3 on computer1 with ROS.
• The Flir IR Camera is connected to the smart home system and can be streamed via the network with RJ45. For instance, ffmpeg can record the stream into a file with the command ffmpeg -i rtsp:/ /xaal-c.enstb.org:8554/flir1 filename210701.mp4.
• The Kinect v2 360 is connected via USB 3 to the ZED computer with windows and Microsoft Kinect Studio installed.
• The FishEye camera is connected via wifi and can be streamed via the network.
• The power, pressure, door, motion detectors are connected via xaal
• The x-sens hub is connected via usb to the ZED computer with windows with MVN Studio Biomech installed

1. Move the previous recordings to the right folder
   1. Move xsens recording .mvn file from folder Desktop/Xsens/ to the folder dataset/subject_tmp
   2. Move the folder dataset/subject_tmp to /dataset/sN so that the data does not get erased
2. Create folder dataset/subject_tmp
3. Push on button Start
4. To end, push on button Stop

`xefextract.exe “path_to_file.xef”`

On utilise le code de github <https://github.com/Isaac-W/KinectXEFTools>. S'on ne pourrait pas avoir le bon resultat, on pourrait modifier le code dans “\examples\XEFExtract\XEFWriters” et utiliser le bulid bat dans “\examples\XEFExtract” pour le compiler.

• ffmeg on windows computer ZED does not work well

• Les ordinateurs doivent être au maximum connecté en Ethernet
• Activer l'environnement python xaal, ouvrir dans powershell et exécuter : .\xaal_env/Scripts/activate
• Exécuter ces 2 commandes dans 2 fenêtres de terminal différentes :
  • roscore
  • roslaunch optais_drivers optais_drivers.launch
• Lancer les scripts :
  • python xaal_btn_base.py
  • python xaal_activity_fish_eye.py : vérifier que le path du script correspond à l'ordinateur utiliser
  • python xaal_activity_IR_cams.py
  • python xaal_activity_kinect_xsens.py

• Porter les capteurs Xsens avec du sparadra pour pas que ça bouge pendant les scénarios
• Faire le calibrage dans l'angle de l'entrée du LivingLab pour la position absolu pour Xsens.

• Ne pas commencer à enregistrer (appui sur bouton start), si tous les capteurs ne sont pas dans l'état souhaité. Exemple : capteur de mouvement D-Room - attendre 180 secondes pour qu'il revient à l'état False)

• Dire à haute voix ce que l'on va faire avant de le faire et attendre un retour par ses collègues que l'appui sur le bouton d'activité est fait
• Faire attention aux dalles mortes (cuisine/salle de bain : trop proche de la fenêtre ou trop proche des meubles/frigo)
• Dans le fauteuil et dans le lit : bien s'asseoir et vérifier sur l'écran Graffana que le capteur de pression est bien activé
• Ne pas allumer les plaques en même temps que le four, car cela fait sauter les plombs

• Fermer Kinect Studio
• Renommer subject_tmp par le nom de dossier experiment souhaité et déplacer le dossier dans le dossier du sujet
• Déplacer le fichier mvn (C:Users/zed/Desktop/Xsens) dans le dossier du sujet (E:dataset/) : s1, s2, s3 ..