Daily Activity Dataset recording

with Ensta

Sensors :

• Kinect 360 v2
• Optris IR camera
• Flir IR Camera
• xsens
• FishEye camera
• smarthome sensors
  • sensefloor to detect localisation wrt each room
  • motion sensors for each room
  • opening/closing cupboards
  • lights
  • power consumption of stove, oven, boiler, plugs, tv
  • pressure sensor for bed, sofa

The latest working folder is on backup1, in folder DatasetVirtualSmartHome2023, with the reoganisation and renaming of the files by hiParis.

Data before renaming is in backup1, folder DatasetVirtualSmartHome2021. Original data with xaal data is in dataset_avecxaal and dataset_2021.tar.gz.

The dataset was first recorded on the drive 10To La Cie/dataset. The folders are organised as : s1/experiment2 for the subjectNumber and recording number.

• Folder Code2020_by_TP/Vhome-doc : contains a documentation for virtual home simulator
• Folder Code2020_by_TP/LivraisonVSHome/Projet_code : contains the code for bluring faces in videos, drawing the skeletons, renaming the files and folders. and for the simulator Virtual Smart Home
• Folder codeRecordingDataset is a copy of the code used to record the dataset, from https://github.com/dbouchabou/Experiment_HAAL_dataset
• Folder config_xsens contains the measurements of the subjects skeleton for x-sens.
• Folder VirtualHome contains by sensor modality the data for each subject and each experiment :
  • IOT : xaal data
  • IR: the infrared cameras : small resolution and Optris. Currently the content is only symbolic links to the contents in DatasetVirtualSmartHome2021
  • Skeletons : x-sens and kinect, but also the processed openpose.
  • Videos : RGB anonymised videos. There are also videos with audio and fisheyecamera videos that have not yet been added.

The folder https://drive.google.com/drive/folders/1D2UvNDFBL7e-PAb0IffjIEFkR9oYmkTK?usp=drive_link contains information about how the dataset was designed and recorded, including :

• list of all recordings are on the document DatasetRecordings2021Log https://docs.google.com/spreadsheets/d/1W0DqjJVarbkoAUHT3j2Q7lVogSw5QohR092B2tZ4iks/edit?usp=sharing
• Rules for the setup and design of the recording sessions https://docs.google.com/document/d/17Z-UU5QdpVliK1zFvtqa-svI1SIBw9suLfvPhSxTlKE/edit?usp=sharing
• The scripts to launch and synchronize all activities are on https://github.com/dbouchabou/Experiment_HAAL_dataset
• Folder Illustrations contains pictures of the setup with the position of the Kinect.

describe how we launch the scripts, which programs to open

Computers :

• A linux computer with USB 3 (for the Optris IR camera) with
  • ROS and http://wiki.ros.org/optris_drivers
  • xaal installed
• a Windows computer with USB 3 (for the Kinect v2 360) with
  • Microsoft Kinect Studio
  • MVN Studio Biomech
• a macos computer to record the videos via the network (ffmpeg)

Pluging of the sensors :

• Plug the Optris IR Camera with USB 3 on computer1 with ROS.
• The Flir IR Camera is connected to the smart home system and can be streamed via the network with RJ45. For instance, ffmpeg can record the stream into a file with the command ffmpeg -i rtsp:/ /xaal-c.enstb.org:8554/flir1 filename210701.mp4.
• The Kinect v2 360 is connected via USB 3 to the ZED computer with windows and Microsoft Kinect Studio installed.
• The FishEye camera is connected via wifi and can be streamed via the network.
• The power, pressure, door, motion detectors are connected via xaal
• The x-sens hub is connected via usb to the ZED computer with windows with MVN Studio Biomech installed

1. Move the previous recordings to the right folder
   1. Move xsens recording .mvn file from folder Desktop/Xsens/ to the folder dataset/subject_tmp
   2. Move the folder dataset/subject_tmp to /dataset/sN so that the data does not get erased
2. Create folder dataset/subject_tmp
3. Push on button Start
4. To end, push on button Stop

• xefextract.exe "path_to_file.xef"

• On utilise le code de github <https://github.com/Isaac-W/KinectXEFTools>.
• S'on ne pourrait pas avoir le bon resultat, on pourrait modifier le code dans “\examples\XEFExtract\XEFWriters” et utiliser le bulid bat comme “build_win10-x64.bat” dans “\examples\XEFExtract” pour le compiler.

• On exporte le fichier xxx.mvnx, donc on pourrait le porgrammer.

• C'est déjà fait dans le ROS

• ffmeg on windows computer ZED does not work well

• Les ordinateurs doivent être au maximum connecté en Ethernet
• Activer l'environnement python xaal, ouvrir dans powershell et exécuter : .\xaal_env/Scripts/activate
• Exécuter ces 2 commandes dans 2 fenêtres de terminal différentes :
  • roscore
  • roslaunch optais_drivers optais_drivers.launch
  • rosrun optais_drivers camera.py, s'on veut démarrer le caméra Optris tous seule
• Lancer les scripts :
  • python xaal_btn_base.py
  • python xaal_activity_fish_eye.py : vérifier que le path du script correspond à l'ordinateur utiliser
  • python xaal_activity_IR_cams.py
  • python xaal_activity_kinect_xsens.py (à lancer dans l'ordinateur avec la kinect studio et xsens studio)

• Porter les capteurs Xsens avec du sparadra pour pas que ça bouge pendant les scénarios
• Faire le calibrage dans l'angle de l'entrée du LivingLab pour la position absolu pour Xsens.

• Ne pas commencer à enregistrer (appui sur bouton start), si tous les capteurs ne sont pas dans l'état souhaité. Exemple : capteur de mouvement D-Room - attendre 180 secondes pour qu'il revient à l'état False)

• Dire à haute voix ce que l'on va faire avant de le faire et attendre un retour par ses collègues que l'appui sur le bouton d'activité est fait
• Faire attention aux dalles mortes (cuisine/salle de bain : trop proche de la fenêtre ou trop proche des meubles/frigo)
• Dans le fauteuil et dans le lit : bien s'asseoir et vérifier sur l'écran Graffana que le capteur de pression est bien activé
• Ne pas allumer les plaques en même temps que le four, car cela fait sauter les plombs

• Fermer Kinect Studio
• Renommer subject_tmp par le nom de dossier experiment souhaité et déplacer le dossier dans le dossier du sujet
• Déplacer le fichier mvn (C:Users/zed/Desktop/Xsens) dans le dossier du sujet (E:dataset/) : s1, s2, s3 ..