Gaussian Process Latent Variable Model (GPLVM)

L'idée d'un GPLVM est d'apprendre un espace latent de faible dimension qui permet de représenter des données de plus haute dimensions par l'intermédiaire de processus gaussiens dont les paramètres sont appris. Dans notre cas, nous voulons utiliser ces modèles pour l'imitation du mouvement humain par un robot. Pour cela, un même modèle sera partagé entre les données humains et les données robot. Ainsi, l'espace latent sert de mapping intermédiaire entre l'espace humain et l'espace robot. Plus d'information théorique peut être trouvée dans les papiers suivants:

• GPLVM: Lawrence, N. D. (2004). Gaussian process latent variable models for visualisation of high dimensional data. In Advances in neural information processing systems (pp. 329-336).
• Shared GPLVM: Delhaisse, B., Esteban, D., Rozo, L., & Caldwell, D. (2017, May). Transfer learning of shared latent spaces between robots with similar kinematic structure. In Neural Networks (IJCNN), 2017 International Joint Conference on (pp. 4142-4149). IEEE.

Le code s'appuie fortement sur celui développé par Lawrence, N. D. disponible sur github: https://github.com/lawrennd/sgplvm Afin d'utiliser les dépendances nécessaires, exécutez tout d'abord le script paths.m Ensuite le code principal se trouve dans le script main.m

• 1. Chargement des données

La démonstration a pour but de charger un mouvement humain et son mouvement Poppy correspondant. Poppy

%% Loading training data%%
% load Poppy data: angles are in Z_train
[Z_train_ori] = readPoppyExoData('cacheTeteKine');
nbData = size(Z_train_ori,1); %length of the sequence

Squelette humain

% load Skeleton data: orientation are in O_train, position in Y_train.
% O_train is not used
dirTrain='data\skeleton\'; %Directory of skeleton data
fnameTrain='SkeletonSequence0.txt'; %Filename of skeleton data
[O_train,Y_train,dataTrain] = loadData(dirTrain,fnameTrain,0,0,1,21,nbData);
O_train=O_train';Y_train=Y_train';

L'alignement temporel (temporalAlignment) entre les deux séquences peut être nécessaire pour s'assurer des correspondances entre les données de squelette humain et les données du robot Poppy.

registration=1; %make temporal alignment or not
if registration==1
    [Z_train,Y_train] = temporalAlignment(Z_train_ori,Y_train);
end

De plus, les données de positions du squelettes sont dans Y_train et les angles moteurs sont dans Z_train. Dans la démo, uniquement les données du bras gauche sont utilisées. Comme chaque partie du corps peut être indépendant des autres, il est conseillé de les considérer séparément comme dans la démo.

%Keep only the left arm
Y_trainLA=Y_train(:,13:24);
Z_trainLA=Z_train(:,8:11);

• 2. Apprentissage

Le but est d'apprendre un modèle partagé entre les deux espaces et donc un mapping entre les deux espaces. Le paramètre nbIters définit le nombre maximal d'itérations de l'algorithme d'optimisation du modèle.

%% Learning GPLVM
nbIters=2000; %Number of iterations for the learning algorithm
model = learningGPLVM2D(Z_trainLA,Y_trainLA, nbIters);
</code
 
    * 3. Évaluation et affichage
Une fois le modèle appris, le but est d'imiter un mouvement humain. Pour cela on charge une nouvelle séquence humain et l'on génère la séquence d'angles Poppy correspondante. 
<code matlab>
%% Evaluate a sequence
fnameTest='SkeletonSequence1.txt'; %Filename of skeleton data
[O_test,Y_test,dataTest] = loadData(dirTrain,fnameTest,0,0,1,21,nbData); %load test skeleton sequence
O_test=O_test';Y_test=Y_test';
[Z_train2,Y_test] = temporalAlignment(Z_train_ori,Y_test); %Onlyd needed for comparison purpose
%Keep only the left arm
Y_testLA=Y_test(:,13:24);
 
% Evaluation => corresponding poppy angles are in Z_test
[L_testLA,Z_testLA] = evaluateSkeletonSequence(model,Y_testLA);

La séquence de test étant un mouvement similaire à celui appris, on peut directement afficher les angles estimés (bleu) en comparaison des angles appris (rouge).

% plotting results
subplot(2,2,1),plot(Z_trainLA(:,1),'r');hold on ;plot(Z_testLA(:,1),'b');
subplot(2,2,2),plot(Z_trainLA(:,2),'r');hold on ;plot(Z_testLA(:,2),'b');
subplot(2,2,3),plot(Z_trainLA(:,3),'r');hold on ;plot(Z_testLA(:,3),'b');
subplot(2,2,4),plot(Z_trainLA(:,4),'r');hold on ;plot(Z_testLA(:,4),'b');