This is an old revision of the document!
Le simulateur Gym
Présentation de Gym
Gym c'est une boite à outil qui propose plusieurs environnements de simulation pour des algorithmes de renforcement et d'apprentissage.
Gym propose plusieurs types d'environnement qui sont les suivants :
- Algorithms
- Atari
- Box2D
- Classic control
- MuJoCo
- Robotics
- Toy text
Pour des raisons de compatibilités avec l'algorithme d'apprentissage que nous avions, notre intérêt c'est porté sur les environnements Box2D et MuJoCo.
Installation de Gym
Gym est simplement une librairie python qui offre des fonctionnalités. Ainsi, sont installations est simple :
pip install gym
Une seconde méthode existe en installant directement le package via git
git clone https:%%//%%github.com/openai/gym cd gym pip install -e .
Les fonctionnalités de Gym
Une fois que l'installation est fait, on peut commencer à s'amuser avec des fonctionnalités de base :
- gym.make(“environment name”) : retourne l'environnement dont le nom a été passé en paramètre
- env.reset() : reset l'environnement, retourne l'observation initiale
- env.render() : permet d'afficher la fenêtre de simulation.
- env.step() : exécute une action et retourne 4 paramètres (observation, reward, done, info)
La fonction env.step() prend en paramètre une action et retourne les 4 paramètres suivants :
- observation : un objet spécifique à l'environnement représentant une observation
- reward : un nombre de récompense obtenu par l'action précédente
- done : une valeur booléenne qui indique si il faut reset l'environnement ou non
- info : des informations de diagnostic utile pour le débuggage
Il est important de noter que ces informations dépendent de l'environnement dans lequel elles sont définies.
Les actions sont effectuées par un agent, et la suite des évènements peut être représenté à l'aide du schéma suivant :
![](data:image/*;base64,iVBORw0KGgoAAAANSUhEUgAAAPwAAAB6CAYAAACbQj6iAAAT2UlEQVR4nO2de7BWUx/Hl650Ed2jUKlMIiKXbo4kSXJpxJApTO50DDNmNEpNjJmM4g+TYUpiRqZQGaHckpLoCEUlnHRTipRSkff9rHe+vftsz3Oc03meZ+/n2b/PzJ5nP3uvtfbae6/v+q37rvH3f3GGYSSCGlFHwDCM3GGCN4wEYYI3jARhgjeMBGGCN4wEYYI3jARhgjeMBGGCN4wEYYI3jARhgjeMBGGCN4wEYYI3jARhgjdS8vnnn7sTTjjBHXXUUVFHxcggJnjD/fDDD/4XgYthw4b5rbi4OJI4GdnBBG94a44lDwqeY0bhYYIvQBBraWmp69y5cxkRpzqHdR8zZoy35ocddpg777zz/DHcHH/88WX8v//++27Hjh3eDRnEr7/+6pYvX+4aNGjg3Wn/tNNOy+n9GhXHBF9gTJw40Yvv8ssvP1gsLyoq8ufY5zgbRXX+A2ugaBNTpkzx4Tz00ENe2LgnbIQuv5wvKSlxzz33nHcXDFvXNOKFCb7ACDayIcrXXnvNiw/LzoY4ASusYjy//JdIORa07IiZcwqbcDlG2PgjQ0DoCpeSgAk+npjgCwyEN3XqVC9GhKe6uMQpZN0rAmFI0EA4s2bNOvg/XG0w4osJvsDAslL0lkVGrAgfUfIbBMsc7nbDfbgOrvq6oI5P/d7IP0zwBQZilGDV3YaIqVdTnOeYGutkuVUsD4o6CMV31dGB0gKZipF/mOALDIkREatergyAc8E6vASMmPGD4CnqK6MAZSC4CfolXNyTabCvUoRIVVIwoscEX2AgvmCDWVB0amEPw3EELdQ6H0QZSNhfOLywPyNemOANI0GY4I2D0A+/b9++Mv3yDMapVauWq169etTRMzKACT4h7Nq1y/38889+UwPdb7/95vbs2eN/9+7d6/bv3++aNGnidu7c6f0gdkbObd261Ysf4R955JHu8MMPd/Xr13dHH320/9+4cWO/