强化学习ReinforcementLearning需要⼯具的配置，包括（mujoco、mu。。。强化学习Reinforcement Learning需要⼯具的配置，包括（mujoco、mujoco_py、gym、baselines）
配置流程
0.电脑配置情况
  ⽹上有⼀些基本安装流程，在此前提下，根据⾃⼰安装以及遇到的问题，来总结下整个安装步骤以及问题解决，也欢迎各位⼀同来交流学习强化学习。
  电脑系统ubuntu16.04，以下内容使⽤python3.5 （或python3.6），因此通过anaconda建⽴python3.5的环境。
  本⽂针对CS294的强化学习的前⾯要求，所以根据课程需要安装以下配置。当然在使⽤强化学习RL的时候，这些⼯具也是很常⽤的。  课程链接：[]
  这⾥的anaconda安装以及配置就不讲了，如果需要请看我的另外有⼀篇⽂章：
接下来进⼊正题。
1.安装Tensorflow
此步骤开始，建议配置conda环境，防⽌影响基本环境。
conda create -n mujoco python=3.5
# 可以根据我另外⼀篇，安装⼀下tensorflow
# 主要是后⾯的baselines需要，也可以先不安装
conda install tensorflow-gpu=1.12        # 这⾥tensorflow可以选择安装版本
2.安装mujoco150/200
注意：现在的mujoco-py的部分已经更新到v2.0了，可以将以下内容换成mujoco200，其他⼀样。
MuJoCo(Multi-Joint dynamics with Contact)是⼀个模拟机器⼈，⽣物⼒学，图形和动画等领域的物理引擎。⽤于物理仿真分析，主要⽤于机器⼈领域的开发和研究。
  1）⾸先官⽹的上端菜单的License栏：[]；
  包括：
    1.MuJoCo Trial License: 30 days；
    2.MuJoCo Personal License: 1 year；
  在校学⽣可以通过学校的Edu邮箱申请⼀年的使⽤权限。
申请学⽣版本的⼀年License，会在邮箱收到⼀串Account number；
这⾥说明⼀下，发送之后，因为是⼈⼯审核，需要⼤概1-2个⼯作⽇以内收到，30天Trial版是⽴刻收到。
  2） 在License界⾯下载，⽤于得到⾃⼰的电脑信息Computer id；
chmod +x getid_linux
./getid_linux
  3） 等收到邮件后，将Computer id和Account number输⼊License界⾯的以下位置，会受到另⼀封邮件，包含；
  4） 下载软件，由于cs294课程建议版本是150，这⾥下载；
(同样最新版本地址：)
  5） 在home的⽬录下，创建隐藏⽂件夹.mujoco，然后将安装包解压到此⽂件夹（也可以⼿动从下载位置复制到该⽬录下）；
mkdir ~/.mujoco
cp mjpro150_linux.zip ~/.mujoco
cd ~/.mujoco
unzip mjpro150_linux.zip
  6） 将前⾯邮件收到的拷贝到.mujoco⽂件夹中；
~/.mujoco
~/.mujoco/mjpro150/bin
  然后添加环境变量：
gedit ~/.bashrc
  加⼊以下两句到末尾：
export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
这⾥提醒⼀下：mujoc150版本的安装为mjpro150，⽽200的名字为mujoco200，名字不⼀样，所以添加到bashrc中的环境变量注意修改。
或者，需要安装mujoco200的版本时，采⽤以下：
# mujoco200
export LD_LIBRARY_PATH=~/.mujoco/mujoco200/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
  7） 以上mujoco安装完成，测试如下：
cd ~/.mujoco/mjpro150/bin
./simulate ../l
3.mujoco_py
  1） 前⾯的建⽴的conda环境下操作
source activate mujoco
# 新版本为 conda activate mujoco
  2） 接着下载官⽅的源码
git clone github/openai/mujoco-py.git
注意：现在的mujoco-py的部分已经更新到v2.0了(没有关系的)，⼀般使⽤问题不⼤，想⽤最新的需要将前⾯的操作更换⼀下版本（下载200版本的mujoco，并将前⾯介绍的所有150修改为200）。
继续使⽤1.50版本问题不⼤，因为很多包都是基于150版本的，可以使⽤github更新2.0之前的最后⼀个版本，399a22b1384a078f8cd02d10486cff379cdf5985，使⽤前六位即可。
在下载完官⽅包之后，进⼊⽂件夹，使⽤git checkout 399a22，切换到以前的版本。
  3） 然后安装mujoco_py，注意ubuntu16.04内部⾃带安装有python2.7和3.5的版本，采⽤pip3安装，会
导致把mujoco_py⾃动安装到/usr/local/lib/python3.5/dist-packages⽬录下，不⽅便使⽤。
这⾥通过使⽤的是conda建⽴的环境，所以先进⼊创建的环境下，然后再通过pip安装：
pip install  -U 'mujoco-py<1.50.2,>=1.50.1'
# mujoco200# pip3 install -U 'mujoco-py<2.1,>=2.0'
  4） 安装到这⾥可能会出现以下错误：
: 这⾥出错我遇到的是以下⼏个⽅⾯，如果和你遇到的不⼀样，请注意出现红字
Failed building wheel for mujoco-py 上⾯⼀排的提⽰，确少什么内容就安装什么内容，如下①中numpy和②中显卡，③的gcc问题，④的patchelf问题。
  ①⽆法建⽴
这⾥就需要安装以下：
sudo  apt-get  install  libglew-dev
当然这个环境没有numpy，上⾯也提⽰了git设置用户名和邮箱
conda
install  numpy
  ②显卡驱动问题
这个错误根据提⽰就可以解决，需要向.bashrc中
gedit ~/.bahsrc
添加：
export  LD_LIBRARY_PATH =$LD_LIBRARY_PATH :/usr/lib/nvidia-390
  ③如果提⽰gcc错误，补充如下：
sudo  apt-get  install  libgl1-mesa-dev libgl1-mesa-glx libosmesa6-dev
Notes
  ④出现error: [Errno 2] No such file or directory: 'patchelf': 'patchelf'
需要安装
sudo apt-get install patchelf
  ⑤检测安装成功没有（IDE可能⽆法识别到通过第三⽅pip安装的这些包，解决⽅法见以下第5节）。
  ⑥Cython
ERROR: Could not find a version that satisfies the requirement Cython>=0.27.2 (from mujoco-py<1.50.2,>=1.50.1)(from versions: none)
ERROR: No matching distribution found for Cython>=0.27.2 (from mujoco-py<1.50.2,>=1.50.1)
按照以下即可
pip install h5py
pip install cython
  此时建⽴⼀个python⽂件（mujocoTest），通过conda进⼊到mujoco环境后，cd到该⽂件⽬录，在ubuntu的terminator中运⾏。或者直接在terminal中输⼊python, import mujoco_py 即可观察是否安装成功.
python mujocoTest.py
mujocoTest如下：
import mujoco_py
# from os.path import dirname
# model = mujoco_py.load_model_from_path(dirname(dirname(mujoco_py.__file__))  +"/l")
# 按照上述安装，更换以下路径
model = mujoco_py.load_model_from_path("/home/zzl/.mujoco/mujoco-py/l")
sim = mujoco_py.MjSim(model)
print(sim.data.qpos)
#[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
sim.step()
print(sim.data.qpos)
#[ 2.09217903e-06 -1.82329050e-12 -1.16711384e-07 #-4.69613872e-11
# -1.43931860e-05  4.73350204e-10 -3.23749942e-05 #-1.19854057e-13
# -2.39251380e-08 -4.46750545e-07  1.78771599e-09 -1.04232280e-08]
<
gym安装较为简单，可以参考官⽅⽅法：[]
  1） 这⾥建议⽤以下⽅法来安装完整版：
先进⼊上⾯建⽴的conda环境，确保所有包都安装在该环境中。
git clone github/openai/gym.git
cd gym
---
apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
pip install -e .[all]
  2） 和以上第三节⼀样通过建⽴python⽂件，在terminator⾥⽤指令运⾏该⽂件（需要先进⼊canda建⽴的mujoco环境）

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。