tensorflowlinux多卡训练_⽤Windows电脑训练深度学习模型?
超详细配置教程来了
虽然⼤多数深度学习模型都是在 Linux 系统上训练的,但 Windows 也是⼀个⾮常重要的系统,也可能是很多机器学习初学者更为熟悉的系统。要在 Windows 上开发模型,⾸先当然是配置开发环境。Kaggle Master 及机器学习实践者 Abhinand ⽴⾜于⾃⼰的实践,给出了⼀种简单易⾏的 Windows 深度学习环境配置流程。
本⽂将介绍在 Windows 计算机上配置深度学习环境的全过程,其中涉及安装所需的⼯具和驱动软件。出⼈意料的是,即便只是配置深度学习环境,任务也不轻松。你很有可能在这个过程中犯错。我个⼈已经很多次从头开始配置深度学习环境了,但是通常是在对程序员更友好的操作系统 Linux 中。
⽽对于 Windows 操作系统,没有多少⽂章详细解释这⼀过程。所以我打算⾃⼰来试试。这些天,经过多次试错之后,我终于到了解决⽅案。这个⽅法不仅能够配置成功,还⽐我见过的其它教程简单得多。
本教程为谁⽽写,以及为什么要⽤ Windows?
相信我,我⾃⼰也不喜欢在 Windows 上⿎捣 CUDA。但我们常常遇到这种情况:开发者经常需要在并⾮深度学习或程序开发专⽤的笔记本电脑或更强⼤的硬件上⼯作。在这种情况下,你并不总能避免使⽤
Windows。如果你遇到这种情况,或者正好拥有⼀台 Windows 计算机,⼜或者还不能熟练使⽤ Linux,那么这份指南肯定能帮到你。
本⽂包含以下内容:
硬件和软件的最低要求
安装 Python 和所需⼯具
设置开发环境
⼀些 GPU 术语
安装 GPU 驱动
安装 TensorFlow(CPU 和 GPU)
安装 PyTorch(CPU 和 GPU)
python入门教程app验证安装情况
我的个⼈经验和替代⽅法
硬件和软件的最低要求
如果你要按照本指南操作并且计划使⽤ GPU,你必须使⽤英伟达 GPU。
开发深度学习应⽤涉及到训练神经⽹络,这⾃然需要执⾏⼤量计算。也因此,我们需要越来越多的并⾏运算,⽽ GPU 正好能够满⾜我们的需求。这也是当前 GPU 需求旺盛的主要原因之⼀。⼤多数深度学习框架都⾃带 GPU 加速⽀持,这让开发者和研究者⽆需执⾏任何 GPU 编程就能在⼏分钟内使⽤ GPU 进⾏计算。
不过,就算你没有 GPU,也依然可以继续本教程。但为了有效进⾏深度学习,⾄少你要有好⽤的 CPU、内存和存储空间。
我的硬件——笔记本电脑的配置如下:
CPU——AMD Ryzen 7 4800HS 8C -16T@ 4.2GHz on Turbo
RAM——16 GB DDR4 RAM@ 3200MHz
GPU——Nvidia GeForce RTX 2060 Max-Q @ 6GB GDDR6 显存
对于硬件配置,我推荐⾄少使⽤ 4 核 2.6 GHz 的 CPU、16GB 内存和 6GB 显存的英伟达 GPU。
另外,对于本教程,你当然需要使⽤ Windows 10 系统。我也假设你对 Python 软件包和环境具备基本认知。不管怎样,后⾯都会给出解释。
推荐使⽤的 Windows 版本是最新的 64 位 Windows 10 稳定版。
本教程假设你的操作系统是刚装好的,没有执⾏过额外的修改。不过只要你知道⾃⼰在做什么,依然可以参考本教程。
excelvlookup的用法
安装 Python 和所需⼯具
第⼀步当然是安装 Python。我建议使⽤ Mini-Conda 来安装 Python。先给刚⼊门的新⼿解释⼀下原因。
Conda 是⼀个软件包管理⼯具,可以帮助你安装、管理和移除各种不同的软件包。不过 Conda 并不是唯⼀的选择,还有 pip——这是我很喜欢的 Python 默认软件包管理⼯具。这⾥我们选择 Conda 的原因是在 Windows 上使⽤它更简单直接。
dubbo springbootAnaconda 和 Mini-Conda 都是 Conda 的软件发⾏版,其中预安装了⼀些⾮常有⽤的数据科学 / 机器学习软件包,能节省很多时间。Anaconda 包含 150 多个在数据科学和机器学习中有⽤的软件包,基本上包含了你可能需要的⼀切,⽽ Mini-Conda 仅包含⼀些必需的⼯具和软件包。
我推荐使⽤ Mini-Conda,因为我喜欢对所安装的软件包有(⼏乎)完整的控制权。清楚地了解你所安装的东西完全不是坏事。当然这还能帮你节省⼀些存储空间,你也不会装上⼏⼗个你可能永远也⽤不上的奇怪软件包。
下载 Windows 64 位版本的 Python3 安装⼯具,然后像安装其它 Windows 软件⼀样安装它。⼀定要勾选询问你是否要将 Conda 和Python 加⼊到 PATH 的勾选框。dropdownlist绑定数据源
现在你可以通过以下命令检查 Conda 和 Python 是否安装成功。如果安装成功,则会显⽰版本号;否则你可能需要再次正确安装 Mini-Conda 并将其加⼊到 PATH。
> python —versionPython
3.8.3
> conda —versionconda
4.8.4
下⼀步是安装 jupyter-notebook,请在命令⾏界⾯使⽤以下命令:
> conda install -y jupyter
你可以通过运⾏ jupyter notebook 来验证安装,这会帮你在浏览器上打开 Jupyter Notebook。
设置开发环境
这⼀步很重要,但很多⼈会忽视它。使⽤ Anaconda 这种包含所有已知软件包的⼯具是可以理解的,但如果要开发⾃⼰的项⽬,真正构建⼀些东西,你可能还是需要⼀个专门针对该项⽬或你的⼯作性质的定制开发环境。使⽤专门虚拟环境的另⼀⼤优势是你可以将软件包与全局设置隔离开。这样,就算你在该环境中使⽤软件包时搞错了,你也可以轻松地丢弃它们,⽽不对全局软件包产⽣任何影响。
这也能让你灵活地使⽤任何之前版本的 Python 创建环境。这样,你就可以避免使⽤那些还不稳定的新特性,之后再根据⽀持情况选择是否升级。
创建 Conda 环境还算简单。为了⽅便解释,我创建了⼀个名为 tensorflow 的环境,你可以将其改为任何名称。我将使⽤ Python 3.7,因为我知道 TensorFlow 对其有很好的⽀持。顺便⼀提,这将是安装 TensorFlow 的位置,我还会创建⼀个名为 torch 的环境来安装PyTorch。
> conda create --name tensorflow python=3.7
环境创建完成之后,你可以使⽤以下命令进⼊该环境,其中的 tensorflow 只是我们之前提供给该环境的名称。
> conda activate tensorflow
进⼊环境之后,你会在提⽰框的左边看到类似这样的信息:
如果你没在 Powershell 上看到这个信息,那么你可能需要先在 Powershell 初始化 conda ⼀次:
> conda init powershell
然后,你可能会在左边看到 (base),如上图所⽰,此时你已不在任何环境中。之后,你再进⼊任何环境,你应该都会看见环境名。此外,你还可以在环境中安装 nb ⼯具,并将其链接到我们之前安装的 Jupyter Notebook。
> conda install nb_conda
要将该环境注册到 Jupyter Notebook,可运⾏以下命令:
> python -m ipykernel install --user --name tensorflow --display-name “Python 3.7 (tensorflow)”
要退出 Conda 环境,则运⾏以下命令:
> conda deactivate
现在按照同样的步骤创建⼀个名为 torch 的环境:
> conda create --name torch python=3.7数组公式的值不会变化
> conda activate torch> conda install nb_conda
jquery的下载安装
> python -m ipykernel install --user --name torch --display-name “Python 3.7 (torch)”
如果环境设置成功,你可以在环境列表中看到它们。
> conda env list
要验证每个环境是否都已安装了各⾃的软件包,你可以进⼊各个环境,执⾏ conda list,这会显⽰该环境中已安装的所有软件包。
不要因为这个列表很长⽽感到困扰。Conda 已经妥善地处理了主要部分和依赖包。
⼀些 GPU 术语
在安装 GPU 相关软件之前,我们有必要了解这些软件是什么,以及你需要它们的原因。
GPU 驱动:顾名思义,GPU 驱动是让操作系统及程序能使⽤ GPU 硬件的软件。游戏玩家肯定很熟悉这个。如果你喜欢打游戏,你可能需要让这个软件保持最新以获得最好的游戏体验。
CUDA:简单来说,这是英伟达开发的⼀个编程接⼝层,能让你调⽤ GPU 的指令集及其并⾏计算单元。
⾃ 2010 年代末的 GeForce 8 系列 GPU 以来,⼏乎所有 GPU 都兼容 CUDA。要想了解你的 GPU 是否启⽤ CUDA,可以访问英伟达的⽹站。
举个例⼦,如果你有⼀台消费级 GPU,不管是 GeForce 系列还是 Titan 系列,你都可以在下图中看到你的 GPU 是否⽀持 CUDA。
数据截⾄ 2020 年 9 ⽉,截图仅含部分型号。
如果你的电脑是笔记本,你应该看右边的列表;如果你的电脑是台式机,你显然就该看左边的列表。
之前已经提到,我的 GPU 是右侧列表中的 RTX 2060 Max-Q。另外,你不必在意显卡型号名称是否与该列表中的名称完全匹配,Max-Q 和 Super 的底层架构⼀样,只在 TDP、CUDA 核及张量核数量⽅⾯有⼀些差异。
⽐如,不管你的 GPU 是 RTX 2080 Super 还是 2080 Max-Q ⼜或是 2080 Super Max-Q,看列表中的 RTX 2080 就够了。但如果你的 GPU 是 RTX 2080Ti 或其它加了 Ti 的型号,则说明你的 GPU 是该系列中最⾼端的那⼀款,这些 GPU 通常在显存⼤⼩和 CUDA 核及张量核数量⽅⾯更具优势。
截⾄ 2020 年 9 ⽉,要使⽤ TensorFlow 2.0,显卡计算能⼒必须⾼于 3.5,但建议使⽤计算能⼒⾄少为 6 的显卡以获得更好的体验。TensorFlow 2.0 还需要 CUDA 10 版本,⽽这⼜进⼀步要求驱动版本⾄少为 418.x。
PyTorch 需要的 CUDA 版本⾄少为 9.2,但也⽀持 10.1 和 10.2。所需的计算能⼒⾄少要⾼于 3.0。
CuDNN:即 CUDA Deep Neural Network 软件库,这是⼀个⽤于深度神经⽹络的 GPU 加速原语库。cuDNN 为前向和反向卷积、池化、归⼀化和激活层等标准例程提供了经过⾼度微调的实现。
(可选)TensorRT:NVIDIA TensorRT 是⼀套⽤于⾼性能深度学习接⼝的 SDK。其包含深度学习接⼝优化器和运⾏时优化器,能为深度学习接⼝应⽤提供低延迟和⾼通量的特性。
安装 GPU 驱动
⾸先,你需要搞清楚所使⽤的 GPU 型号,⽽且你的 GPU 必须启⽤了 CUDA。
如果你还没有安装驱动,你可能需要运⾏⼀次 Windows 更新,它会⾃动处理有⽤软件的安装过程,⽐如英伟达控制⾯板。这能帮助你获悉GPU 的相关信息,还有⼀些与本⽂⽆关的设置。
英伟达控制⾯板就绪之后,你可以在开始菜单打开它,也可以右键点击桌⾯,然后选择英伟达控制⾯板。
打开之后,你可以点击「帮助→系统信息」来查看 GPU 驱动版本。驱动版本号列在「细节」窗⼝的顶部。
如上图所⽰,我的驱动版本是 456.x,远超过 418.x 的最低要求,所以我不必安装新驱动。
驱动下载完成后,运⾏安装包,选择快速安装会更轻松。驱动安装完成之后,可使⽤英伟达控制⾯板进⾏验证。
另⼀个安装驱动的⽅法是使⽤英伟达的 GeForce Experience 应⽤程序。只要你购买的是主打游戏的电脑,应该都预装了该软件。安装过程很简单。
这⼀步是可选的。如果你已经按照上⾯的步骤安装了驱动,或你的电脑没有预装该软件,那就不⽤在乎这个步骤。
GeForce Experience 演⽰
现在安装驱动过程中最重要的步骤已经完成,你可以选择⼿动安装 CUDA ⼯具包,也可以选择在安装 TensorFlow 或 PyTorch 时留给Conda 来安装(强烈推荐后者)。
安装 CUDA ⼯具包

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。