前言

? 這是博主第一次寫CSDN的博客，本人還是大學(xué)生一枚，如果有忽略的點請各位大哥大姐們指正。
? 今年博主就是個大四萌新了，想著繼續(xù)沖擊一把讀研，研究生想走的方向也是深度學(xué)習(xí)相關(guān)方向。因此把原本電腦上的win10換成了ubuntu，換了之后在安裝Tensorflow和pytorch的路上瘋狂采坑，接連重裝了三次Ubuntu，一度將Ubuntu20.04降版本為18.04，而關(guān)于我在學(xué)習(xí)使用Ubuntu時的問題和解決方案我也會在后續(xù)的文章中列出。

搭建環(huán)境初期遇到的問題

? 博主在學(xué)習(xí)使用初期是在本機上搭的煉丹爐，而后來發(fā)現(xiàn)了一系列問題諸如：

? （1）目前主流的深度學(xué)習(xí)框架如PyTorch和Tensorflow基本上是基于N卡的GPU，需要使用者安裝CUDA支持，而pytorch和tensorflow的版本對cudatoolkit又有著不同的對應(yīng)版本要求，不同版本的cudatoolkit可能在運行框架代碼時無法找到對應(yīng)的文件。cudatoolkit版本與顯卡驅(qū)動版本之間，甚至針對linux kernel和gcc/g++版本之間也有互相對應(yīng)（參考圖1-1和圖1-2）。過于繁雜的對應(yīng)關(guān)系，導(dǎo)致在環(huán)境搭建時及其容易導(dǎo)致環(huán)境沖突或者環(huán)境不滿足，最后無法正常運行甚至把操作系統(tǒng)搞壞不得不重裝（我之前不熟悉Ubuntu apt的功能時為了重新安裝g++刪除舊版本的時候不小心把操作系統(tǒng)搞壞過，最后導(dǎo)致XServer、apt等一系列功能全部失效，不得不重裝（后期博主也會發(fā)一份重裝Ubuntu的教程，為防止各位和傻乎乎的我一樣））。

? （2）Linux的原裝驅(qū)動Nouveau并不支持CUDA，因此需要禁用掉Nouveau并且重裝N卡官方驅(qū)動。會有很多同學(xué)在不知道的情況下安裝了cuda，最后導(dǎo)致pytorch和tensorflow無法使用或者CUDA無法安裝等問題。而且更換顯卡驅(qū)動的時候也會出一些問題，比如博主在更換為N卡官方驅(qū)動的時候，當(dāng)時使用的是Ubuntu20.04，不知為何在進入bios里關(guān)掉Enable Security Boot的時候，直接就進不去了，導(dǎo)致無法正常安裝驅(qū)動，不得已才降版本為Ubuntu18.04，20.04雖然速度快的多，但是bug同樣也多，尤其是snap商店不顯示應(yīng)用的問題。

? （3）在安裝完成CUDA之后，還需要安裝cuDNN這一GPU加速庫，否則無法正常運行tensorflow，這些下文都會講到

? （4）之前我的朋友想讓我買個AMD的顯卡外接訓(xùn)練數(shù)據(jù)，但是A卡并不支持CUDA，雖然可以將CUDA代碼轉(zhuǎn)為OpenCL，但是想要適配A卡的生產(chǎn)環(huán)境極其麻煩，這邊不考慮A卡。

? 本文是關(guān)于如何在win10以及Ubuntu環(huán)境下搭建Anaconda3+CUDA+cuDNN+tensorflow深度學(xué)習(xí)環(huán)境，我會分步驟分系統(tǒng)慢慢給同學(xué)們講，有人會問為什么不用原生python呢，是因為anaconda它香啊，conda和pip的差別我不在這里贅述了，大家可以參考知乎上一篇文章https://www.zhihu.com/question/395145313。博主的anaconda是完全使用命令行的，因為我的Navigator第一次打不開，后來也就沒再用過。后續(xù)隨著學(xué)習(xí)的深入我應(yīng)該會出一篇關(guān)于pycharm或vscode（我主要還是用pycharm作為IDE）+docker的tensorflow煉丹爐搭建教程。

參考硬件環(huán)境

這里是我使用的兩臺筆記本電腦的性能參數(shù)

• HP OMEN

  • OS: Windows 10 Home Edition
  • CPU: Intel? Core? i7-9750H CPU @ 2.60GHz
  • Memory: 2*8G DDR4 2666MHZ
  • GPU: Nvidia Geforce RTX2060

• DELL Precision 7530

  • OS: Ubuntu 18.04 LTS
  • CPU: Intel? Core? i7-8750H CPU @ 2.20GHz
  • Memory: 2*8G DDR4 2666MHZ
  • GPU: Nvidia Quadro P1000

Anaconda3

• 備注：博主這邊雖然是通過清華鏡像站安裝的anaconda3，但是我并沒有使用清華的conda或者pip鏡像，我是直接采用科學(xué)上網(wǎng)（懂的都懂）的辦法安裝的第三方庫，但是我依然會在下面附上使用鏡像和設(shè)置鏡像的方法

Win10

安裝

• 首先進入清華鏡像站下載Anaconda3，我這邊使用的是Anaconda3-5.3.1版本

• https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
  

• 下載完成后點擊exe執(zhí)行文件安裝，注意不要安裝vscode，我嘗試過根本安裝不上

使用

• 在win10中我并不太喜歡直接用shell輸入conda activate環(huán)境來進入anaconda的虛擬環(huán)境，我喜歡直接使用anaconda提供的Anaconda Prompt，它是一種和shell十分相似的命令行環(huán)境，好處就是不需要再添加anaconda的環(huán)境變量也能夠執(zhí)行conda的一系列命令

• 運行方式：右鍵以管理員身份（建議，因為環(huán)境存在讀寫權(quán)限問題）運行Anaconda Prompt

鏡像

• 與pip相似，如果采用默認的channel進行下載，在國內(nèi)是非常慢的，因此需要采用鏡像，在配置anaconda的國內(nèi)源鏡像前，我這邊先把pip國內(nèi)鏡像源和使用方法附在下面

  鏡像名稱	鏡像地址
  阿里云	http://mirrors.aliyun.com/pypi/simple/
  豆瓣	http://pypi.douban.com/simple/
  清華大學(xué)	https://pypi.tuna.tsinghua.edu.cn/simple/
  中國科學(xué)技術(shù)大學(xué)	http://pypi.mirrors.ustc.edu.cn/simple/
  華中科技大學(xué)	http://pypi.hustunique.com/

  pip install [module_name] -i [mirror_address]pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple/

• Anaconda鏡像安裝（以清華源為例，win10和Ubuntu步驟相同，因此不再贅述）

  • 終端輸入

  conda config --set show_channel_urls yes

  這個命令會在當(dāng)前目錄下生成配置文件.condarc

  • 修改配置文件

  win10中用任意文本編輯器打開即可

  ubuntu中使用命令

  sudo gedit .condarc

  將以下配置信息復(fù)制粘貼進.condarc文件保存

  channels:  - defaultsshow_channel_urls: truedefault_channels:  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2custom_channels:  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

  如果使用conda install 任意包顯示清華鏡像源的信息則說明配置成功

Ubuntu

安裝

• 依然是先進入清華鏡像站下載Anaconda3-5.3.1

• https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

• 這次我們下載的是
  

• 由于我們是64位的系統(tǒng)，因此下載x86_64的版本

• 隨后進入到下載目錄

  cd 下載

• 輸入命令運行安裝文件

  bash Anaconda3-5.3.1-Linux-x86_64.sh

  博主由于已經(jīng)安裝過anaconda了，因此將安裝文件換了個位置，你如果是在谷歌或者火狐瀏覽器上下載的話默認是放在"~/下載"這個目錄里

• 然后就是看一堆license，copyright聲明了，這些大家一定不要快速敲回車，容易進入到下一步了還在摁回車

• 隨后是問你同不同意這個license，不同意就無法安裝，因此我們輸入yes

• 接下來是讓你選擇安裝的路徑，默認是安裝在當(dāng)前用戶的家目錄下，由于博主已經(jīng)安裝過了，所以博主將目錄改到我掛載的其中一個硬盤上（關(guān)于Ubuntu開機自動掛載硬盤的知識我也會在后面介紹）

• 接下來默默等待進入下一步就行

• 接下來它會提示是否需要initialize Anaconda,這個其實是為你的用戶添加環(huán)境變量，由于Ubuntu中沒有prompt，因此我們使用shell來進行conda命令操作，因此我們輸入yes（由于博主已經(jīng)安裝過了，不想再動環(huán)境變量，就輸了no）

• 接下來會問你是否需要安裝VSCode，這里我們選擇no，似乎是因為Anaconda安裝包VSCode配置的問題，我們沒法成功安裝上VSCode，但是后續(xù)我們可以自行安裝VSCode，這個不用擔(dān)心

• 安裝完成

• 我們來驗證一下，輸入

  conda -V

  或者

  conda --version

  若顯示以下信息說明安裝成功
  

Tensorflow環(huán)境搭建

參考https://www.tensorflow.org/install/gpu?hl=zh_cn

Win10

Step 1：創(chuàng)建虛擬環(huán)境（關(guān)于Anaconda虛擬環(huán)境和其他常用命令我會后續(xù)寫一篇文章細講）

• 打開Anaconda Prompt

• 創(chuàng)建虛擬環(huán)境

  conda create --name tensorflow python=3.7

• 激活虛擬環(huán)境

  activate tensorflow

Step 2：安裝tensorflow

• 使用pip指令

• pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple/

Step 3：PyCharm添加虛擬環(huán)境

• 打開pycharm–>File–>New Project
  

• 項目存放位置自定

• 選擇編譯器Previously configured interpreter
  

• 點擊路徑后的省略號進入Add Python Interpreter

• 選擇Conda Environment

• 點擊Interpreter路徑后的省略號進入Select Python Interpreter
  

• 選擇你Anaconda3目錄下的envs下的tensorflow目錄，并選擇里面的python.exe文件
  

• 一直點OK最后點擊create

Step 4：驗證tensorflow是否已安裝完成

• 新建一個python文件

• 輸入下面代碼查看是否報錯

• import tensorflow

• 若無報錯則說明tensorflow第三方庫安裝沒有問題

Step 5：將tensorflow搭建在GPU上

• 在剛才的python文件內(nèi)輸入

• from tensorflow.python.client import device_libprint(device_lib.list_local_devices())

• 如果輸出結(jié)果如上圖所示說明你當(dāng)前只有CPU設(shè)備可用，如果有輸出GPU設(shè)備的各項屬性則說明你之前已經(jīng)搭建過了CUDA+cuDNN的環(huán)境

• 接下來開始進行GPU環(huán)境搭建

• 以管理員身份打開cmd

• 輸入nvidia-smi指令
  

• 若無該指令則需要手動安裝一下Nvidia Driver，建議直接安裝百度搜索Nvidia GeForce Experience，這個應(yīng)用是英偉達官方安裝N卡驅(qū)動的神器（windows專屬）

• 查看Driver Version（驅(qū)動版本）和CUDA Version（這個參數(shù)并非你已安裝的CUDA，而是你驅(qū)動可適配的CUDA Toolkit版本）

• 隨后查看自己先前是否有安裝CUDA Toolkit

  • 在控制臺輸入nvcc -V

• 如果有以上信息則無需再安裝CUDA Toolkit

• 如果沒有則可以前往https://developer.nvidia.com/cuda-toolkit-archive根據(jù)自己適配的CUDA進行安裝
  

• 這里博主選擇的是CUDA Toolkit 11.4.0
  

• 根據(jù)自己的電腦系統(tǒng)選擇版本下載exe安裝就可以了

  • CUDA盡量安裝在C盤

• 安裝完成后重新在控制臺上輸入nvcc-V查看是否安裝完成

  • cudnn的安裝與CUDA掛鉤，我直接放csdn的教程了，而且比較復(fù)雜，我一會兒傳群里，你們就不用去官網(wǎng)下載了

• 接下來開始cuDNN的安裝

  • 前往官網(wǎng)https://developer.nvidia.com/rdp/cudnn-archive
  • 根據(jù)你CUDA的版本安裝cuDNN，我這邊選的是cuDNN v8.2.2，選擇windows x64的版本
  • 隨后他會提醒你NVIDIA Developer Program需要會員資格，因此需要你去注冊一個Nvidia的賬號，再輸入你相關(guān)機構(gòu)和使用目的的信息，博主這邊輸入的是自己的學(xué)校
  • 下載完成之后解壓縮，拷貝到你的cuda安裝目錄下即可

• 安裝完成后再重新跑代碼則可得GPU的參數(shù)

Ubuntu

? 在ubuntu上創(chuàng)建虛擬環(huán)境、安裝tensorflow第三方類庫以及檢驗環(huán)境方法是完全一樣的，下面我著重講解一下Ubuntu18.04(CUDA 11.4)GPU支持的搭建，而且注意，不同的Ubuntu方法可能有差別，具體參考官方網(wǎng)站https://www.tensorflow.org/install/gpu?hl=zh_cn

? 還有一點要注意的，以下步驟盡量不要開梯子下，博主之前用梯子屢次下載不成功

? 因為之前安裝過，圖片就先不放了

Step 1：更改驅(qū)動

? 博主曾經(jīng)因為手動安裝驅(qū)動出現(xiàn)了諸如Security Boot進入黑屏、Nouveau驅(qū)動禁用后導(dǎo)致電腦可視化進不去等問題，后來重裝了三遍最后確定了一個比較穩(wěn)定的方案。

• Ubuntu本身自帶一個應(yīng)用叫軟件和更新，如果你是正常安裝的Ubuntu（非精簡安裝），在附加驅(qū)動中應(yīng)該會有不同版本的driver，默認是Linux自帶的Nouveau驅(qū)動，接下來直接選擇自己顯卡對應(yīng)支持的顯卡驅(qū)動版本就可以了，具體版本可以去Nvidia官網(wǎng)上查詢https://www.nvidia.cn/geforce/drivers/

• 接下來等待安裝完成，安裝中途可能會出現(xiàn)需要你輸入用于secure boot的密碼，reboot重啟電腦，會進入Secure Boot，選擇第二還是第三個選項（具體不記得了，因為bios模式下截圖我還沒有學(xué)），進入之后命令行輸入nvidia-smi
  

• 若有以上信息則安裝成功

Step 2：添加Nvidia倉庫

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pinsudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pubsudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"sudo apt-get updatewget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.debsudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.debsudo apt-get updatewget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/libnvinfer7_7.1.3-1+cuda11.0_amd64.debsudo apt install ./libnvinfer7_7.1.3-1+cuda11.0_amd64.debsudo apt-get update

Step 3：安裝CUDA和cuDNN

sudo apt-get install --no-install-recommends cuda-11-4 libcudnn libcudnn8-dev

• 隨后reboot重啟電腦，命令行輸入nvidia-smi, 以及nvcc -V進行驗證

• 如有需要安裝TensorRT加速庫，我也把安裝命令放在了下方

sudo apt-get install -y --no-install-recommends libnvinfer7/ libnvinfer-dev/ libnvinfer-plugin7