环境搭建相关杂谈
欢迎你来读这篇博客,这篇博客主要是关于日常记录的一些杂记。
序言
本文假设您具备基本的科学探索素养,知道怎么使用电脑,什么是环境变量,对 linux 有使用经验。
本文尽量还原完整步骤,至于像点蓝色链接即可跳转这种基本操作,不做赘述。
本文环境配置涉及到显卡的,主要是显卡 10 系之后的。之前的建议检索其他博客配置。
AI 环境
wsl2 安装 Ubuntu 并迁移到 D 盘与卸载
- 安装微软官方
- 迁移 D 盘
- wsl -l -v
- wsl –shutdown
- wsl –export Ubuntu-20.04 d:\ubuntu.tar
- wsl –unregister Ubuntu-20.04
- wsl –import Ubuntu-AI d:\wsl\ai_ubuntu_20_04 d:\ubuntu.tar –version 2
- wsl -d Ubuntu-AI (访问)
- 卸载
- wsl –unregister Ubuntu-AI (再到目录下把剩余文件删除即可)
主机深度学习环境
- 机器学习环境只需要安装 python 和 sk-learn 或者别的库就行了,至于 gpu 加速 sk-learn,笔者尚未涉及。建议使用搜素引擎检索相关内容学习。
- 安装 Python,建议下载最新版,win 下 exe,无脑下一步,即可。官网下载链接
- 安装 Anaconda,官网下载链接
- 安装后,建议更新。
conda update condaconda update --all
- 常用的 python 虚拟环境配置(不懂请百度)有 pipenv 和 anacaonda,笔者小项目用 pipenv,大项目用 anaconda,
- 安装 pipenv,使用安装 python 自带的 pip 即可。(高版本的 python 基本上默认带,如果你没有,换个新版本 python 吧,太旧了)
pip install pipenv - anaconda list 加速,照着这个官网的步骤做就行,就三步。官网链接
- 安装后,建议更新。
- CUDA 驱动更新
- 去官网选择自己的显卡类型官网
- 如果不玩游戏,Download Type 选 SD。如果玩游戏,选择 GRD。
- 语言建议英语,以防止有 BUG,至于别的语言会不会有 BUG,笔者不知道,不作保证。
- CUDA toolkit
- 建议 11.8 or 12.1,后续环境 BUG 少【写作日期:2024-5】官网链接
- win 版本直接选就可以了,linux 可以看后文 wsl2 配置,一样的。
- Pytroch
- 官网有配置官网
- 选择稳定版,平台,conda 包管理,CUDA 版本对应,建议 11.8 or 12.1,因为这里没别的 CUDA 版本。至于别的比如 12.4,据说有,有的人下载了,可以,我当时没成功。
- 官网提供链接,如
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
wsl2 配置 pytorch-cuda-cudnn 环境
- wsl2 安装 ubuntu20.04
- 这一步我没有做,感兴趣的可以看一下。安装到指定目录
- 安装 cuda-toolkit(据说是 wsl2 和 win 公用 cuda 驱动,不需要在 wsl2 里面装)官方最新驱动链接
- 本次链接 11.8
- wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
- sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
- wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.deb
- sudo dpkg -i cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.deb
- sudo cp /var/cuda-repo-wsl-ubuntu-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
- sudo apt-get update
- sudo apt-get -y install cuda (如果有问题就更新 apt 源)
- cuda 环境变量
- sudo nano ~/.bashrc
将以下内容添加进文件最后 后续更换 cuda 版本一样如此,修改软连接就行了 - export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
- export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
- source ~/.bashrc
- sudo nano ~/.bashrc
- 校验
- nvcc -V
- nvidia-smi
- cat /usr/local/cuda/version.json
- cudnn download link
- 对应版本下载 tar 包,复制到目录
- sudo tar -xvf cudnn** #省略部分按 tab 自动补全
- #以下是安装命令
- sudo cp -r /root/cudnn-linux-x86_64-8.9.7.29_cuda11-archive/lib/* /usr/local/cuda-11.8/lib64/
- sudo cp -r /root/cudnn-linux-x86_64-8.9.7.29_cuda11-archive/include/* /usr/local/cuda-11.8/include/
- #为更改读取权限:
- sudo chmod a+r /usr/local/cuda-11.8/include/cudnn*
- sudo chmod a+r /usr/local/cuda-11.8/lib64/libcudnn*
- 校验
- cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
- 安装 anaconda3
- wget 获取 linux 下载链接
- sh Anaconda3-***.sh
- 根据提示输入 yes & enter
- conda 更新
- conda update –all
- conda update conda
- 安装 pytroch
- 获取链接
- conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
- pycharm 专业版 or vscode+wsl 插件 畅享
- import torch
- torch.cuda.is_available()
win 环境变量过长问题
修改注册表\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Environment下的 path
ubuntu20.04 源更新
- 原始源配置文件备份
- cp /etc/apt/sources.list /etc/apt/sources.list.backup
- 更新源配置
- vim /etc/apt/sources.list
- 更新
- apt-get update
- apt-get upgrade
源地址收集2024-5-6
- ubuntu20.04 对应的是 focal
- ubuntu18.04 对应的是 bionic
- ubuntu19.10 对应的是 eoan
- ubuntu19.04 disco
- ubuntu16.04 xenial
- Ubuntu 14.04 LTS Trusty
查看版本:lsb_release -c
1 | |
软件开发环境
主要是互联网行业技术栈,其他行业不熟悉,仅供参考
- 通用工具
- 版本管理
- git
- github gitlab gitee
- 容器
- docker
- cri
- 系统管理
- 宝塔
- mobaxterm
- jumpserver
- web 服务器
- Nginx
- apache
- tomcat
- 版本管理
- 前端开发工具
- vsc
- nvm
- nodejs
- npm
- nrm
- yarn
- webstrom
- hbuilderx
- 各种小程序开发工具
- 后端开发工具
- Java 开发
- jdk
- idea
- maven
- gradle
- python 开发
- python3
- pycharm
- golang 开发
- go
- GoLand
- 其他语言
- php node .net
- jb 和各自的生态都有提供 ide
- Java 开发
- 数据库开发工具
- 数据库管理
- navicat
- data grip
- 数据库建模
- power designer
- ea
- 数据库管理
- 设计开发工具
- 原型
- axure
- 墨刀
- figma
- 原型托管
- 蓝湖
- 原型标注
- Px Cook
- 原型
- 辅助工具
- 浏览工具
- chrome
- 百分浏览器
- quick look
- 接口调试工具
- postman
- apifox
- 文本工具
- typora
- 云端笔记工具
- typst
- obsidian
- notepad++
- notion
- 天若 OCR
- wps/office365
- 浏览工具
- 其他工具
- clover
- everything
- snipaste
- bandicam
- potplayer
- bandzip
参考资料
启示录
富贵岂由人,时会高志须酬。
能成功于千载者,必以近察远。
环境搭建相关杂谈
https://allendericdalexander.github.io/2024/05/06/env/