环境搭建相关杂谈
欢迎你来读这篇博客,这篇博客主要是关于日常记录的一些杂记
。
序言
本文假设您具备基本的科学探索素养,知道怎么使用电脑,什么是环境变量,对linux有使用经验。
本文尽量还原完整步骤,至于像点蓝色链接即可跳转
这种基本操作,不做赘述。
本文环境配置涉及到显卡的,主要是显卡10系之后的。之前的建议检索其他博客配置。
AI 环境
wsl2 安装Ubuntu并迁移到D盘与卸载
- 安装微软官方
- 迁移D盘
- wsl -l -v
- wsl –shutdown
- wsl –export Ubuntu-20.04 d:\ubuntu.tar
- wsl –unregister Ubuntu-20.04
- wsl –import Ubuntu-AI d:\wsl\ai_ubuntu_20_04 d:\ubuntu.tar –version 2
- wsl -d Ubuntu-AI (访问)
- 卸载
- wsl –unregister Ubuntu-AI (再到目录下把剩余文件删除即可)
主机深度学习环境
- 机器学习环境只需要安装python和sk-learn或者别的库就行了,至于gpu加速sk-learn,笔者尚未涉及。建议使用搜素引擎检索相关内容学习。
- 安装Python,建议下载最新版,win下exe,无脑下一步,即可。官网下载链接
- 安装Anaconda,官网下载链接
- 安装后,建议更新。
conda update conda
conda update --all
- 常用的python虚拟环境配置(不懂请百度)有pipenv和anacaonda,笔者小项目用pipenv,大项目用anaconda,
- 安装pipenv,使用安装python自带的pip即可。(高版本的python基本上默认带,如果你没有,换个新版本python吧,太旧了)
pip install pipenv
- anaconda list 加速,照着这个官网的步骤做就行,就三步。官网链接
- 安装后,建议更新。
- CUDA驱动更新
- 去官网选择自己的显卡类型官网
- 如果不玩游戏,Download Type选SD。如果玩游戏,选择GRD。
- 语言建议英语,以防止有BUG,至于别的语言会不会有BUG,笔者不知道,不作保证。
- CUDA toolkit
- 建议11.8 or 12.1,后续环境BUG少【写作日期:2024-5】官网链接
- win版本直接选就可以了,linux可以看后文wsl2配置,一样的。
- Pytroch
- 官网有配置官网
- 选择稳定版,平台,conda 包管理,CUDA版本对应,建议11.8 or 12.1,因为这里没别的CUDA版本。至于别的比如12.4,据说有,有的人下载了,可以,我当时没成功。
- 官网提供链接,如
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
wsl2 配置pytorch-cuda-cudnn环境
- wsl2安装ubuntu20.04
- 这一步我没有做,感兴趣的可以看一下。安装到指定目录
- 安装cuda-toolkit(据说是wsl2和win公用cuda驱动,不需要在wsl2里面装)官方最新驱动链接
- 本次链接11.8
- wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
- sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
- wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.deb
- sudo dpkg -i cuda-repo-wsl-ubuntu-11-8-local_11.8.0-1_amd64.deb
- sudo cp /var/cuda-repo-wsl-ubuntu-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
- sudo apt-get update
- sudo apt-get -y install cuda (如果有问题就更新apt源)
- cuda 环境变量
- sudo nano ~/.bashrc
将以下内容添加进文件最后 后续更换cuda版本一样如此,修改软连接就行了 - export PATH=/usr/local/cuda-11.8/bin${PATH:+:${PATH}}
- export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
- source ~/.bashrc
- sudo nano ~/.bashrc
- 校验
- nvcc -V
- nvidia-smi
- cat /usr/local/cuda/version.json
- cudnn download link
- 对应版本下载tar包,复制到目录
- sudo tar -xvf cudnn** #省略部分按tab自动补全
- #以下是安装命令
- sudo cp -r /root/cudnn-linux-x86_64-8.9.7.29_cuda11-archive/lib/* /usr/local/cuda-11.8/lib64/
- sudo cp -r /root/cudnn-linux-x86_64-8.9.7.29_cuda11-archive/include/* /usr/local/cuda-11.8/include/
- #为更改读取权限:
- sudo chmod a+r /usr/local/cuda-11.8/include/cudnn*
- sudo chmod a+r /usr/local/cuda-11.8/lib64/libcudnn*
- 校验
- cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
- 安装anaconda3
- wget 获取linux下载链接
- sh Anaconda3-***.sh
- 根据提示输入yes & enter
- conda 更新
- conda update –all
- conda update conda
- 安装pytroch
- 获取链接
- conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
- pycharm 专业版 or vscode+wsl插件 畅享
- import torch
- torch.cuda.is_available()
win环境变量过长问题
修改注册表\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Environment
下的path
ubuntu20.04源更新
- 原始源配置文件备份
- cp /etc/apt/sources.list /etc/apt/sources.list.backup
- 更新源配置
- vim /etc/apt/sources.list
- 更新
- apt-get update
- apt-get upgrade
源地址收集2024-5-6
- ubuntu20.04对应的是 focal
- ubuntu18.04对应的是 bionic
- ubuntu19.10对应的是 eoan
- ubuntu19.04 disco
- ubuntu16.04 xenial
- Ubuntu 14.04 LTS Trusty
查看版本:lsb_release -c
1 |
|
软件开发环境
主要是互联网行业技术栈,其他行业不熟悉,仅供参考
- 通用工具
- 版本管理
- git
- github gitlab gitee
- 容器
- docker
- cri
- 系统管理
- 宝塔
- mobaxterm
- jumpserver
- web服务器
- Nginx
- apache
- tomcat
- 版本管理
- 前端开发工具
- vsc
- nvm
- nodejs
- npm
- nrm
- yarn
- webstrom
- hbuilderx
- 各种小程序开发工具
- 后端开发工具
- Java开发
- jdk
- idea
- maven
- gradle
- python开发
- python3
- pycharm
- golang开发
- go
- GoLand
- 其他语言
- php node .net
- jb和各自的生态都有提供ide
- Java开发
- 数据库开发工具
- 数据库管理
- navicat
- data grip
- 数据库建模
- power designer
- ea
- 数据库管理
- 设计开发工具
- 原型
- axure
- 墨刀
- figma
- 原型托管
- 蓝湖
- 原型标注
- Px Cook
- 原型
- 辅助工具
- 浏览工具
- chrome
- 百分浏览器
- quick look
- 接口调试工具
- postman
- apifox
- 文本工具
- typora
- 云端笔记工具
- typst
- obsidian
- notepad++
- notion
- 天若OCR
- wps/office365
- 浏览工具
- 其他工具
- clover
- everything
- snipaste
- bandicam
- potplayer
- bandzip
参考资料
启示录
富贵岂由人,时会高志须酬。
能成功于千载者,必以近察远。
环境搭建相关杂谈
https://allendericdalexander.github.io/2024/05/06/env/