PyTorch已经被设计成与Python紧密集成的深度学习库。要想让PyTorch更像Python，可以通过以下方式： 更Pythonic的API：PyTorch可以进一步改进其API，使其更符合Python的惯例和习惯。
为啥要装在一个环境里呢，比如我256G固态的笔记本硬盘空间珍贵，比如实验室里公用的服务器一个人只允许新建一个conda虚拟环境，这里就是找到一个兼容的版本，也没啥好啰嗦的。
在PyTorch虚拟环境下的sh + make.sh是一个命令，用于运行名为make.sh的Shell脚本文件。sh是Linux/Unix系统中用于运行Shell脚本文件的命令。+是用于在shell中运行多个命令的操作符。
作者， 科技 猛兽 编辑，极市平台 这篇文章从应用的角度出发，介绍 DP 和 DDP 分别在什么情况下使用，以及各自的使用方法。以及 DDP 的保存和加载模型的策略，和如何同时使用 DDP 和模型并行 （model parallel）。
学习PyTorch框架：PyTorch是训练和运行Chat GPT模型的主要框架之一，需要学习PyTorch的基本语法和使用方法。
看看PyTorch官网怎么说：https：//pytorch.org/docs/stable/checkpoint.html 注意：Checkpointing是通过在反向传播过程中为每个Checkpointed段重新运行前向传播分段来实现的。
