文章预览
Pytorch的量化方法切换到了torchao，本篇基于官方教程简单介绍下torchao的量化使用教程。 使用 TorchAO 实现 GPU 量化 本篇对segment anything 模型进行量化和优化。参考了 segment-anything-fast 仓库时所采取的步骤。 本指南演示了如何应用这些技术来加速模型，尤其是那些使用 Transformer 的模型。为此，我们将重点关注广泛适用的技术，例如使用 torch.compile 进行性能优化和量化，并衡量其影响。 环境 实验环境： CUDA 12.1 A100-PG509-200，功率限制为 330.00 W 不同硬件可能结果不同。 conda create -n myenv python=3.10 pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121 pip install git+https://github.com/facebookresearch/segment-anything.git pip install git+https://github.com/pytorch-labs/ao.git Segment Anything Model checkpoint： 访问 segment-anything checkpoint，并下载 vit_h che
………………………………
