一文详解模型权重存储新格式 Safetensors

文章预览

【点击】 加入大模型技术交流群 在日常AI模型训练过程中，需要好的模型权重通常需要以一种格式存储在磁盘中。比如：目前最流行的AI框架 PyTorch 使用 pickle 格式存储模型权重文件。但 PyTorch 文档中有一段话说明如下： 使用 torch.load()  保存模型，除非 weights_only 参数设置为True （只加载张量、原始类型和字典），否则隐式使用  pickle  模块，这是不安全的。可以构造恶意的 pickle 数据，该数据将在 unpickling 期间执行任意代码。切勿在不安全模式下加载可能来自不受信任来源的数据或可能已被篡改的数据，仅加载您信任的数据 。为了规避类似的问题，新的权重存储格式 Safetensors 应运而生。 Safetensors 简介 Safetensors 是一种用于安全地存储张量的新格式，非常简单，但速度仍然很快（零拷贝）。它是  pickle  格式的替代品，因为， pickle  格式不安全， ………………………………