【斯坦福大学博士论文】高效且可信的机器学习的统计方法

文章预览

来源：专知 本文 约2500字 ，建议阅读 5 分钟 本论文针对机器学习中的关键挑战，重点通过统计工具提高效率和可信性。它探讨了大模型和大数据时代的新兴课题，包括模型压缩、联邦学习和数据隐私。 论文引入了新的模型和训练数据压缩方法，利用率失真理论和为机器学习任务特定设计的新型编码技术。此外，还提出了新的联邦学习框架，以在降低通信成本的同时保持甚至提高准确性和推理效率。这些框架采用了模型更新稀疏化、利用现代模型中的过参数化，以及利用附加信息等策略，实现了在不牺牲性能的前提下大幅减少比特率。 该研究推进了对训练数据处理和分布式均值估计中的压缩-隐私-效用权衡的理解，并提出了新型最优算法，有效地平衡了这些权衡。这些贡献为在增强数据隐私的同时降低通信和存储成本奠定了坚实的理论基础，且不 ………………………………