Pinterest 使用 Ray 实现机器学习基础设施现代化

文章预览

作者 | Matt Saunders 译者 | 平川 策划 | Tina 视觉发现平台 Pinterest 披露了其使用开源分布式计算框架 Ray 实现机器学习基础设施现代化的详细过程。在最近的一篇博文中，该公司分享了将 Ray 集成到大规模生产环境中所面临的挑战和他们的实施方案。 这个项目的目的是为了增强 Pinterest 的机器学习能力，以解决基本的业务问题。 Pinterest 在构建 Ray 基础设施时面临着几个独特的挑战。他们决定在他们的通用联合 Kubernetes 集群 PinCompute 上运行 Ray，但该集群限制安装 KubeRay 及其自定义资源定义等必要的操作符。要有效地实施 Ray，就需要有一个创造性的解决方案来消除这个限制。 其他挑战包括需要持久化日志记录和指标、与 Pinterest 专有的时间序列数据库和可视化工具集成，以及遵守公司范围内的 AAA（身份验证、授权和计费）准则。 为了应对这些挑战 ………………………………