主要观点总结
前谷歌大脑高级研究科学家Yi Tay回归谷歌DeepMind担任高级资深研究科学家。他分享了回归谷歌的经历及在初创公司Reka的创业历程，包括应对不稳定GPU、供应商和计算资源等挑战，以及建立出色模型并取得成果的经历。同时，他也提到了作为创业者学习到的关于创业和商业的知识。Yi Tay还提到了初创公司面临的困难，包括环境适应、人员管理、高昂的AI开发成本和激烈的市场竞争等。
关键观点总结
关键观点1: Yi Tay回归谷歌DeepMind
Yi Tay重新回到谷歌DeepMind工作，回到他的前经理Quoc Le手下任职，继续从事人工智能和大语言模型的研究。
关键观点2: Yi Tay在Reka的经历
在Reka的639天里，Yi Tay学到了很多关于谷歌外部基础设施的知识，包括使用PyTorch、GPU等外部资源以及如何应对不稳定资源和不确定性问题。
关键观点3: Reka取得的成就
Reka Core的表现跻身Lmsys的前五名，模型本身排名第七，超越了GPT-4的早期版本。尽管资源有限，但他们取得了这一成绩。
关键观点4: 初创公司的挑战
初创公司面临诸多挑战，如环境适应、人员管理、高昂的AI开发成本和激烈的市场竞争等。谷歌部门更偏向于学术研究，而商业化策略则由决策者决定。创业者需要适应企业管理和竞争环境。
文章预览
文章转载于新智元 创业一年半后，前谷歌大脑高级研究科学家、Reka首席科学家兼联合创始人Yi Tay宣布已重返谷歌！ 他回到了谷歌DeepMind，回到了他的前经理Quoc Le手下工作，职位为高级资深研究科学家，继续从事人工智能和大语言模型（LLM）的研究。 这是他回归的第一周。 在他创立Reka的1年9个月里，Yi Tay说他经历了非常激动人心的时光，并从这段全新的经历中学到了很多。 他还写了一篇博客，分享了他的经历和这次转型—— 博客地址：https://www.yitay.net/blog/returning-to-google-deepmind 1 在Reka的639天 在Reka的时光里，Yi Tay学到了很多关于谷歌外部基础设施的知识，包括使用PyTorch、GPU等外部资源。 此外，他还学会了如何应对不稳定的GPU、供应商和计算资源（相关博客文章见下）。 博客地址：https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilder
………………………………
