主要观点总结
本文报道了关于生成式AI、音频版ControlNet、谷歌的Monkey方法、Meta发布的数据集Nymeria、阶跃星辰的技术进展、百川推出的金融大模型Baichuan4-Finance以及o3 mini背后团队的相关信息。同时，还介绍了英伟达和MIT合作开发的ExBody2系统、LangChain团队发布的《2024人工智能全景报告》、微软CEO纳德拉的年终访谈内容。
关键观点总结
关键观点1: 李飞飞和谢赛宁团队发现多模态LLM具备记忆和回忆空间的能力，形成局部世界模型和空间意识。
他们发布了VSI-Bench基准测试，可提升MLLM的视觉空间智能评估水平。研究表明语言提示技术如CoT对空间推理无效，需开发更有效的空间记忆机制。
关键观点2: Adobe发布了Sketch2Sound技术，通过提取控制信号将声音模仿转换为新声音生成。
它基于DiT模型实现，采用随机中值滤波允许灵活时间精度的控制信号提示。模型智能化生成声音，能在不同场景下自动调整生成结果。
关键观点3: 谷歌通过重复采样扩展推理计算提升小模型性能。
这种方法成本更低，性能可超越大型模型。重复采样提高覆盖率和精确度，适用于多种数学和编程任务。
关键观点4: Meta发布Nymeria数据集，支持AR/VR设备的精准运动预测。
数据集涵盖多种生活场景，结合自然语言描述促进个性化AI助手的发展。Nymeria数据集推动AR/VR和情境AI技术的进步。
关键观点5: 阶跃星辰完成数亿美元B轮融资，推出多个自研基座模型。
公司专注于C端应用，推动「超级模型」和「超级应用」的开发。尽管投资市场环境紧张，但凭借技术实力和市场认可获得持续支持。
关键观点6: 百川智能推出的Baichuan4-Finance模型在金融领域表现优异。
该模型采用首创的自约束训练方案，确保在提升领域能力的同时不降低通用能力。Baichuan4-Finance在金融行业中提高了运营效率、风控合规、客户服务和决策支持。
关键观点7: 英伟达和MIT合作开发的ExBody2系统提升了双足机器人的平衡和适应能力。
ExBody2采用关键点跟踪和速度控制的局部导航系统，使机器人能够灵活应对环境变化。在真实环境中展示了优越的稳定性和灵活性。
关键观点8: LangChain团队发布的《2024人工智能全景报告》指出OpenAI在市场上的主导地位。
报告还反映了开源模型的普及和对灵活部署和个性化AI基础设施的需求增长。开发者倾向于使用多步骤智能体来增加应用复杂性并提升效率和输出质量。
关键观点9: 微软CEO纳德拉认为微软的成功在于准确把握市场定位和成长型思维。
微软与OpenAI的合作使其在AI领域拥有两年先发优势。纳德认为AI智能体将改变商业应用的存在形式，记忆、工具使用和权限管理是智能体发展的关键要素。
文章预览
生成式AI 一、 李飞飞谢赛宁：多模态LLM「空间大脑」觉醒，世界模型雏形 1. 李飞飞和谢赛宁团队发现多模态LLM具备记忆和回忆空间的能力，形成局部世界模型和空间意识； 2. 研究发布VSI-Bench基准测试，包含5000多对视觉问答，可提升MLLM的视觉空间智能评估水平； 3. 另一方面，研究表明语言提示技术如CoT对空间推理无效，需开发更有效的空间记忆机制； https://mp.weixin.qq.com/s/HAVxsFmbymgORPBzwpa4RQ 二、 音频版ControlNet！Adobe发声音模仿新方法Sketch2Sound 1. Sketch2Sound通过提取音量、亮度和音高等控制信号，将声音模仿转换为新声音生成，基于DiT模型实现，微调步骤少，模型轻量化； 2. 采用随机中值滤波，允许灵活时间精度的控制信号提示，声音艺术家可在“草图感”和“精确度”之间选择； 3. 模型智能化生成声音，结合文本提示和声音手势，能在不同场
………………………………
