边缘生成式AI面临哪些工程挑战？

文章预览

（本文编译自electronicdesign） 当大多数人想到人工智能（AI）时，他们通常能想到的是能够生成新文本、图像或语音内容的应用。像ChatGPT这样流行的文本应用（在几天内就吸引了超过100万用户）在市场上迅速崛起并被广泛采用。而手机用户则经常使用语音搜索功能。 这些应用有什么共同点呢？它们都依赖于云端来处理AI工作负载。尽管云端生成式AI的成本高昂，但其具有的几乎无限的内存能力和电力容量意味着基于云的应用将继续推动这些流行的生成式AI应用的发展。 然而，令许多设计工程师、嵌入式工程师和数据科学家更为担忧的是，边缘AI应用的爆炸式增长。在边缘设备上执行复杂的生成式AI任务带来了许多新的挑战，如： 实时处理需求 严格的成本要求 有限的内存资源 紧凑的空间要求 强制性的功耗预算 01 挑战1：实时处理需求 AI云最大的缺点 ………………………………