专栏名称: 脑机掌门
脑机接口的发展与现状机器学习与脑机接口的交融虚拟现实和脑机接口的催化反应脑电信号处理与计算
今天看啥  ›  专栏  ›  脑机掌门

JNE | 基于文本和图像嵌入空间的颅内脑电图文本和图像生成

脑机掌门  · 公众号  ·  · 2024-06-06 23:46
    

文章预览

摘要 本研究旨在探索利用脑电图(ECoG)信号生成文本和图像的可能性。通过使用对比语言-图像预训练(CLIP)模型,从ECoG信号中解码出CLIP向量,再利用这些向量生成对应的文本和图像。本研究中,17名参与者观看了一个60分钟的视频,记录了其大脑的ECoG信号。然后,通过CLIPCAP模型根据解码的CLIP向量生成文本,并利用Stable Diffusion模型生成图像。最终,比较生成的文本和图像与原始视频帧的相似度,以评估信息在从ECoG信号生成文本和图像过程中保留的程度。 方法 1. 参与者与ECoG测量 本研究分析了之前研究中使用的ECoG数据,这些数据来自17名参与者(E01-E17),他们观看了相同的60分钟视频。所有参与者均从三家医院的枕叶和颞叶植入电极,符合各医院伦理委员会批准的实验协议。视频包含224段短片,涵盖了广泛的语义内容。实验期间,ECoG信号以10 kH ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览