大模型只是单向推理者？我的一系列小实验

文章预览

这段时间还是在持续地关注和学习AI。 比如在 arXiv 里下了些论文来看： 越看越觉得： 大模型这块有太多东西值得研究了 。 所以自己也按耐不住做点小实验。 比如，我想到“多模态推理”是一个很好的使用大模型的思路， 所谓多模态推理，是指不仅使用文字，也结合图形信息等，一起进行推理。在表达逻辑关系上，图形往往比文字更直观，因而多模态推理如果可行，那么大模型的能力会得到进一步的释放。 可是问题是：大模型是否能胜任多模态推理呢？ 我做的第一个简单的实验是使用家族图谱，结果发现，大模型对于形式简单的家族图谱，是可以进行推理的： 这张图是我画的，提交给AI，并加上一句提示词： “ 请看这张图片，已知张三是大宝的爸爸，请问小杰怎么称呼张三 ” 对此，各个主流大模型都能给出正确的回答，比如下图是腾讯元宝 ………………………………