今天看啥  ›  专栏  ›  赛博禅心

读屏不靠截图:ChatGPT 客户端的原理、实现与边界

赛博禅心  · 公众号  · 互联网短视频  · 2024-11-19 20:24

主要观点总结

ChatGPT的Mac客户端现在可以连接VSCode、XCode、iTerm2等应用程序,可以直接就这些应用程序上的内容提问。该功能基于原生应用程序的能力和用户授权,可以获取应用当前窗口的内容,然后整理成提示词提交到GPT处理。

关键观点总结

关键观点1: ChatGPT Mac客户端的新功能

该客户端现在可以连接常用应用程序,如VSCode、XCode、iTerm2,并可以直接就这些应用程序的内容进行提问。

关键观点2: 窗口内容的获取方式

ChatGPT通过获取应用窗口的完整内容,然后整理成提示词提交到GPT处理。它不是通过截图获取内容的,而是直接获取窗口内容的。

关键观点3: 请求分析与工程技巧

通过历史消息和请求分析,可以了解ChatGPT在处理编辑器和IDE(如VSCode、Xcode)时的行为。同时,使用命令行窗口时,ChatGPT会包含最后200行内容。

关键观点4: 功能限制与边界

虽然这个功能不错,但它不是项目级别的,只是窗口级别的。编程需要用到整个代码库的情况下,该功能可能不够用。此外,结果不能自动更新回窗口,需要手动复制粘贴。


文章预览

ChatGPT 的 Mac 客户端现在可以连接常用的一些应用程序,比如 VSCode、XCode、iTerm2,这样可以直接就这些应用程序上的内容去提问,效果很棒!  地址: https://openai.com/chatgpt/desktop   它基于原生应用程序的能力以及加上用户对它的授权,可以获取到这些应用当前窗口的内容,然后将窗口的内容整理成提示词一起提交到 GPT,这样 GPT 就可以根据窗口内容来处理了,提示词类似于下面这样:  < windows > < instructions > You are being provided with textfield content from windows the user has asked you to focus on. instructions > < window > < title >Visual Studio Code title > < app_name >Code app_name > < textfields > < textfield id = "窗口文件名" > 【窗口内容】 textfield > textfields > window > windows >   通过请求分析,可发现: 它不是通过截图获取内容的,是直接获取窗口完整内容的,比如VSCode,需要额外安装插件 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览