读屏不靠截图：ChatGPT 客户端的原理、实现与边界

主要观点总结

ChatGPT的Mac客户端现在可以连接VSCode、XCode、iTerm2等应用程序，可以直接就这些应用程序上的内容提问。该功能基于原生应用程序的能力和用户授权，可以获取应用当前窗口的内容，然后整理成提示词提交到GPT处理。

关键观点总结

关键观点1: ChatGPT Mac客户端的新功能

该客户端现在可以连接常用应用程序，如VSCode、XCode、iTerm2，并可以直接就这些应用程序的内容进行提问。

关键观点2: 窗口内容的获取方式

ChatGPT通过获取应用窗口的完整内容，然后整理成提示词提交到GPT处理。它不是通过截图获取内容的，而是直接获取窗口内容的。

关键观点3: 请求分析与工程技巧

通过历史消息和请求分析，可以了解ChatGPT在处理编辑器和IDE（如VSCode、Xcode）时的行为。同时，使用命令行窗口时，ChatGPT会包含最后200行内容。

关键观点4: 功能限制与边界

虽然这个功能不错，但它不是项目级别的，只是窗口级别的。编程需要用到整个代码库的情况下，该功能可能不够用。此外，结果不能自动更新回窗口，需要手动复制粘贴。

文章预览

ChatGPT 的 Mac 客户端现在可以连接常用的一些应用程序，比如 VSCode、XCode、iTerm2，这样可以直接就这些应用程序上的内容去提问，效果很棒！　 地址： https://openai.com/chatgpt/desktop 　 它基于原生应用程序的能力以及加上用户对它的授权，可以获取到这些应用当前窗口的内容，然后将窗口的内容整理成提示词一起提交到 GPT，这样 GPT 就可以根据窗口内容来处理了，提示词类似于下面这样：　 < windows > < instructions > You are being provided with textfield content from windows the user has asked you to focus on. instructions > < window > < title >Visual Studio Code title > < app_name >Code app_name > < textfields > < textfield id = "窗口文件名" > 【窗口内容】 textfield > textfields > window > windows > 　 通过请求分析，可发现： 它不是通过截图获取内容的，是直接获取窗口完整内容的，比如VSCode，需要额外安装插件 ………………………………