人工智能公司想要读懂你的聊天机器人的想法——其中可能也包括你自己的想法

全球四十位顶尖人工智能研究人员刚刚发表了一篇论文，指出企业需要开始解读其人工智能系统的“思想”。而不是它们的输出——而是它们实际的逐步推理过程，也就是在 ChatGPT 或 Claude 给出答案之前发生的内心独白。

这 提议研究人员认为，这种名为“思维链监控”的方法旨在防止不当行为，甚至在模型得出答案之前就进行，并可以帮助公司在“培训和部署决策”中设定分数。

但是有一个问题应该会让任何曾经在 ChatGPT 中输入过私人问题的人感到紧张：如果公司可以在部署过程中监控人工智能的想法（当人工智能与用户互动时），那么他们也可以监控人工智能的任何其他行为。

当安全成为监视

“这种担心是有道理的。”尼克·亚当斯商业黑客初创公司 0rcus 的首席执行官告诉解密“原始 CoT 通常包含逐字记录的用户机密，因为模型会以其摄取的相同令牌进行‘思考’。”

你输入到人工智能的所有内容都会经过它的思维链。健康问题、财务困境、自白——如果CoT监控控制不当，所有这些都可能被记录和分析。

“历史总是站在怀疑论者一边，”亚当斯警告说。“9·11事件后的电信元数据和1996年《电信法》后的互联网服务提供商流量日志，最初都是‘为了安全’而引入的，后来却被重新用于商业分析和传票。除非强制加密保存，并依法限制访问，否则CoT档案也将面临同样的压力。”

职业游牧者首席执行官帕特里斯·威廉姆斯-林多 (Patrice Williams-Lindo) 也对这种做法的风险持谨慎态度。

“我们以前见过这种伎俩。还记得社交媒体是如何从‘联系你的朋友’开始，最终演变成监控经济的吗？这里也有同样的潜力，”她告诉解密.

她预测未来将会出现“同意剧场”，即“公司假装尊重隐私，但却用 40 页的条款掩盖 CoT 监控”。

如果没有全球性的防护措施，CoT 日志将被企业工具中的各种用途所利用，从广告定位到‘员工风险分析’。尤其要注意人力资源技术和生产力 AI 领域。

技术现实使得这一点尤其令人担忧。法学硕士只有在使用CoT时才能进行复杂的多步骤推理。随着人工智能变得越来越强大，监控变得更加必要，也更具侵入性。

泰吉·卡利安达谷歌的设计主管并不反对这一主张，但他强调透明度的重要性，以便用户能够安心地了解人工智能所做的事情。

“用户不需要完整的模型内部，但他们需要从人工智能聊天机器人那里知道，‘这就是你看到这个的原因’，或者‘这是我不能再说的’，”她告诉解密“好的设计可以让黑匣子看起来更像一扇窗户。”

她补充道：“在谷歌搜索等传统搜索引擎中，用户可以看到每个结果的来源。他们可以点击查看，验证网站的可信度，并自行做出决定。这种透明度赋予用户一种自主感和信心。而有了人工智能聊天机器人，这种背景信息往往会消失。”

有没有安全的前进之路？

出于安全的考虑，公司可能会让用户选择不提供自己的数据用于训练，但这些条件不一定适用于模型的思维链（即人工智能的输出，不受用户控制），而人工智能模型通常会重现用户提供的信息以进行正确的推理。

那么，有没有一种解决方案既能提高安全性，又不损害隐私呢？

Addams 提出的保障措施是：“缓解措施：具有零日保留的内存跟踪、存储之前对 PII 进行确定性散列、用户端编辑以及任何聚合分析上的差异隐私噪声。”

但威廉姆斯-林多仍然持怀疑态度。“我们需要的是负责任的人工智能，而不是表演性的人工智能——这意味着设计上的透明性，而不是默认的监视。”

对用户来说，目前这还不算什么问题——但如果实施不当，就可能成为问题。这项可以预防人工智能灾难的技术，或许也能将每一次聊天机器人对话变成一个记录、分析，并可能转化为商业价值的数据点。

正如亚当斯所警告的那样，要警惕“泄露原始 CoT 的违规行为、尽管受到监控但仍有 90% 以上的规避率的公共基准，或者将 CoT 归类为受保护的个人数据的欧盟或加州新法规”。

研究人员呼吁采取诸如数据最小化、日志记录透明化以及及时删除未标记数据等保障措施。但要实施这些措施，需要信任那些控制监控的公司。

但是随着这些系统的功能越来越强大，当它们都能读懂我们的思想时，谁来监视它们的监视者呢？