密码技术决定谁能在传输途中读取消息；访问控制和智能体设计决定接收者读完后能做什么。
即时通信中的提示注入攻击，是指消息文本诱使人工智能助手忽略原有规则，执行未经授权的要求。端到端加密保护的是传输途中的消息；但如果用户已允许机器人读取聊天，或设备已被恶意软件入侵，加密就无法约束这个已获授权的接收方的行为。
要点
- 端到端加密防止消息在传输途中被读取，但无法防止获准查看解密文本的虚拟助手滥用信息。
- 间接提示注入可能藏在私信、文件、说明文字或引用内容中，并在处理时被当成指令。
- 当AI 智能体同时能访问聊天、记忆、外部工具，并能发送信息或执行操作时，数据泄露风险会增加。
- 区分数据与指令、最小化权限、人工确认和限制输出，是重要的防护层；其中任何一层都无法独自提供完全保证。
- 根据 Livara 的文档，直接聊天和兼容的私密群组在 E2EE 状态开启时受到端到端加密保护；不兼容的旧群组可能不在覆盖范围内。这种保护不保证助手收到文本后的行为安全。
即时通信中的提示注入攻击如何运作？
提示注入，也称“指令注入”，是攻击者构造输入，使语言模型将其视为指令而非数据，从而偏离原有策略。OWASP 的提示注入指南将直接输入和外部内容都列为这一风险的途径。在智能体系统中，回答的偏离还可能进一步导致连接工具被意外使用。
直接攻击中，用户本人要求机器人放弃此前的规则。间接攻击则将恶意指令放在助手为完成其他任务而阅读的内容中，例如收到的消息、引用文本、说明文字、文档或工具输出。在后一种情况下，攻击者不需要与AI 智能体共用账户；只要其内容进入智能体处理的上下文即可。
例如，用户要求助手总结新消息。其中一条消息含有冒充“系统指令”的文本，要求智能体停止总结，从上下文中提取其他信息并发送到外部目的地。这种情形并不一定成功，结果取决于模型、应用设计、访问权限和输出控制；但对拥有工具的助手而言，这种可能性本身就具有安全意义。
必须区分操纵模型回答与攻击能够采取行动的智能体。错误回答可能令人困扰；而获准发送消息、检索文件或调用服务的智能体，可能将同样的操纵转化为数据泄露或非预期操作。
为什么人工智能聊天机器人的安全不只取决于加密？
人工智能聊天机器人的安全取决于整条信任链：通信应用、设备、模型、记忆、工具、提供商服务器和权限策略。端到端加密只覆盖一个特定边界：防止私密内容在发送者与已获授权的接收者之间被他人读取。
消息到达已获授权的设备后，会被解密以展示给用户。如果助手通过同一设备或已获授权的连接访问文本，它看到的就是解密后的数据。从协议角度看，获得权限的机器人或应用可能是合法接收方；但从用户角度看，同一个接收方也可能拥有过大的权限。
这一区别可以概括为：密码技术决定谁能在传输途中读取消息；访问控制和智能体设计决定接收者读完后能做什么。要了解前一种边界，可参考端到端加密及其不保护的内容指南，其中说明 E2EE 无法解决恶意软件、背叛信任的接收者或已被入侵的显示设备等问题。
“加密通信与人工智能”也不应被自动理解为安全或不安全。没有持久记忆和输出工具的本地智能体，与能够访问历史记录、文件和外部账户的云端机器人，风险水平并不相同。架构和权限范围决定了结果。
人工智能助手访问私密聊天会带来什么风险？
让人工智能助手访问私密聊天，会把原本只有对话中的人能看到的内容带入新的信任边界。主要风险在于，助手除了读取文本，还可能存储文本、将其与其他数据结合，或通过另一条渠道发送出去。
启用此类功能前，应明确回答以下五个问题：
- 助手究竟会读取哪些对话、附件，以及哪个时间范围内的内容？
- 处理是在设备上进行，还是会把内容发送到另一台服务器？
- 提供商保留哪些数据，是否将其用于训练？
- 智能体拥有哪些发送消息、上传文件、搜索或执行操作的工具？
- 每项敏感操作是否都需要用户明确确认？
如果功能只需总结一条选定消息，却获得“读取全部聊天”的权限，就违反了最小权限原则。该原则要求每个组件只获得完成当前任务所必需的最少访问权限。将权限限制在一条消息、一段对话和一轮交互内，可以缩小损害范围；不过，这一范围内的内容仍可能携带攻击。
元数据与内容并不相同。根据 Livara 的文档，发送者、目的地和送达时间等运行元数据会被保存，用于路由和同步。通信元数据及其透露的信息指南解释了这一边界。除了文本，助手还可能根据联系模式和通信时间进行推断，因此访问策略必须同时考虑两者。
AI 智能体会通过哪些途径泄露信息？
AI 智能体的数据泄露通常发生在它能在上下文中看到机密内容，并且拥有将这些内容传到其他目的地的途径时。指令注入本身不会转移数据；泄露依赖恶意输入、数据访问权限和输出渠道的共同作用。
输出消息或文件
智能体可能将信息放进回答、新消息、草稿、文件，或发往外部服务的请求中。如果系统不加限制、也不经用户确认就发送输出，攻击者可能尝试将机密数据转换成看似正常的形式。
长期记忆
一些智能体会保留对话摘要、偏好或此前的结果，以供日后使用。恶意指令可能试图将数据写入记忆，或在另一个会话中取回。缩短记忆保留时间、隔离不同用户，以及允许查看和删除记忆，可以降低风险，但不能消除模型错误。
工具调用
配备工具的智能体能够搜索、读取文件或执行其他已获授权的操作。文件读取、消息发送和网络请求应分别获得权限。即便是自动显示链接，或在输出中加载外部资源，也可能形成数据外传通道；仅仅没有“发送”按钮并不足够。
被入侵的设备
拥有足够权限的恶意软件可能读取屏幕上显示的文本、通知、应用内存或用户输入。在这种情况下，攻击者未必需要破解加密，而是利用终端突破防线。操作系统防护、更新、访问控制和检查已安装应用都属于防御措施，并非通信协议本身的功能。
Livara 的加密在面对这种威胁时有哪些边界？
Livara 安全文档介绍了用于直接聊天的 LVR1，以及用于兼容私密群组的 LGS1。不兼容的旧群组可能明确处于 E2EE 之外，必须检查具体对话的状态。公开频道也不属于私密 E2EE 聊天的范围。
即使是在 E2EE 对话中，如果用户将解密后的文本交给助手，消息加密也无法控制后续处理的目的。核对安全号码是为了验证联系人的密钥，而不是检测其文本中的恶意指令。本文讨论的是一类普遍风险，并不确认 Livara 中存在某项特定的人工智能连接，也不确认其安全性。
这是一张概念图，并非经核实的 Livara 架构；图中的锁不能证明助手无法访问选定文本。
什么架构能够限制即时通信中的提示注入？
安全架构应将收到的消息视为不可信数据，即使消息来自熟悉的联系人，且位于加密聊天中。加密增强了传输路径的真实性，但不能证明发送者的内容适合安全地自动执行。
将数据与指令分开
应用应将开发者的固定指令、用户的明确请求，以及从聊天中读取的内容保存在不同层中。NCSC 关于指令注入的警告强调，不应将其视为与 SQL 注入类似、也存在相同类型确定性解决方案的问题。把内容标记为“不可信数据”有帮助，但语言模型并不总能毫无差错地遵守这种语义边界，因此分层还必须配合模型之外的控制。
缩小智能体的权限
用于总结的智能体不需要自动发送消息或读取全部文件。工具应采用允许列表、狭窄的作用范围、独立凭据和较短的有效期。只针对选定内容授予一次性权限优于永久访问，因为它既能降低非预期访问的可能性，也能缩小泄露范围。
用确定性关卡检查输出
不应由模型自行最终决定是否发送敏感数据。非生成式控制层可以依据确定性规则检查目的地、数据类型、输出量和请求的操作。结构性规则和允许的目的地列表应在模型之外执行；通过语义识别所有机密信息仍可能出错。还需要最少必要的事件日志、告警和停止能力。
敏感操作须经人工确认
阅读草稿不等于发送草稿。发送消息、共享文件、添加成员、更改账户设置，或向外部服务传输数据，都应提供清晰预览，并取得知情确认。含糊或过于频繁的确认会使人习惯性点击；界面必须准确展示数据、目的地和后果。
在受限环境中运行智能体
进程隔离、默认关闭网络访问、临时存储和权限范围狭窄的凭据，可以限制失败造成的影响。这些控制不会消除提示注入，而是防止偏离的回答直接转化为广泛访问权限。
用户和管理员应如何保障人工智能聊天机器人的安全？
用户应将每项人工智能连接视为私密数据的新接收方。管理员也应在部署前审查数据流和智能体操作，并在运行期间持续监测。
个人使用时：
- 只选择必要的消息或文件，不要授予访问全部历史记录的权限。
- 检查处理位置、保留期限、训练用途和数据删除方式。
- 除非有明确需要，否则保持自动发送消息或文件的功能关闭。
- 及时更新设备、浏览器和应用，并复查敏感权限。
组织应当：
- 编写威胁模型，分别覆盖恶意发送者、背叛信任的群组成员、模型服务、外部工具和被入侵的设备。
- 记录工具调用、权限变更、输出目的地和用户确认，同时尽可能减少所记录的敏感数据。
- 在消息、文档、引用文本、含文字的图片和检索内容中测试对抗性输入。
- 为每个智能体设定操作上限、请求速率、允许的目的地和紧急关闭开关。
- 默认采取安全失败方式：如果策略含糊不清，智能体应停止，而不是猜测。
任何清单都无法带来绝对安全。结果取决于实现方式、模型、设置、用户行为，以及不断演变的攻击方法。良好防御的目标是减少权限、暴露偏离并限制损害。
加密通信与人工智能可以安全共存吗？
可以。只要助手获得最少的访问权限，并且不在未经确认时执行敏感操作，加密通信与人工智能就可以在风险受控的条件下协同工作。不过，将任何模型连接到私密内容都会建立新的信任边界，不应将其隐藏在 E2EE 的名义之下。
风险更低的设计会尽可能让处理留在设备上，将上下文限制为用户明确选择的内容，缩短记忆的保留时间，并隔离输出工具。本地处理也不是绝对保证：被入侵的设备、不安全的模型或过大的权限仍会造成风险。
用户应能弄清楚哪些数据会发送给模型、模型在哪里运行、保留什么以及保留多久、能够执行哪些操作。如果产品没有清楚回答这些问题，就不应仅凭“私密人工智能”等措辞得出确定的安全结论。
协议文档或应用哈希值匹配，并不等于对所连接助手进行了安全测试。启用连接前，应单独审查该功能的权限和数据路径。一次成功测试的结果，也不能独自覆盖未来所有输入。
常见问题
端到端加密能阻止提示注入吗？
不能。端到端加密使消息在发送者与已获授权的接收者之间对中间方不可见。如果已获授权的机器人、设备上的应用或恶意软件能够访问解密后的文本，就可以处理这些文本。限制提示注入需要约束智能体的权限、工具、记忆和输出。
用人工智能总结私密聊天有危险吗？
风险取决于架构。只在本地总结一条选定消息，且没有记忆和输出工具，其风险范围小于能够永久访问全部聊天的云端机器人。使用前应检查处理位置、数据保留、权限范围和自动发送能力。
熟悉的联系人发来的消息也可能携带提示注入吗？
可能。信任发送者的身份，不等于信任其全部内容；其账户可能已被接管，或者无意间转发了恶意文本。智能体读取的任何内容都应视为不可信数据，即使它位于经过身份验证且已加密的对话中。
LVR1 和 LGS1 会对人工智能助手隐藏信息吗？
在确实由 LVR1 或 LGS1 保护、且 E2EE 状态开启的对话中，这些协议的目标是向没有密钥的中间方隐藏内容。如果用户或应用允许助手读取解密后的消息，这些协议不会阻止这种已获授权的访问。因此，应将助手安全与消息传输安全分开评估。
降低AI 智能体数据泄露风险的第一步是什么？
先缩小智能体的访问范围：只访问选定消息，仅限当前一轮，而且不能自动发送。随后为敏感操作设置预览和人工确认，限制输出目的地，并记录工具调用。这些防护层能降低风险，但不能提供绝对保证。
