iPhone屏幕显示照片应用设置,带有锁图标和流向黑暗云端服务器的加密数据

Apple Intelligence会扫描您的照片吗?

自iOS 18.1(2024年10月)起,Apple的照片应用通过增强型视觉搜索默认将您照片的加密数据发送到Apple服务器。照片本身不会离开设备。但照片中地标区域的加密数学指纹会离开。Apple无法读取它,但它确实会离开您的设备。

Apple Intelligence本身在设备上处理大多数照片任务。另外,照片应用中一个名为增强型视觉搜索的功能自iOS 18.1(2024年10月)起默认开启,会将您照片中地标区域的加密向量嵌入发送到Apple服务器。嵌入在离开设备前使用同态加密进行加密。Apple无法从中重建您的照片,但您照片的相关数据确实会离开您的设备。您可以在设置中的应用,然后照片下关闭增强型视觉搜索。

增强型视觉搜索实际上做什么

增强型视觉搜索是照片应用中的一项功能,于2024年10月随iOS 18.1和macOS 15.1推出。它允许您按名称在照片库中搜索地标和景点。输入"埃菲尔铁塔",照片应用会找到所有包含它的照片,无论照片是否附有GPS数据。对于有多年未整理旅行照片的人来说,这确实很实用。

为此,您的iPhone需要将照片中的地标与Apple服务器上维护的全球数据库进行匹配。该过程要求您的设备向外发送一些有关您照片的信息。发送的内容、如何保护它以及您是否同意了,是值得探讨的三个问题。

增强型视觉搜索与Apple的更广泛生成式AI系统Apple Intelligence是分开的。两者有不同的技术架构和不同的隐私立场。这一区别很重要,下文将进行说明。

离开您设备的内容:"隐私"的三个层级

大多数报道在这里出了问题,且错误方向各异。该架构有三个含义不同的层级,将它们混为一谈会使人无法做出明智的选择。

第一层是仅本地处理。没有任何内容离开设备。您的文件在您手中的硬件上处理和存储。没有服务器,没有网络请求。这就是零知识加密所描述的内容。

第二层是加密后离开设备,即增强型视觉搜索的模式。您照片的相关数据离开设备,但在传输前受到保护。这种保护比大多数文章描述的更为复杂。

第三层是带有隐私保障的云端处理,即Apple Intelligence的私有云计算。请求在Apple服务器基础架构上处理,架构级别保证数据不被存储且Apple无法读取。这与增强型视觉搜索是不同的系统,下文将进行说明。

以下是增强型视觉搜索的确切机制,来自Apple于2024年10月24日发布的机器学习研究博客。首先,设备上的机器学习模型检查您的照片并识别可能包含地标的区域。对于每个区域,设备生成一个向量嵌入,即视觉模式的数字指纹,而非照片本身。该嵌入使用同态加密(特别是BFV方案)进行加密。同态加密意味着Apple服务器可以对加密数据进行计算而无需解密。服务器从不持有您查询的密钥。

加密查询通过第三方运营的Oblivious HTTP(OHTTP)中继传输到Apple服务器。中继在请求到达Apple之前剥离您的IP地址,因此Apple无法将任何查询与您的设备或账户关联。为了进一步隐藏真实请求,您的设备会同时发送假的虚假查询。服务器无法区分哪个查询是真实的。服务器返回加密结果。您的设备在本地解密。服务器丢弃所有内容。

照片本身从不发送。像素从不发送。发送的是一张照片中某个区域的加密数学表示,Apple无法读取它。这确实很复杂。但它也是默认开启的,这是另一个问题。

密码学是真实的,但它仍然不是选择加入的

对增强型视觉搜索的技术反对意见不是Apple设置了后门。反对意见是Apple将其作为默认设置发布,于2024年10月在数亿部手机上激活,直到隐私研究人员于2024年12月底注意到之前,没有提供任何有意义的通知。

同态加密加上差分隐私加上OHTTP中继的技术栈是真实的、有文档记录的,且比大多数云隐私实现更为严格。Apple发布了其背后的技术论文。在提出同意论据之前,应当承认密码学的价值。

但令人印象深刻的密码学和知情同意是两回事。大多数用户永远不会找到更改默认设置的选项。大多数用户在功能已经运行之前都不知道它的存在。而且该功能处理您设备上的每张照片,不仅仅是iCloud中的照片,无论您是否使用iCloud。您不需要信任云服务就会受到影响。

隐私政策中有一个名词描述这种情况:选择退出而非选择加入。实际结果是,默认设置几乎总是大多数人的最终选择。

2025年1月的发现

隐私争论于2024年12月底和2025年1月初公开浮出水面,当时开发者和安全研究人员发现该功能已在他们的设备上运行。

2025年1月1日,Michael Tsai公开记录了这个问题。2025年1月3日,The Register跟进报道。开发者Jeff Johnson直言不讳地指出了问题所在:"我对Apple增强型视觉搜索的反对意见不是具体的技术细节,这对大多数用户来说难以评估,而是Apple已经剥夺了我的选择权,默认启用了在线服务。"

约翰斯·霍普金斯大学密码学家Matthew Green说:"当你在新年前两天了解到一项服务,发现它已经在你的手机上启用,这真的很令人沮丧。"

两种反对意见都不质疑加密。两者都反对同一件事:决定是替你做的。这是同意论据最直白的形式。

Apple Intelligence与增强型视觉搜索:两个不同的系统

大多数报道将这两者混淆。它们的工作方式不同,隐私立场也不同。

增强型视觉搜索是照片应用的一项功能,具有独立的隐私架构,包括同态加密、差分隐私和OHTTP中继。Apple于2024年10月发布了其技术论文。它独立于Apple Intelligence营销品牌。

Apple Intelligence是Apple对其生成式AI系统的品牌命名:写作工具、摘要、智能回复、图像生成和Siri升级。对于较简单的任务,Apple Intelligence使用完全在您设备上处理数据的本地模型,无需任何网络请求。对于需要更多计算能力的任务,它使用私有云计算。

私有云计算使用具有类似于iPhone安全隔区的硬件保护的Apple芯片服务器。Apple声称无状态处理,即您的请求被处理后丢弃,不存储,且Apple自己的工程师无法访问正在处理的数据。该系统旨在通过已发布的透明度日志供安全研究人员独立验证。这些是有意义的承诺,在架构上与传统云服务不同。

但私有云计算仍然是第三层,而非第一层。您的数据离开您的设备。它由Apple控制的硬件处理。Apple对它的隐私承诺对云系统来说很强。这与仅本地处理不同。

Apple Intelligence可以访问您的照片库以完成设备上的任务,如创建记忆或回答关于您照片的问题。这些处理留在设备上。Apple智能引擎的法律隐私页面声明,发送到私有云计算的数据不会被存储或让Apple访问,并且只收集最少的元数据,而非内容。Apple Intelligence不会发送您的原始照片来训练AI模型。Apple照片法律隐私页面声明:"Apple不访问您的照片或视频,也不将其用于研究和开发。"

如何关闭增强型视觉搜索

这些步骤已根据Apple的官方支持文章(KB 122033)和多个第三方来源进行验证。以下路径已在iOS 18和iOS 18.1上确认。Apple会定期重新组织设置。如果您使用的是iOS 19或更高版本,在设置顶层找不到应用,请在设置搜索栏中搜索增强型视觉搜索。

在iPhone或iPad上:打开设置,点击应用,点击照片,滚动到底部,关闭增强型视觉搜索。

在Mac上:打开照片应用,进入照片,然后选择设置(或按Command加逗号),点击通用,取消选中增强型视觉搜索。

关闭它会停止未来的查询。它不会删除已发送到Apple服务器的任何数据。Apple的政策是数据在处理后丢弃,但该声明无法独立验证。

截至本文发布时,增强型视觉搜索被认为在当前iOS版本中仍默认开启,与2024年10月推出时的行为一致。没有2026年的主要来源确认该默认设置发生了变化。请通过检查设备上的照片设置来验证。

Vaultaire的定位

您需要哪种隐私模型,最终是一个关于架构的问题,而非功能的问题。本文提出了一个具体的区别:您实际需要哪个类别的保护?

如果您担心第三方可能入侵Apple服务器并将您的照片与您的身份关联,增强型视觉搜索架构直接解决了这个问题。加密嵌入、OHTTP中继、无IP关联,它旨在击败的风险模型是有意义的。密码学是真实的。

如果您担心的是您照片的任何数据离开您的设备,无论是因为您保存了敏感文件、因为您跨越边境,还是因为您不希望任何公司在任何服务器上对您的照片做出任何决定,那么这种模型无法满足您的需求。

Vaultaire的架构处于第一层。使用基于图案的加密加密的文件保留在您的设备上。没有账户、没有服务器、没有网络请求。您的图案派生出AES-256-GCM密钥,且从不存储。服务器上没有任何内容可以加密、关联或入侵。可选的iCloud备份在离开您手机之前已加密,我们不持有密钥。对于"我的照片数据是否离开我的设备"的答案必须是"否"的威胁模型,仅本地处理是唯一能回答的架构。

披露:我们制作Vaultaire。这影响了本文的结尾。请带着怀疑态度阅读。每个技术声明都有来源。

相关阅读:

参考来源

常见问题

Apple Intelligence会扫描我的照片吗?

Apple Intelligence可以访问您的照片库以完成设备上的任务,如创建记忆或回答关于您照片的问题,这些处理留在您的设备上。对于计算密集型请求,一些数据会发送到私有云计算,根据Apple的文档,数据在处理后不存储。另外,增强型视觉搜索是自iOS 18.1起激活的照片应用功能,默认将您照片的加密数据发送到Apple服务器以识别地标。这是两个不同的系统。

增强型视觉搜索是将我的实际照片发送给Apple吗?

不是。增强型视觉搜索发送的是加密向量嵌入,即您照片中地标区域的数学表示,而非照片或像素本身。嵌入在离开您的设备之前使用同态加密进行加密。Apple服务器在不解密的情况下处理它们。您的IP地址通过第三方运营的OHTTP中继隐藏。Apple无法从其收到的数据中重建您的照片。

增强型视觉搜索实际上向Apple发送了什么?

它发送一个加密向量嵌入:您照片中潜在地标区域的数字指纹。嵌入在离开您的设备之前使用BFV同态加密方案进行加密。虚假查询与真实查询一起发送,这样服务器就无法识别真实查询。您的IP地址在请求到达Apple之前被OHTTP中继剥离。照片本身和像素从不发送。

如何关闭增强型视觉搜索?

在iPhone或iPad上:打开设置,点击应用,点击照片,滚动到底部,关闭增强型视觉搜索。在Mac上:打开照片,进入照片然后选择设置,点击通用,取消选中增强型视觉搜索。此路径已在iOS 18和iOS 18.1上确认。如果您使用的是更高版本的iOS且找不到它,请在设置搜索栏中搜索增强型视觉搜索。

Apple Intelligence是私密的吗?

Apple Intelligence对大多数任务使用本地模型,因此这些请求不会有数据离开您的设备。对于复杂任务,它使用私有云计算,Apple声称进行无状态处理且不存储数据。私有云计算旨在供安全研究人员独立验证。这些对云系统来说是有力的保证,比大多数云服务更强。但它们与仅本地处理不同,在仅本地处理中,数据根本不会离开设备。

Apple会使用我的照片来训练其AI吗?

Apple照片的法律隐私页面声明:"Apple不访问您的照片或视频,也不将其用于研究和开发。"这涵盖了照片应用和Apple Intelligence。增强型视觉搜索发送的加密嵌入无法用于训练,因为它们使用Apple不持有且无法恢复的密钥进行加密。

什么是同态加密,为什么它在这里很重要?

同态加密是一种密码学方法,允许服务器对加密数据运行计算而无需解密它。对于增强型视觉搜索,您的设备在发送之前对向量嵌入进行加密。Apple服务器针对地标数据库进行匹配并返回加密结果,而无需查看未加密的查询。它比标准传输加密更为严格,因为服务器确实无法读取它正在处理的数据。