잠금 아이콘과 암호화된 데이터가 어두운 클라우드 서버로 흐르는 모습이 표시된 사진 앱 설정 화면의 iPhone

Apple Intelligence가 내 사진을 스캔하나요?

iOS 18.1(2024년 10월)부터 Apple의 사진 앱은 Enhanced Visual Search를 통해 기본적으로 사진에 대한 암호화된 데이터를 Apple 서버로 전송합니다. 사진 자체는 전송되지 않습니다. 사진의 랜드마크 영역에 대한 암호화된 수학적 지문이 전송됩니다. Apple은 이를 읽을 수 없지만, 기기를 떠나는 것은 사실입니다.

Apple Intelligence 자체는 대부분의 사진 작업을 기기에서 처리합니다. 별도로, Enhanced Visual Search라는 사진 앱 기능이 iOS 18.1(2024년 10월)부터 기본으로 활성화되어 사진의 랜드마크 영역에 대한 암호화된 벡터 임베딩을 Apple 서버로 전송합니다. 임베딩은 기기를 떠나기 전에 동형 암호화를 사용하여 암호화됩니다. Apple은 임베딩으로 사진을 복원할 수 없지만, 사진에 대한 데이터는 기기를 떠납니다. 설정에서 앱, 사진 순으로 이동하여 Enhanced Visual Search를 끌 수 있습니다.

Enhanced Visual Search가 실제로 하는 일

Enhanced Visual Search는 2024년 10월 iOS 18.1 및 macOS 15.1에서 도입된 사진 앱의 기능입니다. 사진 라이브러리에서 이름으로 랜드마크와 관심 지점을 검색할 수 있습니다. "에펠탑"을 입력하면 GPS 데이터 첨부 여부에 관계없이 해당 사진이 포함된 모든 사진을 찾아줍니다. 몇 년치의 정리되지 않은 여행 사진이 있는 사람에게는 정말 유용한 기능입니다.

이를 위해 iPhone은 사진의 랜드마크를 Apple 서버에서 유지 관리하는 글로벌 데이터베이스와 대조해야 합니다. 이 과정에서 기기는 사진에 대한 무언가를 외부로 전송해야 합니다. 무엇을 전송하는지, 어떻게 보호하는지, 그리고 동의를 구했는지가 핵심 질문 세 가지입니다.

Enhanced Visual Search는 Apple의 더 광범위한 생성 AI 시스템인 Apple Intelligence와는 별개입니다. 두 시스템은 기술 아키텍처와 개인정보 보호 방식이 다릅니다. 이 차이는 중요하며 아래에서 다룹니다.

기기를 떠나는 것: "비공개"의 세 가지 단계

이 부분에서 대부분의 보도가 양방향으로 잘못됩니다. 아키텍처에는 세 가지 의미 있게 다른 단계가 있으며, 이를 혼동하면 정보에 기반한 선택을 내릴 수 없게 됩니다.

1단계는 로컬 전용입니다. 기기를 떠나는 것은 아무것도 없습니다. 파일은 사용자가 보유한 하드웨어에서 처리되고 저장됩니다. 서버도 없고 네트워크 요청도 없습니다. 이것이 제로 지식 암호화가 설명하는 것입니다.

2단계는 암호화된 오프 디바이스로, Enhanced Visual Search의 모델입니다. 사진에 대한 데이터가 기기를 떠나지만 전송 전에 보호됩니다. 보호 수준은 대부분의 기사가 제안하는 것보다 훨씬 정교합니다.

3단계는 개인정보 보장을 통한 클라우드 처리로, Apple Intelligence의 Private Cloud Compute입니다. 요청은 Apple의 서버 인프라에서 처리되며, 데이터가 저장되지 않고 Apple이 읽을 수 없다는 아키텍처 수준의 보장이 있습니다. EVS와는 다른 시스템으로 아래에서 다룹니다.

다음은 2024년 10월 24일 Apple ML Research 블로그에 따른 Enhanced Visual Search의 정확한 메커니즘입니다. 먼저 기기의 ML 모델이 사진을 검사하여 랜드마크가 포함될 수 있는 영역을 식별합니다. 각 영역에 대해 기기는 벡터 임베딩, 즉 사진 자체가 아닌 시각적 패턴의 수치 지문을 생성합니다. 해당 임베딩은 동형 암호화(구체적으로 BFV 체계)를 사용하여 암호화됩니다. 동형 암호화는 Apple의 서버가 복호화하지 않고도 암호화된 데이터에 대해 계산을 실행할 수 있음을 의미합니다. 서버는 쿼리에 대한 키를 절대 보유하지 않습니다.

암호화된 쿼리는 제3자가 운영하는 OHTTP(Oblivious HTTP) 릴레이를 통해 Apple 서버로 전송됩니다. 릴레이는 요청이 Apple에 도달하기 전에 IP 주소를 제거하므로 Apple은 어떤 쿼리도 기기나 계정과 연결할 수 없습니다. 실제 요청을 더욱 불명확하게 하기 위해 기기는 실제 요청과 함께 가짜 더미 쿼리를 보냅니다. 서버는 어느 쿼리가 진짜인지 구별할 수 없습니다. 서버는 암호화된 결과를 반환합니다. 기기는 로컬에서 복호화합니다. 서버는 모든 것을 폐기합니다.

사진 자체는 전송되지 않습니다. 픽셀은 전송되지 않습니다. 사진 한 장의 한 영역에 대한 암호화된 수학적 표현이 전송되며 Apple은 이를 읽을 수 없습니다. 이는 진정으로 정교한 기술입니다. 그리고 기본으로 켜져 있다는 것은 별개의 문제입니다.

암호화는 실제이며, 그럼에도 사전 동의가 없었다

Enhanced Visual Search에 대한 기술적 반대는 Apple이 백도어를 만들었다는 것이 아닙니다. 반대는 Apple이 이를 기본값으로 출시하여 2024년 10월에 수억 대의 휴대폰에 활성화하고, 개인정보 연구자들이 2024년 12월 말에 알아챌 때까지 의미 있는 알림을 제공하지 않았다는 것입니다.

동형 암호화와 차등 개인정보 보호, OHTTP 릴레이 스택은 실제로 문서화되어 있으며 대부분의 클라우드 개인정보 구현보다 엄격합니다. Apple은 이에 대한 기술 논문을 발표했습니다. 암호화는 동의 주장이 제기되기 전에 인정받아야 합니다.

하지만 인상적인 암호화와 정보에 기반한 동의는 별개입니다. 대부분의 사용자는 기본값을 변경하는 설정을 절대 찾지 못할 것입니다. 대부분의 사용자는 이미 실행 중일 때까지 해당 기능의 존재를 알지 못했습니다. 그리고 이 기능은 iCloud의 사진뿐만 아니라 기기의 모든 사진을 처리하며, iCloud를 전혀 사용하지 않아도 영향을 받습니다. 클라우드 서비스를 신뢰하지 않아도 영향을 받을 수 있습니다.

개인정보 정책에서 이를 일컫는 이름이 있습니다: 사전 동의(opt-in) 대신 거부 방식(opt-out). 실질적 결과는 기본값이 대부분의 사람들에게 거의 항상 결과가 된다는 것입니다.

2025년 1월의 발견

개인정보 논쟁은 2024년 12월 말과 2025년 1월 초에 개발자와 보안 연구자들이 해당 기능이 이미 기기에서 실행 중임을 발견하면서 공개적으로 표면화되었습니다.

2025년 1월 1일 Michael Tsai가 이 문제를 공개적으로 문서화했습니다. 2025년 1월 3일 The Register가 이를 다루었습니다. 개발자 Jeff Johnson은 문제를 명확하게 언급했습니다: "Apple의 Enhanced Visual Search에 대한 내 반대는 대부분의 사용자가 평가하기 어려운 기술적 세부 사항이 아니라, Apple이 선택권을 내 손에서 빼앗아 기본적으로 온라인 서비스를 활성화했다는 사실입니다."

Johns Hopkins의 암호학자 Matthew Green은 말했습니다: "새해 이틀 전에 서비스에 대해 알게 되고 이미 휴대폰에 활성화되어 있다는 것을 알게 되는 것은 매우 실망스럽습니다."

두 반대 의견 모두 암호화에 이의를 제기하지 않습니다. 두 가지 모두 같은 것에 반대합니다: 결정이 당신을 위해 이루어졌다는 것. 그것이 가장 단순한 형태의 동의 주장입니다.

Apple Intelligence vs. Enhanced Visual Search: 두 가지 다른 시스템

대부분의 보도에서 이 두 가지가 혼동됩니다. 작동 방식과 개인정보 보호 방식이 다릅니다.

Enhanced Visual Search는 자체 독립적인 개인정보 아키텍처, 즉 동형 암호화, 차등 개인정보 보호, OHTTP 릴레이를 갖춘 사진 앱 기능입니다. Apple은 2024년 10월에 기술 논문을 발표했습니다. Apple Intelligence 마케팅 범주와는 별개입니다.

Apple Intelligence는 생성 AI 시스템에 대한 Apple의 브랜딩입니다: 작성 도구, 요약, 스마트 답장, 이미지 생성, Siri 업그레이드. 간단한 작업의 경우 Apple Intelligence는 네트워크 요청 없이 기기에서 완전히 데이터를 처리하는 온디바이스 모델을 사용합니다. 더 많은 계산 능력이 필요한 작업의 경우 Private Cloud Compute를 사용합니다.

Private Cloud Compute는 iPhone의 Secure Enclave과 유사한 하드웨어 보호 기능을 갖춘 Apple 실리콘 서버를 사용합니다. Apple은 상태 없는 처리를 주장합니다. 즉, 요청이 처리되고 저장되지 않습니다. 그리고 Apple 자체 엔지니어도 처리 중인 데이터에 접근할 수 없습니다. 시스템은 발표된 투명성 로그를 통해 보안 연구자들이 독립적으로 검증할 수 있도록 설계되었습니다. 이는 의미 있는 약속이며 기존 클라우드 서비스와 아키텍처적으로 다릅니다.

하지만 Private Cloud Compute는 여전히 3단계이지 1단계가 아닙니다. 데이터는 기기를 떠납니다. Apple이 제어하는 하드웨어에서 처리됩니다. 그에 대한 Apple의 개인정보 약속은 클라우드 시스템으로서 강력합니다. 로컬 전용 처리와는 동일하지 않습니다.

Apple Intelligence는 추억 만들기나 사진에 대한 질문 답변과 같은 온디바이스 작업을 위해 사진 라이브러리에 접근할 수 있습니다. 해당 처리는 기기에서 이루어집니다. 지능형 엔진에 대한 Apple의 법적 개인정보 페이지는 Private Cloud Compute로 전송된 데이터가 저장되거나 Apple에서 접근할 수 없으며, 콘텐츠가 아닌 최소한의 메타데이터만 수집된다고 명시합니다. Apple Intelligence가 하지 않는 것은 AI 모델 훈련을 위해 원본 사진을 전송하는 것입니다. Apple의 사진 법적 개인정보 페이지는 다음과 같이 명시합니다: "Apple은 사진이나 동영상에 접근하지 않으며 연구 개발에 사용하지 않습니다."

Enhanced Visual Search 끄는 방법

이 단계는 Apple 공식 지원 문서(KB 122033) 및 여러 제3자 출처에 대해 확인되었습니다. 아래 경로는 iOS 18 및 iOS 18.1에서 확인되었습니다. Apple은 주기적으로 설정을 재구성합니다. iOS 19 이상을 사용 중이고 설정 최상위에서 앱을 찾지 못하는 경우 설정 검색창에서 Enhanced Visual Search를 검색하세요.

iPhone 또는 iPad: 설정을 열고 앱을 탭하고 사진을 탭하고 맨 아래로 스크롤한 다음 Enhanced Visual Search를 끄세요.

Mac: 사진 앱을 열고 사진으로 이동한 후 설정(또는 Command와 쉼표를 누름)으로 이동하여 일반을 클릭하고 Enhanced Visual Search 체크를 해제하세요.

끄면 향후 쿼리가 중지됩니다. Apple 서버로 이미 전송된 데이터는 삭제되지 않습니다. Apple의 정책은 처리 후 데이터가 폐기된다는 것이지만, 이 주장은 독립적으로 확인할 수 없습니다.

이 기사가 발표될 당시 Enhanced Visual Search는 현재 iOS 버전에서도 기본으로 켜져 있다고 가정합니다. 이는 2024년 10월 출시 시 동작과 일치합니다. 해당 기본값이 변경되었다는 2026년의 주요 출처는 없습니다. 기기의 사진 설정을 확인하여 검증하세요.

Vaultaire의 역할

어떤 개인정보 모델이 필요한지의 질문은 궁극적으로 기능이 아닌 아키텍처에 관한 질문입니다. 이 글은 특정한 구별을 제기합니다: 실제로 어떤 범주의 보호가 필요한가?

제3자가 Apple 서버를 침해하고 사진을 신원과 연결할 수 있다는 우려가 있다면, Enhanced Visual Search 아키텍처가 직접적으로 이를 해결합니다. 암호화된 임베딩, OHTTP 릴레이, IP 연결 없음 - 설계된 위험 모델은 의미 있습니다. 암호화는 실제입니다.

민감한 파일을 보관하거나, 국경을 넘거나, 어떤 서버에서도 어떤 회사가 사진에 대해 어떤 결정도 내리기를 원하지 않기 때문에 사진에 대한 어떤 데이터도 기기를 떠나지 않아야 한다는 우려가 있다면, 그 모델은 필요한 것을 제공하지 않습니다.

Vaultaire의 아키텍처는 1단계에 속합니다. 패턴 기반 암호화로 암호화된 파일은 기기에 머뭅니다. 계정도 서버도 네트워크 요청도 없습니다. 패턴은 AES-256-GCM 키를 파생하며 저장되지 않습니다. 서버에는 암호화, 상관관계 또는 침해할 것이 없습니다. 선택적 iCloud 백업은 휴대폰을 떠나기 전에 암호화되며 우리는 키를 보유하지 않습니다. "사진에 대한 데이터가 기기를 떠나는가"에 대한 답이 "아니오"여야 하는 위협 모델의 경우, 로컬 전용이 유일한 답을 제공하는 아키텍처입니다.

공개: 저희가 Vaultaire를 만듭니다. 그것이 이 글의 결론 방향을 형성합니다. 비판적으로 읽으세요. 모든 기술적 주장은 출처가 있습니다.

출처

자주 묻는 질문

Apple Intelligence가 내 사진을 스캔하나요?

Apple Intelligence는 추억 만들기나 사진에 대한 질문 답변과 같은 온디바이스 작업을 위해 사진 라이브러리에 접근할 수 있으며, 해당 처리는 기기에서 이루어집니다. 계산 집약적인 요청의 경우 일부 데이터가 Private Cloud Compute로 전송되며, Apple의 문서에 따르면 저장 없이 처리됩니다. 별도로, iOS 18.1부터 활성화된 사진 앱 기능인 Enhanced Visual Search는 기본적으로 랜드마크 식별을 위해 암호화된 사진 데이터를 Apple 서버로 전송합니다. 이는 두 가지 별개의 시스템입니다.

Enhanced Visual Search가 실제 사진을 Apple에 전송하나요?

아니요. Enhanced Visual Search는 암호화된 벡터 임베딩, 즉 사진이나 픽셀 자체가 아닌 사진의 랜드마크 영역에 대한 수학적 표현을 전송합니다. 임베딩은 기기를 떠나기 전에 동형 암호화를 사용하여 암호화됩니다. Apple의 서버는 복호화 없이 임베딩을 처리합니다. IP 주소는 제3자가 운영하는 OHTTP 릴레이를 통해 숨겨집니다. Apple은 수신한 데이터로 사진을 복원할 수 없습니다.

Enhanced Visual Search가 실제로 Apple에 무엇을 전송하나요?

암호화된 벡터 임베딩, 즉 사진의 잠재적 랜드마크 영역에 대한 수치 지문을 전송합니다. 임베딩은 기기를 떠나기 전에 BFV 동형 암호화 체계로 암호화됩니다. 서버가 진짜 쿼리를 식별할 수 없도록 가짜 더미 쿼리가 함께 전송됩니다. IP 주소는 요청이 Apple에 도달하기 전에 OHTTP 릴레이에 의해 제거됩니다. 사진 자체와 픽셀은 절대 전송되지 않습니다.

Enhanced Visual Search를 끄려면 어떻게 하나요?

iPhone 또는 iPad: 설정을 열고 앱을 탭하고 사진을 탭하고 맨 아래로 스크롤한 다음 Enhanced Visual Search를 끄세요. Mac: 사진을 열고 사진으로 이동한 후 설정으로 이동하여 일반을 클릭하고 Enhanced Visual Search 체크를 해제하세요. 이 경로는 iOS 18 및 iOS 18.1에서 확인되었습니다. 이후 iOS 버전을 사용 중이고 찾을 수 없는 경우 설정 검색창에서 Enhanced Visual Search를 검색하세요.

Apple Intelligence는 사생활을 보호하나요?

Apple Intelligence는 대부분의 작업에 온디바이스 모델을 사용하므로 해당 요청에 대해 데이터가 기기를 떠나지 않습니다. 복잡한 작업의 경우 Private Cloud Compute를 사용하며 Apple은 상태 없는 처리와 데이터 미저장을 주장합니다. PCC는 보안 연구자들이 독립적으로 검증할 수 있도록 설계되었습니다. 이는 클라우드 시스템으로서 강력한 보장으로, 대부분의 클라우드 서비스보다 강력합니다. 데이터가 기기를 전혀 떠나지 않는 로컬 전용 처리와는 동일하지 않습니다.

Apple이 AI 훈련에 내 사진을 사용하나요?

Apple의 사진에 대한 법적 개인정보 페이지는 다음과 같이 명시합니다: "Apple은 사진이나 동영상에 접근하지 않으며 연구 개발에 사용하지 않습니다." 이는 사진 앱과 Apple Intelligence 모두에 해당됩니다. Enhanced Visual Search가 전송하는 암호화된 임베딩은 Apple이 보유하지 않고 복원할 수 없는 키로 암호화되어 있어 훈련에 사용될 수 없습니다.

동형 암호화란 무엇이며 여기서 왜 중요한가요?

동형 암호화는 서버가 복호화하지 않고도 암호화된 데이터에 대해 계산을 실행할 수 있는 암호화 방법입니다. Enhanced Visual Search의 경우 기기는 벡터 임베딩을 전송하기 전에 암호화합니다. Apple의 서버는 랜드마크 데이터베이스와 대조하고 암호화된 결과를 반환합니다. 복호화되지 않은 쿼리를 절대 볼 수 없습니다. 이는 서버가 처리 중인 데이터를 실제로 읽을 수 없기 때문에 표준 전송 중 암호화보다 더 엄격합니다.

Vaultaire 무료 다운로드