‘확률’을 깊은 가짜 탐지 메트릭으로 사용하는 것

AI로 생성된 비디오와 오디오가 충분히 좋아진다면, 시각적 아티팩트나 다른 전통적인 신호를 기반으로 하는 깊은 가짜 탐지기는 더 이상 작동하지 않을 것입니다. 그러나 사람들은 예측 가능한 행동에서 벗어나기란 드물기 때문에, 비디오 또는 뉴스 소문의 진실 여부를 나타내는 신호로서 ‘확률’을 더 깊이 채택할 수 있습니다.

의견 1990년대 초, 존경받는 전 영국 축구 선수이자 스포츠 해설자 데이비드 아이크는 채팅 쇼에서 자신이 ‘신의 아들’이라고 말했습니다. 이것은 이후 수십 년 동안 지속되고 복잡한 음모론으로 발전했습니다.

인터넷 채택이 아직 몇 년 뒤였고, 소셜 미디어의 출현은 더 먼 미래였기 때문에, 아이크의 유명세와 그의 새로운 통찰력 사이의 명백한 불일치는 영국 대중에게 큰 영향을 미쳤습니다. 특히 이 큰 전환에 대한 준비나 맥락이 전혀 없었기 때문입니다.

20년이 넘게 지난 후, 더 어둡고 심각한 사회적 충격이 발생했습니다. 사랑받는 자선 활동가이자 아동 텔레비전 진행자 지미 사빌이 사후에 장기적인 성범죄자로 밝혀졌습니다.

이후에 이어진 오퍼레이션 유트리 경찰 수사는 더 많은 영국 유명인들의 성범죄력을 밝혀냈습니다. 나중에 하비 와인스타인 사건은 미국에서도 유명인 성범죄자를 발견하게 되었습니다. 이것은 #미투 운동으로 발전하여 미국 문화에 영구적으로 자리 잡게 되었습니다.

전통적인 깊은 가짜 탐지의 종말?

1990년대 초에 사회 미디어와 AI가 있었다면, 아무도 아이크의 채팅 쇼에서의 폭로를 예측할 수 없었을 것입니다. 하지만 AI가 있었다면, 구글의 비오 3이나 다른 최신의超현실적인 오디오/비디오 깊은 가짜 프레임워크의 제품이 아니라는 것을 더广い 청중을 설득하는 데 시간이 걸렸을 것입니다.

지난 6-12개월 동안 AI 깊은 가짜 방법은 효과적으로 작동하기 시작했습니다. 이것은 언론의 깊은 가짜 선거 개입에 대한 예측을 충족시키고,.quick-strike 평판을 손상시키는 것을 가능하게 했습니다.

현재까지 AI 비디오 출력은 진정한 현실성을 달성하지 못하고 있습니다. 기술적인 장애물과 점점 더 극단적인 서양 모델과 중국의 검열되지 않은 오픈 소스 릴리스 사이의 간격으로 제한되고 있습니다.

지식 그래프

깊은 가짜 탐지에서 ‘확률’과 ‘가능성’을 더 깊이 활용할 때가 되었습니다. 또한 비디오와 오디오 생성 AI 시스템이 점점 더 hội tụ하고 있으므로, ‘가짜 뉴스’와 가짜 이미지/비디오에 대한 별도의 연구를 hội tụ시키는 것이 좋을 것입니다.

확률 깊은 가짜 메트릭은 사실 확인을 위한 RAG와 다릅니다. 여기서 AI 모델은 웹 결과를 가져와서 자신의 지식 컷오프 날짜 이후에 발생하는 사건에 대한 지식을 얻을 수 있습니다.

대신, 일반적으로 나타나는 통계적 경향에 따라 예측을 수행합니다. 이것은 더 현대적인 기계 학습 접근법보다는 통계적 분석에 더 가깝습니다.

지식 그래프는 엔터프라이즈 공간에서 다시 부상하고 있으며, 깊은 가짜 탐지에서 ‘확률’ 메트릭을 사용하는 데 적합합니다.

사람, 장소, 예술 작품, 사건을 레이블이 붙은 관계로 연결하여 기계가 실제 엔티티와 그 연결을 이유로 할 수 있는 지식 그래프의 단순화된 버전. 출처

지식 그래프는 실제 엔티티와 그 연결을 나타내는 네트워크로 정보를 조직하는 방법입니다.

각 하위 엔티티는 노드이며, 노드 사이의 연결(엣지)은 그들이 어떻게 관련되어 있는지 설명합니다. 예를 들어, ‘마이크로소프트’ 노드는 ‘오픈AI’ 노드와 ‘클라이언트’ 엣지를 통해 연결될 수 있습니다.

지속적인 메모리

중국 연구진은 그래프 기반推論을 사용하여 멀티모달 깊은 가짜의 미묘한 불일치를 탐지하는 훈련이 없는 방법을 제안했습니다.

대신에 이미지-텍스트 쌍을 검색하고, 유사성 그래프를 구축하고, 연결을 평가하여 가장 관련성이 높은 예를 검색합니다. 이것은 모델의 판단을 안내하는 데 새로운 훈련이 필요하지 않습니다.

그래프 기반 샘플 선택과 컨텍스트 학습을 결합하여 깊은 가짜 탐지를 개선하는 GASP-ICL 프레임워크 개요. 이것은 동결된 비전-언어 모델이 이미지/텍스트 쌍을 실제 또는 가짜로 분류할 수 있도록 합니다.  출처

이것은 내가 본 바로는 가장 가까운 작업입니다. 이것은 새로운 미디어 출력의 평가와 검증을 위한 정보를 가진 접근 방식입니다. 대부분의 컴퓨터 비전 접근 방식은 여전히 이미지(비디오의 프레임 포함)를 분석하고, ‘가짜 뉴스’ 탐지 프레임워크는 텍스트 기반 데이터를 강조합니다.

기능 크기

이러한 예측 시스템의 도전은 분석을 위해 필요한 감시의 범위입니다. 이는 이미 존재하는 공개 데이터를 사용하여 유명인사와 공인들을 분석하는 것을 넘어선 것입니다.

현재 연구에서 가장 유사한 분야는 예방 범죄입니다. 이것은 다양한 멀티모달 지능 신호를 ‘의심스럽다’로 레이블링하고, 퍼슨 오브 인터레스트와 마이너리티 리포트와 같은 작품에서 자신을 두려워하는 AI 공포의 상징으로 나타납니다.

퍼슨 오브 인터레스트 스타일의 전면적인 감시 시스템은 최적의 결과를 생산할 것입니다. 그러나 현재 서양 문화는 중국 내 네트워크가 시민들에게 부과하는 개인 정보 침해 수준을 허용할 수 없습니다.

확률 점수

이 시스템의 잠재적인 효과는 깊은 가짜 콘텐츠의 가장 명백한(현재) 사용 사례에 제한될 것입니다. 즉, 국가 불안정화, 유명인과 desconocido의 포르노 깊은 가짜, 사기(오디오/비디오 깊은 가짜 포함), 정치적 인물 암살 등입니다.

확률 기반 시스템은 다양한 사건에 대한 확률을 필요로 할 것입니다. 한쪽 끝에는 일반적인 인간의 결점이 있고, 다른 쪽 끝에는 예를 들어 라이브 TV 채팅 쇼에서 신의 아들임을 밝히는 것과 같은 사건이 있습니다.

개인적인 역사적 요인도 확률 결과에 영향을 미칠 것입니다. 예를 들어, 정치적 인물이 논란의 여지가 있는 문제에 대해 공개적으로 모호한 태도를 취했다면, 더 이상한 상태의 선거인단을 위해 자본을 얻기 위해, 그들은 더 많은 와일드카드 상태를 얻을 것입니다.

유명인 포르노의 경우, 충분한 실제 맥락(예: 2012년 유명인 사진 유출)이 존재하여 특정 상황에서 중간 정도의 거짓말자 배당금을 생성할 수 있습니다. 그러나 이러한 예외적인 사건은 규칙을 증명하는 예외로 작용하며, 대부분의 현재의 확산 기반 유명인 포르노 비디오는 매우 ‘불가능’하다고 간주될 것입니다.

결론

이러한 예측 시스템은 임의의 우연, 천재지변, 또는 모든 감시로부터 멀리 조작된 악의적인 사건을 설명할 수 없습니다.

또한, 비유명인에 대한 커버리지도 제공하기 위해 필요한 데이터의 양과 깊이는 정치적인 걸림돌이 될 것입니다. 적어도 현재는 그렇습니다.

그러나 선택지는 좁아지고 있습니다. 시각 기반 분석은 개선된 생성 AI 앞에서 실패할 것으로 보이고, 검증 및 출처 체계는 기술 부채와 채택에 대한 마찰을 가지고 있습니다. 이것은 콘텐츠 진위성 이니셔티브와 메타피직 프로와 같은 솔루션을 대중화하는 것을 어렵게 만듭니다.

RAG 기반 시스템은 권위 있는 출처가 확인되지 않은 주장을 뒷받침하는지 여부만 결정할 수 있습니다. 많은 큰 뉴스 스토리는 이전의 맥락 없이 등장하므로, 권위 있는 출처의 부족은 반드시 의미 있는 것은 아닙니다.

그들의 가치는 더 큰 데이터 생태계의 일부로 역사적 맥락에 관심을 둔 경우에 더 크게 증명될 것입니다.

이러한 시스템은 임의의 우연, 천재지변, 또는 모든 감시로부터 멀리 조작된 악의적인 사건을 설명할 수 없습니다.

비유명인에 대한 커버리지를 제공하기 위해 필요한 데이터의 양과 깊이는 정치적인 걸림돌이 될 것입니다. 적어도 현재는 그렇습니다.

그러나 선택지는 좁아지고 있습니다. 시각 기반 분석은 개선된 생성 AI 앞에서 실패할 것으로 보이고, 검증 및 출처 체계는 기술 부채와 채택에 대한 마찰을 가지고 있습니다. 이것은 콘텐츠 진위성 이니셔티브와 메타피직 프로와 같은 솔루션을 대중화하는 것을 어렵게 만듭니다.

이러한 시스템은 임의의 우연, 천재지변, 또는 모든 감시로부터 멀리 조작된 악의적인 사건을 설명할 수 없습니다.

비유명인에 대한 커버리지를 제공하기 위해 필요한 데이터의 양과 깊이는 정치적인 걸림돌이 될 것입니다. 적어도 현재는 그렇습니다.

그러나 선택지는 좁아지고 있습니다. 시각 기반 분석은 개선된 생성 AI 앞에서 실패할 것으로 보이고, 검증 및 출처 체계는 기술 부채와 채택에 대한 마찰을 가지고 있습니다. 이것은 콘텐츠 진위성 이니셔티브와 메타피직 프로와 같은 솔루션을 대중화하는 것을 어렵게 만듭니다.