Google Research, 주관적 AI 분류기에 인간의 숙고를 도입하다

Google Research는 2026년 11월 4일 Agile Deliberation을 선보였다. 이는 주관적인 범주를 중심으로 이미지 분류기를 구축하는 대화형 프레임워크로, 오픈소스 코드와 노트북 데모도 함께 제공된다. 18회 세션으로 진행한 사용자 연구에서 연구진은 수동으로 프롬프트를 개선하는 방식보다 분류기 성능은 높고 작업 부담은 낮았다고 보고했다.

이 프레임워크는 경계가 개인의 판단, 문화적 맥락 또는 운영 정책에 따라 달라지는 범주를 다룬다. 건강식, 영감을 주는 예술 작품, 오해를 불러일으키는 보상을 약속하는 클릭베이트 이미지 등이 여기에 해당한다. 핵심 전제는 사용자가 까다로운 사례를 살펴보면서 스스로 판단 기준을 발견하는 경우가 많다는 것이다. 기존 라벨링 절차에서는 주석 작업을 시작하기 전에 판단 기준이 고정된 것으로 간주하므로, 의도 변화는 일관성 없는 라벨이나 자의적인 모델 판단으로 드러나게 된다.

Agile Deliberation은 계속 발전하는 정의를 사람이 읽을 수 있는 명세이자 비전-언어 모델 분류기를 구동하는 프롬프트로 만든다. 이 설계는 콘텐츠 조정 전문가 5명과의 인터뷰 및 이들의 업무 절차에서 가져온 정의 20개에 대한 정성적 분석을 바탕으로 한다. 분석 결과, 전문가들은 먼저 개념의 범위를 정한 다음 경계 사례 이미지를 통해 이를 다듬는 것으로 나타났다.

개념 숙고의 두 단계

개념 범위 설정 단계에서는 초기 아이디어를 긍정 및 부정 후보 하위 개념으로 나눈다. 예를 들어 건강식 분류기를 만드는 사용자는 샐러드와 곡물 볼을 포함하고, 가공식품이나 날것 그대로 조리하지 않은 재료는 제외할 수 있다. 각 선택을 뒷받침하는 대표 이미지를 활용하며, 의미 있는 시각적 패턴을 설명하지 못하는 하위 개념은 첫 분류기를 만들기 전에 제외할 수 있다.

다음 단계인 개념 반복 개선에서는 모델의 신뢰도가 0.5에 가까워지는 사례를 단순히 고르는 대신, 의미상 경계에 있는 이미지를 찾는다. 연구진은 비전-언어 모델의 신뢰도가 인간이 느끼는 모호성을 제대로 반영하지 못할 수 있다고 주장한다. 모델은 확신하더라도 사람에게는 판단하기 어려운 이미지가 있을 수 있다는 것이다. 검색된 예시는 중복을 제거한 뒤 군집화하며, 이전에 오류를 바로잡았거나 유용한 피드백을 제공한 군집을 우선하는 다중 슬롯머신 규칙을 적용한다.

모호성 탐색 단계에서는 크림소스, 당 함량, 1회 제공량처럼 해석 가능한 한 가지 쟁점을 중심으로 이미지 묶음을 구성하고, 각 이미지가 모호한 이유를 짧게 설명한다. 사용자는 이미지가 범위에 포함되는지 제외되는지 표시하고 자연어로 근거를 덧붙일 수 있다. 시스템은 여러 정의안을 생성해 지금까지 수집한 모든 라벨을 대상으로 검증한 뒤 F1 점수가 가장 높은 후보를 선택하며, 사용자가 직접 수정할 수도 있게 한다.

프로토타입은 개념 분해에 Gemini 2.5 Pro를 사용하고, 분류와 경계 사례 질의 생성, 모호성 탐색에는 Gemini 2.5 Flash를 사용한다. 이 모델들은 추가 학습이나 미세 조정 없이 사용했으며, 인터페이스는 대화형 Colab 노트북에서 실행된다.

실시간 연구에서 확인된 결과

전문적인 콘텐츠 조정 경험이 없는 참가자 9명은 각각 약 90분씩 두 차례의 세션을 완료했다. 한 세션에서는 Agile Deliberation을, 다른 세션에서는 수동 숙고를 사용했으며, 시스템 사용 순서는 무작위로 정했다. 테스트 개념은 건강식과 유료 참여형 클릭베이트 조정이었다. 각 세션에는 정의 작업 약 45분, 홀드아웃 테스트 이미지 200개에 대한 주석 작업, 설문 조사, 15분 인터뷰가 포함됐다. 비교 대상에는 제로샷 분류와 자동 분해 기준선인 Modeling Collaborator도 포함됐다. 수동 방식 참가자는 Modeling Collaborator의 상세 프롬프트를 참고할 수 있었다.

논문에 따르면 유료 참여형 콘텐츠의 경우 Agile Deliberation은 제로샷 기준선보다 F1 점수가 11% 향상됐고, 수동 숙고는 자체 기준선보다 8% 향상됐다. 건강식에서는 Agile Deliberation의 F1 점수가 10% 향상된 반면 수동 숙고는 3% 하락했다. 이러한 향상은 주로 정밀도 개선에서 비롯됐으며, 재현율은 그보다 적은 폭으로 감소했다. 참가자마다 정의가 달라 테스트 라벨 분포가 불균형해졌기 때문에 정확도는 사용하지 않았다.

모든 참가자는 수동 숙고보다 Agile Deliberation을 선호했다. 참가자들이 보고한 작업 부담 평균은 Agile Deliberation 사용 시 3.11, 수동 작업 시 4.67이었다. 불안감, 스트레스 또는 짜증을 느낀 정도의 평균 평점은 각각 1.67과 3.00이었다. 두 차이는 모두 p<.05 수준에서 통계적으로 유의한 것으로 표시됐다. 인터뷰에서는 실질적인 이유도 드러났다. 수동 방식 사용자는 반례를 찾기 위한 검색어를 직접 고안해야 했고, 일부는 한 오류를 고치려고 프롬프트를 수정하면 다른 부분의 동작이 나빠질 수 있다고 우려했다.

연구의 한계와 코드 공개

평가에는 분명한 한계도 있다. 저자들은 참가자가 9명뿐이어서 통계적 검정력과 일반화 가능성이 제한된다고 경고한다. 또한 이미 확립한 정의가 두 번째 세션에 영향을 미치지 않도록 각 참가자는 서로 다른 개념을 대상으로 두 시스템을 사용했다. 따라서 주관적 경험은 참가자별로 비교할 수 있었지만 분류기 성능은 참가자 집단 간에만 비교할 수 있었다. 연구에서는 개별 구성 요소의 효과를 분리해 분석하지 않았으며, 다른 생성형 모델을 사용해 전체 파이프라인을 평가하지도 않았다.

오픈 소스 저장소에는 함께 제공되는 코드베이스와 데이터 세트, 그리고 Jupyter 또는 Google Colab에서 사용할 수 있는 단계별 Demo.ipynb 노트북이 포함되어 있습니다. 데모에서는 LAION400M을 대상으로 최근접 이웃 검색 인덱스를 구축합니다. 기본 설정에서는 파이프라인을 검증하기 위해 총 약 260MB인 샤드 2개를 다운로드하며, 문서에 안내된 샤드 100개 설정의 전체 용량은 약 13GB입니다. 검색, 외부 이미지 다운로드, 모델 호출에는 몇 초에서 몇 분이 걸릴 수 있고, 단일 API 키는 요청 제한을 받을 수 있으며, 여러 단계에서 디스크 캐싱을 지원합니다. 저장소의 면책 조항에 따르면 이 저장소는 Google이 공식적으로 지원하는 제품이 아닙니다.

Agile Deliberation의 실질적인 기여는 주관적 의도를 분류기 개발 과정에서 명시적으로 다루고 수정할 수 있는 요소로 만드는 것입니다. 사용자는 긍정 규칙과 부정 규칙을 살펴보고, 규칙의 허점을 드러낸 경계 사례를 검토하며, 수정 근거를 제시할 수 있습니다. 따라서 조정 및 큐레이션 팀은 범주 정의와 그 정의에 영향을 미치는 인간의 판단을 분류기의 검토 가능한 개발 과정에 포함할 수 있습니다.