์ฌ์ ๋ฆฌ๋
์ธ๊ฐ-๋ฃจํ(human-in-the-loop)๊ฐ ์ค์ ๋ก ๋ฌด์์ ์๋ฏธํ๋๊ฐ?
20세기 초, 영국 철학자 길버트 라일(Gilbert Ryle)은 “기계 속의 유령(ghost in the machine)”이라는 용어를 만들었다. 라일은 마음의 개념(The Concept of Mind)에서 이 은유를 사용하여 마음과 몸이 별개의 물질로 존재한다는 마음-몸 이원론에 대한 반대를 표명했다. 라일에게 이 구분은 오류였으며, 인지와 물리적 행동은 분리될 수 없는 부분으로서 하나의 시스템의 일부였다.
인공지능의 등장으로 인해 AI 도구를 사용하여 생산성을 높일 때 사용되는 사용자에 대해 유사한 은유가 등장한다. “인간-루프(human-in-the-loop)”라는 용어가 자주 사용된다. 인간과 지능형 시스템이 지금까지 कभ도 없던 수준으로 융합되었다면, 우리는 무결한 융합을 구축하고 있는가, 아니면 통제의 편리한 환상을 창조하고 있는가?
스타트업은 이 개념에 크게 의존하여 자신의 도구에 대해 이야기한다. 혁신과 안심을 약속하지만, 현실은 종종 더 복잡하다. 책임은 쉽게 분산되고, 책임 추적은 더 어려워진다.
인공지능 시스템이 교육에서 전쟁까지 민감한 영역으로 더 깊이 침투함에 따라, 이제 더 이상 추상적인 것이 아니다. 인간-루프(human-in-the-loop)가 실제로 무엇을 의미하는가? 이것은 단순히 그들이 완전히 사라질 때 사용되는 우유부단한 표현일 뿐인가?
1. 책임의 방패로서의 인간-루프
인간-루프라는 용어는 무책임하게 사용될 때 책임을 전가하는 쉬운 방법이 될 수 있다. 많은 사람이 인지하고 있듯이, 프로세스의 끝에 인간의 서명은 기본 시스템이 잘못 설계되었거나 충분히 이해되지 않은 경우 윤리적 완전성을 보장하지 않는다.
Scale X의 창립자이자 CEO인 Maysa Hawwash는 작성한 바와 같이 책임을 전가하는 방식에 대해 직설적으로 말했다. “실제로 이것은 다른 방식의 부담 전가와 크게 다르지 않다.” Hawwash는 Startup Beat에 대해 HR 매니저가 회사에서 책임을 전가하는 방식으로 서명 정책을 사용하는 예를 들었다. “만약 당신이 이러한 정책을 가지고 있고 사람들이 그것을 읽고 서명하면, 회사로서 기술적으로 책임이 없게 됩니다.”
이것은 기업 시스템에서 책임이 제거되는 대신 전가되는 것으로 익숙한 패턴을 보여준다. Hawwash는 이것을 비판적思考이나 이해를 피하는 게으른 방법으로 본다. “따라서 당신은 부담을 전가하고, 사람들이 정책을 이해하는지 여부는 중요하지 않으며, 정책이 의미 있는지 여부는 중요하지 않습니다.”
이 프레임워크에서 “인간-루프”는 의미 있는 개입보다는 절차적 보장으로 변질될 위험이 있다. 이 위험은 단순히 용어의 문제가 아니다. 감독이 서명으로 축소되면 인간의 역할은 상징적인 것이 아닌 실질적인 것이 된다.
Hawwash는 참조한 바와 같이 최근의 군사적 참사 – 이란 민압의 학교에서 – 인간이 공격을 승인했지만, 인간의 결정자가 존재한다고 해서 반드시 윤리적 명확성이나 충분한 검토가 따르지는 않는다는 점을 강조했다. “당신이 전쟁 중이거나 복잡한 수술을 수행할 때, 인간-루프를 책임의 방패로 사용할 여유는 없습니다.”
2. 책임을 위한 설계, 단순한 감독을 위한 것이 아님
대안은 인간-루프 시스템을 포기하는 것이 아니라, 그것을 설계적 책임으로 받아들이는 것이다. 이것은 상징적인 감독을 넘어서 의도적인 책임 구조로 나아가는 것을 의미한다.
“인공지능을 시장에 더 많이 출시하기 위한 경쟁이 있습니다. 그러나 설계 관점에서 다운스트림 영향이나 사용자, 사람, 또는 최종 사용자에 대한 영향에 대해 생각하는 것은 없습니다.”라고 Hawwash는 말했다.
속도는 지배적인 경쟁 변수가 되었다. 이러한 경쟁에서 책임은 종종 미루어지기보다는 외면된다. 결과는 배포 후에 문제를 해결하는 반응적 인 윤리 모델이 된다.
접근성이 채택을 가속화할 수 있지만, 그것은 또한 더 큰 결과를 초래한다. 시스템은 더 이상 기술 사용자에게만 국한되지 않으며, 다양한 수준의 이해와 맥락을 가진 사람들의 결정에 영향을 줄 수 있다. 이러한 환경에서 책임은 최종 사용자에게 외주할 수 없다.
3. 정확성 및 책임성으로서의 인간-루프
Frizzle의 공동 창립자 Abhay Gupta는 더 실제적인 관점을 제공한다. 그의 회사는 특정 문제에서 출발했다. “도시에서 은행가와 컨설턴트가 70시간을 일한다는 이야기를 듣지만, 교사가那样 많은 시간을 일한다는 이야기는 듣지 못합니다. 그래서 호기심으로 수백 명의 교사를 인터뷰했고, 그들은 모두 평가가 가장 큰 시간 낭비였다는 점에 동의했습니다.”
평가는 간단해 보이지만, 필기 수학의 복잡성은 인공지능에 실제적인 제한을 초래한다. “정확성 문제가 있습니다. 인공지능은 완벽하지 않으므로, 우리는 인간-루프 시스템을 구축했습니다. 인공지능이 확신이 서지 않는 경우 – 예를 들어,凌乱한 필기체의 경우 – 그것을 교사에게 검토하고 승인 또는 거부하도록 플래그를 설정합니다.”
여기서 인간의 역할은 단순히 장식적인 것이 아니다. 시스템은 명시적으로 자신의 불확실성을 식별하고 그러한 경우를 인간에게 라우팅한다. “우리의 경우 정확성에 관한 것입니다. 항상 인공지능이 어려움을 겪는 1-3%의 에지 케이스가 있을 것입니다. 따라서 인간이 개입해야 합니다.”
이 접근법은 인간-루프를 품질 관리 메커니즘으로 재정의한다. 그러나 Gupta는 더 나아간다. “본질적으로 인공지능은 100% 정확하지 않습니다. 그것은 환각을 일으키거나 잘못된 출력을 생성할 수 있습니다. 인간-루프는 최종 품질 확인으로 작용하여 결과가 최종 사용자에게 도달하기 전에 책임이 있습니다.”
중요하게도, 인간의 역할은教学의 관계적 측면을 보존한다. “또한 교사의 인간적인 측면을 보존하는 것입니다. 교사들은 서로 다른 스타일을 가지고 있으므로, 우리는 피드백을 어떻게 전달할지 커스터마이징하도록 허용합니다.”
인간-루프의 재정의
“인간-루프”라는 용어는 안심할 수 있는 단순성을 가지고 있다. 그것은 우리의 시스템이 얼마나 발전하더라도, 인간이 항상 통제하고 있으며, 우리는 단순히 “기계 속의 유령”이 아니라는 것을 암시한다. 그러나 스타트업이 높은 위험성의 환경에서 인공지능을 더 많이 배치함에 따라, 이러한 안심감은 검토를 필요로 한다.
더 깊은 문제는 설계에 있다. 시스템의 위험이 잘못 이해되거나 의도적으로 축소된다면, 끝에 인간을 삽입하는 것은 근본적인 결함을 교정하는 데 거의 기여하지 않는다. 결정적으로, 이것은 또한 인간의 역할을 폴백으로서가 아닌 시스템 작동의 필수적인 부분으로 정의하는 것을 의미한다. 인간-루프에서 인간은 단순히 결과를 승인해서는 안 된다. 스타트업은 직원에게 결과를 형성하고, 도전하고, 필요에 따라 권한으로 재정의하도록 권한을 부여해야 한다.
