사상 리더

휴먼 인 더 루프는 실제로 무엇을 의미할까?

Arjun Harindranath
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트인간-참여-루프는 종종 윤리적 시스템 설계를 보장하지 않으면서 사용자에게 책임을 전가한다.
더 보기
  • 인간-참여-루프는 종종 윤리적 시스템 설계를 보장하지 않으면서 사용자에게 책임을 전가한다.
  • Frizzle은 AI가 지저분한 필체를 처리할 수 없을 때 채점 정확성을 위해 인간의 감독을 활용한다.
  • 의미 있는 인간 역할은 직원이 단순히 승인하는 것이 아니라 AI에 이의를 제기하고 무효화할 수 있는 권한을 부여하는 것을 요구한다.

20세기 초 영국 철학자 길버트 라일은 «기계 속의 유령»이라는 말을 만들었다. 라일은 『마음의 개념』에서 이 비유를 통해 마음과 몸이 별개의 실체로 존재한다는 심신 이원론에 반박했다. 라일에게 이런 구분은 오류였다. 인지와 신체적 행동은 분리할 수 없고, 서로 작용하는 두 부분이 아니라 하나의 체계를 이루기 때문이다.

AI의 등장과 함께 생산성을 높이려고 AI 도구를 쓰는 사람에 관해 이야기할 때 비슷한 비유가 나타난다. 바로 자주 쓰이는 «휴먼 인 더 루프», 즉 인간이 과정에 참여한다는 표현이다. 인간과 지능형 시스템이 그 어느 때보다 밀접하게 결합하고 있다면, 우리는 매끄러운 융합을 만드는 것일까, 아니면 통제하고 있다는 편리한 환상을 만드는 것일까?

스타트업은 도구를 설명할 때 이 개념에 크게 의존한다. 혁신과 안심을 함께 약속하지만 현실은 더 복잡한 경우가 많다. 책임이 쉽게 분산되고, 누구에게 책임을 물어야 하는지 추적하기 어려워진다.

AI 시스템이 교육부터 전쟁까지 민감한 영역에 깊숙이 들어오면서, 이제 그 중요성은 추상적인 차원에 머물지 않는다. 휴먼 인 더 루프는 실제로 무엇을 의미하며, 결국 인간이 완전히 사라지는 상황을 에둘러 표현한 말에 불과한 것은 아닐까?

1. 책임을 피하는 방패로서의 휴먼 인 더 루프

부주의하게 쓰면 휴먼 인 더 루프라는 말은 책임을 진지하게 다루지 않은 채 떠넘기는 손쉬운 방법이 될 수 있다. 많은 사람이 지적하듯, 과정 끝에 인간의 서명이 있다고 해서 윤리적 건전성이 보장되는 것은 아니다. 기반 시스템의 설계가 나쁘거나 충분히 이해되지 않았다면 더욱 그렇다.

Scale X의 창업자 겸 CEO인 Maysa Hawwash는 책임에서 멀어지는 흐름에 관해 글을 썼으며 , 이 개념이 흔히 쓰이는 방식에 대해 직설적으로 말한다. «사실 다른 방식으로 부담을 전가하는 것과 크게 다르지 않습니다.» Hawwash는 Startup Beat에 이렇게 말하며, 인사 담당자가 서명 승인 정책을 이용해 회사의 법적 책임을 피하려는 사례를 들었다. «정책이 있고 사람들이 읽고 서명해 승인했다면, 회사는 형식적으로 책임이 없다는 것이죠?»

여기서 드러나는 것은 기업 체계 전반에서 익숙한 양상이다. 책임이 없어지는 것이 아니라 다른 곳으로 옮겨진다. Hawwash는 이를 비판적으로 생각하거나 사람과 공동체에 영향이 미칠 수 있는 부분을 이해하지 않으려는 게으른 탈출구로 본다. «부담을 떠넘기고 나면 사람들이 정책을 이해하는지, 그 정책이 타당한지는 중요하지 않아집니다.»

이런 관점에서는 휴먼 인 더 루프가 의미 있는 개입보다 절차적 방패에 가까워질 위험이 있다. 문제는 단순히 말의 뜻에 있지 않다. 감독이 서명 승인으로 축소되면 인간의 역할은 실질적인 것이 아니라 상징적인 것이 된다.

Hawwash는 최근의 군사적 참사인 이란 미나브 학교 공격을 언급했다 . 인간이 공격을 승인했지만, 인간 의사결정자가 있다는 사실이 윤리적 명확성이나 충분한 숙고를 반드시 뜻하지는 않았다. «전쟁 중이거나 복잡한 수술을 할 때는 휴먼 인 더 루프를 방패로 삼을 시간적 여유가 없습니다.»

2. 단순한 감독을 넘어 책임을 위한 설계

대안은 휴먼 인 더 루프 시스템을 버리는 것이 아니라, 설계의 약속으로서 진지하게 받아들이는 것이다. 상징적인 감독에서 벗어나 의도적으로 구성한 책임 구조로 나아가야 한다.

«더 많은 AI를 곧바로 시장에 내놓으려는 큰 경쟁이 벌어지고 있습니다. 설계 관점에서 공동체나 사람, 최종 사용자에게 이후 어떤 영향이 미칠지 등을 충분히 생각하지 않습니다»라고 Hawwash는 말했다.

속도가 지배적인 경쟁 변수가 되었다. 그 경쟁에서 책임은 설계에 포함되기보다 뒤로 미뤄지는 경우가 많다. 그 결과 개발 중에 문제를 예상하기보다 배포 후에 고치는 사후 대응형 윤리 모델이 나타난다.

접근성이 높아지면 도입이 빨라질 수 있지만 결과도 증폭된다. 시스템은 이제 기술에 익숙한 사용자에게만 한정되지 않으며, 이해 수준과 맥락이 서로 다른 사람들의 결정에도 영향을 줄 수 있다. 이런 환경에서는 책임을 최종 사용자에게 떠넘길 수 없다.

3. 정확성과 책임성을 위한 휴먼 인 더 루프

Frizzle의 공동 창업자 Abhay Gupta는 더 실무적인 관점을 제시한다. 인간의 감독이 실행 가능하면서도 꼭 필요한 시스템을 구축해야 한다는 관점이다.

그의 회사는 과로한 교사라는 구체적인 문제에서 출발했다. «도시에서는 은행원과 컨설턴트가 주당 70시간 일한다는 이야기를 듣지만, 교사가 그만큼 일한다는 이야기는 듣지 못합니다. 그래서 호기심에 교사 수백 명을 인터뷰했고, 전반적으로 채점이 가장 많은 시간을 소모하는 일이었습니다.»

채점 자동화는 간단해 보일 수 있지만 손으로 쓴 수학의 복잡성은 AI에 현실적인 한계를 준다. «정확성 문제가 있습니다. AI는 완벽하지 않아서 휴먼 인 더 루프 시스템을 만들었습니다. 예를 들어 흐트러진 손글씨 때문에 AI가 확신하지 못하면 교사가 검토하고 승인하거나 거절하도록 해당 사례에 표시를 합니다.»

여기서 인간은 단순한 장식이 아니다. 시스템은 스스로의 불확실성을 명시적으로 식별하고 해당 사례를 사람에게 전달한다. «우리에게는 정확성의 문제입니다. AI가 어려움을 겪는 예외적 사례는 늘 있을 것이고, 아마 1~3% 정도일 것입니다. 그래서 사람이 개입해야 합니다.»

이 접근은 휴먼 인 더 루프를 품질관리 장치로 다시 규정한다. 하지만 Gupta는 더 나아간다. «본질적으로 AI는 100% 정확하지 않습니다. 환각을 일으키거나 틀린 출력을 만들 수 있습니다. 휴먼 인 더 루프는 결과가 최종 사용자에게 도달하기 전의 마지막 품질 점검입니다. 책임에 관한 문제이기도 합니다. 누군가는 출력에 책임을 져야 하며, 지금은 여전히 인간이어야 합니다.»

인간의 역할은 수치화하기 어려운 것도 지킨다. 교육에서 관계가 차지하는 측면이다. «교육의 인간적인 면을 지키는 일이기도 합니다. 교사마다 스타일이 다르므로 피드백 전달 방식을 조정할 수 있도록 합니다.»

휴먼 인 더 루프를 다시 정의하기

«인간이 과정에 참여한다»는 표현에는 안심을 주는 단순함이 있다. 시스템이 아무리 발전해도 인간이 통제하고 있으며, 우리가 그저 «기계 속의 유령»이 되지는 않는다는 인상을 준다. 하지만 스타트업이 결과의 중요성이 큰 환경에 AI를 점점 더 많이 배포하면서, 이런 안도감은 검토의 대상이 되어야 한다.

더 근본적인 문제는 설계다. 시스템 위험을 충분히 이해하지 못하거나 의도적으로 축소해 보여 준다면, 마지막에 인간을 추가해도 근본적 결함은 거의 해결되지 않는다. 인간의 역할을 예비 대응책이 아니라 시스템 작동의 필수 부분으로 정의하는 것도 중요하다. 과정에 참여하는 인간은 단순히 결과를 승인하는 데 그쳐서는 안 된다. 스타트업은 직원들이 결과를 형성하고, 이의를 제기하고, 필요할 때 실제 권한을 행사해 뒤집을 수 있게 해야 한다.

Arjun Harindranath은 콜롬비아 메데린에 기반을 둔 프리랜스 저널리스트로서 글로벌 관객을 대상으로 분쟁, 이주 및 기술에 관한 이야기를 다룬다. 이전에는 Al Jazeera, TechCrunch, The Next Web, 그리고 뉴욕 타임즈에 기사를 실었다.