자동화 자만심: 루프에 인간을 다시 넣는 방법

최근 샌프란시스코에서 로보택시(Robotaxis)라고 불리는 무인 자율 주행 자동차가 등장했다. 캘리포니아 공공 유틸리티위원회에서 7시간 동안의 공청회를 거친 후 이 결정이 내렸는데,尽管 반대가 있었지만, 공기 중에는 필연적인 느낌이 있다. 캘리포니아는 2022년 초부터 점차적으로 규제를 완화해 왔고, 새로운 규칙은 두 개의 허가된 회사인 알파벳의 웨이모(Waymo)와 GM의 크루즈(Cruise)가 이러한 택시를 도시의 7제곱마일 이내의 모든 곳으로 보내고 요금을 부과할 수 있도록 허용한다.

자율 주행 택시의 아이디어는 두 가지 상반된 감정을 불러일으킨다: 흥奮(“택시 비용이 많이 줄어든다!”)과 두려움(“내가 혹은 내 아이가 다칠까봐”). 따라서 규제기관은 종종 자동차가 사고가 발생하기 전에 승객이 개입하고 제어를 관리할 수 있도록 테스트를 요구한다. 그러나 시스템을 실시간으로 무시하고 오버라이드할 준비가 된 인간이 항상 안전을 보장하는 것은 아니다.

실제로, 미국에서 자율 주행 자동차 사고로 사망한 18명의 사례(今年 2월 현재) 중 모든 사례가 인간의 제어를 가지고 있었다. 이것은 2018년 애리조나 주 템피에서 밤에 일어난 유버의 자율 주행 자동차 사고도 포함하는데, 그 사고에서 49세의 여성 엘레인 헤르츠버그가 자전거를 타고 도로를 건너려던 중에 사망했다. 승객석에 앉아 있던 인간 운전자는 아래를 보고 있었고, 자동차는 충돌 1초 전에 운전자를 경고하지 않았다. 운전자는 너무 늦게 핸들을 잡았다. 이 사고로 인해 유버는 자율 주행 자동차의 테스트를 중단했고, 결국 자율 주행 자동차 사업부를 매각했다.

운전자는 자동화 자만심으로 인해 감옥에 갔는데, 이것은 초기 비행 훈련에서 발견된 현상이다. 과신은 AI 시스템에서 빈번한 역학이다. 시스템이 càng 자율적일수록 인간 운전자는 그것을 더 신뢰하고 주의를 기울이지 않는다. 우리는 이러한 기술을 지켜보면서 지루함을 느낀다. 사고가 실제로 발생할 때, 우리는 예상하지 못하고 kịp시간에 반응하지 않는다.

인간은 리스크 전문가인 론 데ンボ가 “리스크 씽킹”이라고 부르는 방식으로 자연스럽게 리스크를 인식하는 능력을 가지고 있다. 이것은 ακό도 가장 복잡한 기계 학습으로도 아직 모방할 수 없는 능력이다. 리스크 씽킹은 자동화 시스템에 필수적이며, 이것은 딜레마를 생성한다. 인간은 제어에 참여하고 싶지만, 자동화 시스템에過度로 의존하는 경우, 실제로 상황을 더 악화시킬 수 있다.

그러면 자동화 시스템의 개발자는 어떻게 이 딜레마를 해결할 수 있을까? 답은 충돌 순간 이전의 단계에서뿐만 아니라 설계와 개발의 초기 단계에서 더욱 철저한 주의를 기울이는 것이다. 모든 AI 시스템은 무제한으로 남겨질 때 리스크를 포함한다. 자율 주행 자동차는 평균적으로 인간이 운전하는 자동차보다 더 안전할 수 있지만, 완전히 리스크가 없는 것은 아니다.

유버 사고는 의도적으로 리스크를 생각하지 않았을 때 발생하는 상황을 보여준다. 이를 위해서는 창의적인 마찰이 필요하다: 시스템이 출시되기 훨씬 전에 여러 인간의 관점을 도입하는 것이다. 즉, AI 시스템의 적용뿐만 아니라 그 의미를 생각하는 것이 필요하다. 이것은 기술에 직접적으로 영향을 받을 커뮤니티의 관점을 필요로 한다.

웨이모와 크루즈는 모두 자신의 차량의 안전 기록을 방어했지만, 이 결정은 샌프란시스코를 살아있는 실험으로 만들었다. 결과가 집계될 때, 올바른 데이터를 수집하고 성공과 실패를 공유하며, 영향을 받는 커뮤니티가 전문가, 정치인, 사업가와 함께 의견을 나눌 수 있도록 하는 것이 매우 중요하다. 즉, 모든 인간을 루프에 넣는 것이다. 그렇지 않으면, 우리는 자동화 자만심 – AI 시스템에 의사 결정을 위임하는 것을 너무 크게 위험에 빠뜨릴 수 있다.

줄리엣 파월과 아트 클라이너는 새로운 책 “AI 딜레마: 책임 있는 기술의 7원칙”의 공동 저자이다.