자동화에 대한 안일함: 인간의 참여를 되살리는 방법

최근 샌프란시스코에서 로보택시(Robotaxis)라고 불리는 무인 자율 주행 자동차가 등장했다. 캘리포니아 공공 유틸리티위원회에서 논쟁적인 7시간 공청회를 거친 후 이 결정이 내렸는데,반대가 있었지만, 공기 중에는 필연적인 느낌이 있다. 캘리포니아는 2022년 초부터 점차적으로 규제를 완화해 왔고, 새로운 규칙은 두 개의 허가된 회사인 알파벳의 웨이모(Waymo)와 GM의 크루즈(Cruise)가 이러한 택시를 고속도로를 제외한 도시 전역으로 보내고 요금을 부과할 수 있도록 허용한다. (GOOG )

자율 주행 택시의 아이디어는 두 가지 상반된 감정을 불러일으킨다: 기대감(“택시 비용이 많이 줄어든다!”)과 두려움(“내가 혹은 내 아이가 다칠까봐”). 따라서 규제기관은 종종 자동차가 사고가 발생하기 전에 승객이 개입하고 제어를 관리할 수 있도록 테스트를 요구한다. 그러나 시스템을 실시간으로 무시하고 오버라이드할 준비가 된 인간이 항상 안전을 보장하는 것은 아니다.

실제로, 미국에서 자율 주행 자동차 사고로 사망한 18명의 사례(올해 2월 현재) 중 모든 사례에 차량 내부 또는 원격의 인간 제어가 있었다. 여기에는 널리 알려진 사고인 2018년 애리조나주 템피의 넓은 교외 도로에서 밤늦게 발생한 우버 자율주행차 사고도 포함되는데, 그 사고에서 49세의 여성 엘레인 헤르츠버그가 자전거를 끌고 걸어서 도로를 건너던 중에 사망했다. 운전석의 안전 운전자는 아래를 보고 있었고, 그녀는 충돌 약 1초 전에 도로를 다시 바라봤고 너무 늦게 조향을 시작했다. 이 사고로 인해 유버는 자율 주행 자동차의 테스트를 중단했고, 결국 자율 주행 자동차 사업부를 매각했다.

운전자는 위험 초래 혐의를 인정하고 수감 대신 3년간 감독부 보호관찰을 선고받았다. 이 사고는 초기 조종사 훈련 때부터 알려진 자동화에 대한 안일함을 보여준다. 과신은 AI 시스템에서 빈번한 역학이다. 시스템이 더 자율적일수록 인간 운전자는 그것을 더 신뢰하고 주의를 기울이지 않는다. 우리는 이러한 기술을 지켜보면서 지루함을 느낀다. 사고가 실제로 발생할 때, 우리는 예상하지 못하고 제때 반응하지 않는다.

인간은 리스크 전문가인 론 뎀보가 “리스크 씽킹”이라고 부르는 방식으로 자연스럽게 리스크를 인식하는 능력을 가지고 있다. 이것은 가장 복잡한 기계 학습으로도 아직 모방할 수 없는 능력이다. 이는 답이 분명하지 않을 때 속도를 늦추거나 멈춰야 한다는 것을 알아차리는 능력이다. 리스크 씽킹은 자동화 시스템에 필수적이며, 이것은 딜레마를 생성한다. 인간은 제어에 참여하고 싶지만, 자동화 시스템에 지나치게 의존하는 경우, 실제로 상황을 더 악화시킬 수 있다.

그러면 자동화 시스템의 개발자는 어떻게 이 딜레마를 해결할 수 있을까? 답은 충돌 순간 이전의 단계에서뿐만 아니라 설계와 개발의 초기 단계에서 더욱 철저한 주의를 기울이는 것이다. 모든 AI 시스템은 감독 없이 방치될 때 리스크를 포함한다. 자율 주행 자동차는 평균적으로 인간이 운전하는 자동차보다 더 안전할 수 있지만, 완전히 리스크가 없는 것은 아니다.

유버 사고는 의도적으로 리스크를 생각하지 않았을 때 발생하는 상황을 보여준다. 이를 위해서는 창의적인 마찰이 필요하다: 시스템이 출시되기 훨씬 전에 여러 인간의 관점을 도입하는 것이다. 즉, AI 시스템의 적용뿐만 아니라 그 의미를 생각하는 것이 필요하다. 이것은 기술에 직접적으로 영향을 받을 커뮤니티의 관점을 필요로 한다.

웨이모와 크루즈는 모두 통계적 확률을 근거로 차량의 안전 기록을 옹호했지만, 이 결정은 샌프란시스코를 살아있는 실험으로 만들었다. 결과가 집계될 때, 올바른 데이터를 수집하고 성공과 실패를 공유하며, 영향을 받는 커뮤니티가 전문가, 정치인, 사업가와 함께 의견을 나눌 수 있도록 하는 것이 매우 중요하다. 즉, 모든 인간을 루프에 넣는 것이다. 그렇지 않으면, 우리는 AI 시스템에 의사 결정을 맡기려는 자동화에 대한 안일함에 매우 큰 규모로 빠질 위험이 있다.

줄리엣 파월과 아트 클라이너는 신간 AI 딜레마: 책임 있는 기술의 7원칙의 공동 저자다.