연구자들, AI의 나쁜 행동을 방지하기 위한 알고리즘 개발

인공지능은 지금까지 많은 발전과 장점을 보여주었지만, 인종과 성별 편향과 같은 바람직하지 않은 부작용도 보고되었다. 따라서 sciencealert.com은 “과학자들이 고급 思考 시스템이 공정하고 안전한지 어떻게 보장할 수 있는가?”라는 질문을 던진다.

答案은 스탠퍼드와 매사추세츠 아默스트 대학교의 연구자들이 발표한 보고서에 있을 수 있다. 이 보고서의 제목은 지능형 기계의 바람직하지 않은 행동을 방지하기 위한 새로운 기술이다. eurekaalert.org은 이 보고서에 대해 다음과 같이 언급한다. “인공지능은 이제 민감한 작업을 처리하기 시작했고, 정책 입안자들은 컴퓨터 과학자들이 자동화된 시스템이 원치 않는 결과를 최소화하거나 완전히 피할 수 있도록 설계되었다는 보장을 요구하고 있다.”

이 연구 팀이 발표한 보고서는 “模糊한 목표, 즉 성별 편향을 피하는 것을 정확한 수학적 기준으로 번역하는 새로운 기술을 제시한다. 이를 통해 기계 학습 알고리즘이 인공지능 애플리케이션을 해당 행동을 피하도록 훈련할 수 있다.”

목적은, 스탠퍼드의 컴퓨터 과학 부교수이자 이 논문의 선임 저자인 에마 브런스킬이 지적한 바와 같이, “인공지능이 인간 사용자의 가치를 존중하고 자율 시스템에 대한 신뢰를 정당화하는 방식으로 발전시키는 것이다.”

아이디어는 “안전하지 않다” 또는 “공정하지 않다”는 결과 또는 행동을 수학적 용어로 정의하는 것이었다. 이를 통해 연구자들은 “알고리즘이 이러한 원치 않는 결과를 피하는 방법을 데이터에서 학습할 수 있도록 할 수 있다.”

두 번째 목표는 “사용자가 원치 않는 행동을 제한하고 기계 학습 디자이너가 과거 데이터를 사용하여 훈련된 시스템이 실제 상황에서 신뢰할 수 있는지 예측할 수 있도록 하는 기술 세트를 개발하는 것이다.”

ScienceAlert는 이 새로운 시스템을 ‘셀도니안’ 알고리즘이라고 명명했으며, 이는 아이작 아시모프의 유명한 SF 소설 Foundation 시리즈의 중심 인물인 셀도니안에서 유래했다. 매사추세츠 아머스트 대학교의 컴퓨터 과학 부교수이자 이 논문의 제1저자인 필립 토마스는, “당뇨병 치료를 위한 셀도니안 알고리즘을 사용하면, 원치 않는 행동이란 저혈당이나 저혈당증을 의미한다”고 말했다.

“나는 기계에게 ‘인슐린 펌프의 컨트롤러를 개선하는 동안 저혈당의 빈도를 증가시키는 변경을 하지 마라’고 말할 수 있다. 대부분의 알고리즘은 이러한 종류의 제약을 부과하는 방법을 제공하지 않는다. 초기 디자인에는 포함되지 않았다.”

토마스는 또한 “이 셀도니안 프레임워크는 기계 학습 디자이너가 모든 종류의 알고리즘에 행동 회피 지침을 구축하는 것을 더 쉽게 만들 것이다. 이를 통해 훈련된 시스템이 실제 상황에서 올바르게 작동할 가능성을 평가할 수 있다.”

에마 브런스킬은 또한 “안전성과 공정성과 같은 가치를 존중하는 알고리즘을 생성하는 방법에 대해 생각하는 것이 인공지능에 점점 더 의존하는 사회에서 필수적”이라고 말했다.