AI는 새로운 알고리즘으로 특정 원치 않는 행동을 피할 수 있다

인공 지능 알고리즘과 시스템이 더 복잡해지고 더 큰 책임을 지게 되면서, AI 시스템이 위험하거나 원치 않는 행동을 피하는 것이 점점 더 중요해지고 있다. 최근 매사추세츠 대학교 암허스트와 스탠퍼드의 연구자 팀은 특정 AI 행동을 피하는 방법을 보여주는 논문을 발표했다. 이 기술은 정교한 수학적 지침을 생성하여 AI의 행동을 조정하는 데 사용된다.

TechXplore에 따르면, 이 연구는 부정적/불안전한 행동이 수학적 함수와 변수로 정의될 수 있다는 가정에 기반한다. 이러한 행동을 정의할 수 있다면, 연구자들은 이러한 행동을 피하는 시스템을 훈련할 수 있을 것이다. 연구 팀은 사용자가 AI에서 피하고 싶은 행동을 지정할 수 있는 툴킷을 개발하고자 했다. 또한, AI 엔지니어들은 이러한 행동을 피하는 시스템을 신뢰성 있게 훈련할 수 있도록 했다.

필립 토마스, 논문의 첫 번째 저자이자 미시간 대학교 암허스트의 컴퓨터 과학 조교수는, 연구 팀이 기계 학습 알고리즘의 설계자가 원치 않는 행동을 설명하고, 이러한 행동을 피하는 시스템을 개발하는 것을 목표로 했다고 설명했다.

연구 팀은 성별 편향과 같은 데이터 과학의 일반적인 문제에 이 기술을 적용했다. 연구 팀은 학생들의 GPA를 예측하는 알고리즘을 더 공정하게 만들기 위해 성별 편향을 줄이려고 했다. 연구 팀은 실험용 데이터셋을 사용하여 AI 시스템에 성별에 따라 GPA를 과소평가 또는 과대평가하는 모델을 생성하지 않도록 지시했다. 결과적으로, 알고리즘은 학생들의 GPA를 더 잘 예측하고, 이전 모델보다 성별 편향이 훨씬 적은 모델을 생성했다. 이전의 GPA 예측 모델은 편향 감소 모델이 너무 제한적이거나 전혀 사용되지 않았기 때문에 편향이 있었다.

연구 팀은 또 다른 알고리즘을 개발했다. 이 알고리즘은 자동 인슐린 펌프에 구현되었으며, 성능과 안전성을 균형 있게 유지하도록 설계되었다. 자동 인슐린 펌프는 환자의 인슐린 용량을 결정해야 한다. 식사 후, 펌프는 환자의 혈당 수치를 조절하기 위해 적절한 인슐린 용량을 제공해야 한다. 인슐린 용량은 너무 크거나 너무 작지 않아야 한다.

기계 학습 알고리즘은 이미 개인의 인슐린 용량에 대한 반응을 식별하는 데 능숙하다. 그러나 이러한 기존 분석 방법은 의사들이 피하고 싶은 결과, 즉 저혈당 충돌과 같은 것을 지정할 수 없다. 반면, 연구 팀은 인슐린 용량을 조절하여 두 극단 사이에서 유지하는 방법을 개발할 수 있었다. 이러한 시스템은 아직 실제 환자에게 테스트할 준비가 되지 않았지만, 이러한 접근 방식을 기반으로 하는 더 복잡한 AI는 당뇨병 환자의 삶의 질을 개선할 수 있을 것이다.

연구 논문에서, 연구자들은 이 알고리즘을 “Seledonian” 알고리즘이라고 부른다. 이는 아이작 아시모프의 로봇공학의 3대 법칙을 참조한다. 즉, “AI 시스템은 인간에게 해를 가하지 않으며, 부작용으로 인해 인간에게 해를 가하지 않는다.” 연구 팀은 이 프레임워크를 사용하여 AI 연구자와 엔지니어가 위험한 행동을 피하는 다양한 알고리즘과 시스템을 개발할 수 있기를 희망한다. 스탠퍼드 대학교의 컴퓨터 과학 조교수인 에마 브런스킬은 TechXplore에 다음과 같이 설명했다.

“우리는 인간 사용자의 가치를 존중하고, 자율 시스템에 대한 우리의 신뢰를 정당화하는 AI를 발전시키고 싶다.”