AI 및 윤리적 AI 사용 모니터링 도구를 개발하는 스타트업

과거 1년 동안 AI를 윤리적으로 사용하는 것에 대한 관심이 점점 더 많아지고 있는 것으로 보인다. Google와 Microsoft (MSFT ) 는 최근에 투자자들에게 AI 알고리즘의 오남용이나 설계가 잘못된 AI 알고리즘은 윤리적 및 법적 위험을 초래할 수 있다고 경고했다. 한편, 캘리포니아주는 최근에 법 집행 기관에서 얼굴 인식 기술의 사용을 금지하는 법안을 통과시켰다.

최근에 Arthur와 같은 스타트업들은 AI 엔지니어가 기계 학습 모델의 성능을 정량화하고 평가할 수 있는 도구를 설계하려고 시도하고 있다. Wired에 따르면, Arthur는 금융 애플리케이션을 설계할 때 문제를 발견하기 쉽게 해주는 툴킷을 AI 개발자에게 제공하려고 한다. 예를 들어, 투자 또는 대출 결정에서 편향을 드러내는 것이다.

Arthur의 노력은 AI의 “블랙 박스” 문제를 해결하기 위한 것이다. AI의 블랙 박스 문제는 전통적인 코드와 달리 기계 학습 시스템이 특징을 행동으로 매핑하지만 이러한 행동이 선택된 이유나 특징이 해석된 이유를 드러내지 않는다는 것을 설명한다. 즉, 블랙 박스 시스템에서 알고리즘의 구현은 불투명하다.

기계 학습 시스템은 입력 데이터에서 패턴을 추출하고 이러한 패턴에 대해 추론함으로써 작동한다. 이는 컴퓨터가 특정 수학적 함수를 조작하여 자신의 코드를 작성하는 것과 같다. 이 문제를 해결하기 위해 연구자와 엔지니어들은 기계 학습 소프트웨어의 동작을 관찰하고 분석하기 쉽게 하는 도구가 필요하다. Arthur와 같은 스타트업들은 이 문제를 해결하는 것이 어렵다는 것을 인정하지만, 최적의 해결책을 주장하지는 않는다. 그러나 이 분야에서 진행을 이루고 블랙 박스를 조금 더 열기 쉽게 만들려고 한다. AI 시스템을 더 쉽게 분석할 수 있다면, 편향과 같은 문제를 수정하기도 더 쉬워질 것이다.

대기업인 Facebook은 이미 기계 학습 시스템의 내부 작동을 분석하는 도구를 가지고 있다. 예를 들어, Facebook에는 Fairness Flow라는 도구가 있는데, 이것은 사람들이 다양한 배경을 가진 사람들에게 일자리를 추천하는 광고를 목표로 한다. 그러나 대규모 AI 팀이 이러한 도구를 만들기 위해 시간을 투자하지 않을 가능성이 있으므로, AI 회사에서 사용할 수 있는 모니터링 도구를 개발하는 사업 기회가 있다.

Arthur는 이미 배포된 AI 시스템을 유지하고 모니터링할 수 있는 도구를 개발하는 데 중점을 두고 있다. Arthur의 도구는 회사들이 시스템의 성능이 시간의 경과에 따라 어떻게 변화하는지 볼 수 있게 해주는데, 이것은 편향과 같은 잠재적인 문제를 발견하는 데 도움이 될 수 있다. 예를 들어, 대출 추천 소프트웨어가 특정 고객 그룹을 제외하는 경우, 시스템이 민감한 속성에 따라 고객을 차별하지 않는지 확인하기 위해 검토가 필요한지 여부를 나타내는 플래그가 설정될 수 있다.

그러나 Arthur는 AI 알고리즘의 성능을 검토할 수 있는 도구를 개발하는 유일한 회사ではない 것이다. 많은 스타트업들이 편향을 싸우고 AI 알고리즘을 윤리적으로 사용하는 것을 보장하는 도구를 개발하기 위해 투자하고 있다. Weights & Biases는 기계 학습 엔지니어가 네트워크의 잠재적인 문제를 분석하는 데 도움이 되는 도구를 개발하는 또 다른 스타트업이다. Toyota는 이미 Weights & Biases가 개발한 도구를 사용하여 기계 학습 장치를 훈련하는 동안 모니터링하고 있다. 한편, Fiddler라는 스타트업은 다른 세트의 AI 모니터링 도구를 개발하기 위해 노력하고 있다. IBM은甚至 자체 모니터링 서비스인 OpenScale을 개발했다.

Liz O’Sullivan, Arthur의 공동 창립자 중 한 명은, 블랙 박스 문제를 해결하기 위한 도구를 개발하려는 관심이 AI의力量에 대한 점점 더 많은 인식에 의해 주도되고 있다고 설명했다.

“사람들은 이러한 시스템이 얼마나 강력할 수 있는지 깨닫기 시작하고, 책임감 있게 이익을 얻는 방식으로 이점을 활용해야 한다는 것을 인식하기 시작했다”고 O’Sullivan은 말했다.