규제
AI를 모니터링하고 윤리적 AI 사용을 촉진하는 도구를 만드는 스타트업
지난 XNUMX년 동안 AI가 윤리적인 방식으로 사용되도록 하는 데 점점 더 많은 관심을 기울이고 있는 것 같습니다. 구글과 마이크로소프트는 둘 다 가지고 있다. 최근 투자자들에게 경고 AI 알고리즘의 오용 또는 잘못 설계된 AI 알고리즘은 윤리적 및 법적 위험을 나타냅니다. 한편, 캘리포니아 주는 방금 다음과 같이 결정했습니다. 법안을 통과시키다 캘리포니아 법 집행 기관의 얼굴 인식 기술 사용을 금지합니다.
최근 Arthur와 같은 스타트업에서는 AI 엔지니어가 기계 학습 모델의 성능을 정량화하고 검증하는 데 도움이 되는 도구를 설계하려고 시도하고 있습니다. 와이어드가 보도한 바와 같이, Arthur는 AI 개발자에게 투자 또는 대출 결정에 대한 편견을 드러내는 것과 같은 금융 애플리케이션을 설계할 때 문제를 쉽게 발견할 수 있는 툴킷을 제공하려고 합니다.
Arthur의 노력은 AI의 '블랙박스' 문제. AI의 블랙박스 문제는 읽는 방법을 아는 사람이 쉽게 해석할 수 있는 기존 코드와 달리 기계 학습 시스템이 이러한 행동이 선택된 이유/특징이 어떻게 해석되었는지 밝히지 않고 특징을 행동에 매핑하는 방법을 설명합니다. 즉, 블랙박스 시스템에서 알고리즘의 정확한 구현은 불투명합니다.
기계 학습 시스템은 입력 데이터에서 패턴을 추출하고 이러한 패턴에 대해 추론하여 작동합니다. 이것은 기본적으로 컴퓨터가 특정 수학적 기능을 조작하여 자체 코드를 작성하도록 함으로써 달성됩니다. 이 문제를 해결하기 위해 연구원과 엔지니어는 기계 학습 소프트웨어 동작을 더 쉽게 관찰하고 분석할 수 있는 도구가 필요합니다. Arthur와 같은 신생 기업은 이 문제 해결의 어려움을 인정하고 최적의 솔루션이 있다고 주장하지 않지만 이 분야에서 진전을 이루고 블랙 박스를 조금 더 쉽게 열 수 있기를 바라고 있습니다. AI 시스템을 더 쉽게 분석할 수 있다면 편향과 같은 문제를 수정하는 것도 더 쉬워지기를 희망합니다.
Facebook과 같은 대기업은 이미 기계 학습 시스템의 내부 작동을 분석할 수 있는 몇 가지 도구를 가지고 있습니다. 예를 들어 Facebook에는 사람들에게 직업을 추천하는 광고가 다양한 배경을 가진 사람들을 타겟팅하도록 하기 위한 공정성 흐름이라는 도구가 있습니다. 그러나 대규모 AI 팀은 그러한 도구를 만드는 데 시간을 투자하기를 원하지 않을 가능성이 높으므로 AI 회사에서 사용할 모니터링 도구를 만들고자 하는 회사에게는 비즈니스 기회가 존재합니다.
Arthur는 시스템이 이미 배포된 후 기업이 AI 시스템을 더 잘 유지 관리하고 모니터링할 수 있도록 하는 도구를 만드는 데 주력하고 있습니다. Arthur의 도구는 기업이 시간이 지남에 따라 시스템의 성능이 어떻게 변화하는지 볼 수 있도록 하기 위한 것입니다. 이론적으로 기업은 편향의 잠재적 징후를 포착할 수 있습니다. 회사의 대출 추천 소프트웨어가 특정 고객 그룹을 제외하기 시작하면 시스템이 인종이나 성별과 같은 민감한 속성을 기반으로 고객을 차별하지 않도록 검토가 필요함을 나타내는 플래그를 설정할 수 있습니다.
그러나 Arthur는 AI 회사가 알고리즘의 성능을 검토할 수 있는 도구를 만드는 유일한 회사가 아닙니다. 많은 신생 기업이 편견과 싸우고 AI 알고리즘이 윤리적으로 사용되도록 하는 도구를 만드는 데 투자하고 있습니다. Weights & Biases는 기계 학습 엔지니어가 네트워크의 잠재적인 문제를 분석하는 데 도움이 되는 도구를 만드는 또 다른 스타트업입니다. Toyota는 Weights & Biases에서 만든 도구를 사용하여 훈련할 때 기계 학습 장치를 모니터링했습니다. 한편 스타트업 Fiddler는 다른 AI 모니터링 도구 세트를 만들기 위해 노력하고 있습니다. IBM은 심지어 OpenScale이라는 자체 모니터링 서비스를 만들었습니다.
Arthur의 공동 창작자 중 한 명인 Liz O'Sullivan은 블랙박스 문제를 해결하는 데 도움이 되는 도구를 만드는 데 대한 관심은 AI의 힘에 대한 인식이 높아짐에 따라 발생한다고 설명했습니다.
"사람들은 이러한 시스템이 얼마나 강력한지 깨닫기 시작했으며 책임 있는 방식으로 이점을 활용해야 합니다." 오설리반이 말했다.
