倫理
AIインシデントデータベースは、AIアルゴリズムをより安全にしたい
Unite.AI を Google の優先ソースに追加
十分に大きなシステムにはエラーが発生し、それらのエラーを修正するには、影響や潜在的な原因を分析するためのデータベースが必要です。FDAが副作用のデータベースを維持したり、国家運輸安全委員会が航空事故のデータベースを維持したりするのと同様に、AIインシデントデータベースは、AIシステムの故障をカタログ化し、AI研究者がこれらの故障を避けるための新しい方法を開発するのを支援することを目的としたデータベースです。AIインシデントデータベース（AIID）の作成者は、AIIDがAI企業に、より安全で、より倫理的なAIを開発するのを支援することを希望しています。
AIIDとは何か
AIIDは、Partnership on AI（PAI）組織の製品です。PAIは、2016年に、Facebook (META ) 、Apple (AAPL ) 、Amazon (AMZN ) 、Google (GOOGL ) 、IBM、Microsoftなどの大手テクノロジー企業のAI研究チームのメンバーによって設立されました。以来、組織は、多くの非営利団体を含む多くの組織からメンバーを募集しています。2018年、PAIは、AIの故障のための統一された分類標準を作成することを目指しました。ただし、AIインシデントのコレクションが存在しなかったため、PAIはAIIDを作成しました。
TechTalksによると、AIIDの形式は、国家運輸安全委員会が維持する航空事故データベースの構造に基づいています。1996年から報告が収集されて以来、商業航空システムはインシデントをアーカイブ化し、分析することで、航空業界の安全性を向上させることができました。同様のAIインシデントのリポジトリが、AIシステムをより安全で、より倫理的で、より信頼性の高いものにすることができるという希望があります。AIIDは、Common Vulnerabilities and Exposuresデータベースからもインスピレーションを得ており、これは、さまざまな業界や分野の著名なソフトウェアの故障のリポジトリです。
Sean McGregorは、IBMのWatson AI XPRIZEのリードテクニカルコンサルタントです。McGregorは、AIIDの実際のデータベースの開発も担当しています。McGregorによると、AIIDの最終的な目標は、AIシステムが危害を引き起こさないようにすること、または少なくとも悪影響の严重性を減らすことです。McGregorは、機械学習システムは従来のソフトウェアシステムよりもずっと複雑で、予測不可能であるため、他のソフトウェアと同じようにテストすることはできないと指摘しています。機械学習システムは、予測不可能な方法で動作を変更する可能性があります。McGregorは、ディープラーニングシステムの学習能力により、「故障はより頻繁に発生し、より複雑で、より危険になる可能性がある」と述べています。
1,000を超えるAI関連インシデントがログに記録されている
AIIDが初めて作成されて以来、1,000を超えるAI関連インシデントがデータベースにログに記録されています。データベース内のすべてのインシデントの中で、AIの公平性に関する問題が最も一般的なタイプの悪影響でした。多くのこれらの公平性のインシデントは、政府機関による顔認識アルゴリズムの使用を伴います。McGregorは、ロボティクスに関するインシデントの数も増えており、これらのインシデントがデータベースに追加されていると述べています。
データベースの訪問者は、キーワード、インシデントID、ソース、または著者に基づいて、データベースを検索できます。たとえば、「Deepfake」を検索すると7件の報告が返され、「ロボット」を検索すると158件の報告が返されます。
AIの故障や予期せぬ動作のインシデントの集中データベースは、研究者、エンジニア、倫理学者がAIシステムの開発と展開を監督するのを支援できます。テクノロジー企業の製品マネージャーは、AIIDを使用して、AIの推奨システムを採用する前に潜在的な問題がないかどうかを確認できます。同様に、AIエンジニアは、AIアプリケーションを作成する際に修正する必要のある潜在的な偏見についてのアイデアを得ることができます。同様に、リスクオフィサーは、AIモデルに関連する潜在的な悪影響をデータベースを使用して判断し、予測して対策を講じることができます。
AIIDのアーキテクチャは、柔軟性を備えて設計されており、これにより、データベースを照会し、有意義な洞察を抽出するための新しいツールを作成できます。Partnership on AIとMcGregorは、AIインシデントのすべての形式を分類するための柔軟な分類体系を作成するために協力しています。チームは、柔軟な分類体系が作成されると、自動システムと組み合わせて、AIインシデントを自動的にログに記録できるようになることを希望しています。
「AIコミュニティは、製品、制御手順、研究プログラムの変更を促すために、インシデントレコードを相互に共有し始めています」とMcGregorはTechTalksを通じて説明しています。「サイトは11月に公開されましたので、システムの利点を実現し始めています」
