Startup che creano strumenti per monitorare l’AI e promuovere l’uso etico dell’AI

Nel corso dell’ultimo anno, sembra che si stia prestando sempre più attenzione per assicurarsi che l’AI venga utilizzata in modi etici. Google e Microsoft hanno entrambi recentemente avvertito gli investitori che l’uso improprio degli algoritmi di AI o gli algoritmi di AI mal progettati presentano rischi etici e legali. Nel frattempo, lo stato della California ha appena deciso di approvare un disegno di legge che vieta l’uso della tecnologia di riconoscimento facciale da parte delle agenzie di applicazione della legge della California.

Recentemente, startup come Arthur hanno cercato di progettare strumenti che aiuteranno gli ingegneri di AI a quantificare e qualificare come si comportano i loro modelli di apprendimento automatico. Come riportato da Wired, Arthur sta cercando di dare agli sviluppatori di AI uno strumento che renderà più facile per loro scoprire problemi quando progettano applicazioni finanziarie, come svelare pregiudizi nelle decisioni di investimento o di concessione di prestiti.

Gli sforzi di Arthur sono rivolti a risolvere il problema della “scatola nera” dell’AI. Il problema della scatola nera nell’AI descrive come, a differenza del codice tradizionale, che può essere facilmente interpretato da coloro che sanno leggerlo, i sistemi di apprendimento automatico mappano le caratteristiche sul comportamento senza svelare le ragioni per cui questi comportamenti vengono selezionati / come le caratteristiche vengono interpretate. In altre parole, in un sistema di scatola nera l’esatta implementazione dell’algoritmo è opaca.

I sistemi di apprendimento automatico funzionano estraendo modelli dai dati di input e ragionando su questi modelli. Ciò viene realizzato essenzialmente facendo scrivere a un computer il proprio codice manipolando determinate funzioni matematiche. Per risolvere questo problema, ricercatori e ingegneri hanno bisogno di strumenti che rendano più facile l’osservazione e l’analisi del comportamento del software di apprendimento automatico. Le startup come Arthur riconoscono la difficoltà di risolvere questo problema e non affermano di avere le soluzioni ottimali, ma sperano di fare progressi in questo settore e di rendere più facile aprire la scatola nera. Si spera che se i sistemi di AI possono essere analizzati più facilmente, sarà più facile correggere problemi come i pregiudizi.

Grandi aziende come Facebook già hanno alcuni strumenti per analizzare il funzionamento interno dei sistemi di apprendimento automatico. Ad esempio, Facebook ha uno strumento chiamato Fairness Flow che è destinato a garantire che gli annunci che raccomandano lavori alle persone siano rivolti a persone di tutti i background diversi. Tuttavia, è probabile che grandi team di AI non vogliano investire tempo nella creazione di tali strumenti e, quindi, esiste un’opportunità di business per le aziende che desiderano creare strumenti di monitoraggio per l’uso delle aziende di AI.

Arthur si concentra sulla creazione di strumenti che consentono alle aziende di mantenere e monitorare meglio i sistemi di AI dopo che il sistema è già stato distribuito. Gli strumenti di Arthur sono destinati a consentire alle aziende di vedere come si sposta le prestazioni del loro sistema nel tempo, il che potrebbe teoricamente consentire alle aziende di rilevare potenziali manifestazioni di pregiudizio. Se il software di raccomandazione di prestiti di un’azienda inizia a escludere determinati gruppi di clienti, potrebbe essere impostata una bandiera che indica che il sistema necessita di una revisione per assicurarsi che non stia discriminando i clienti in base a attributi sensibili come la razza o il genere.

Tuttavia, Arthur non è l’unica azienda a creare strumenti che consentono alle aziende di AI di esaminare le prestazioni dei loro algoritmi. Molte startup stanno investendo nella creazione di strumenti per combattere i pregiudizi e garantire che gli algoritmi di AI vengano utilizzati in modo etico. Weights & Biases è un’altra startup che crea strumenti per aiutare gli ingegneri di apprendimento automatico ad analizzare potenziali problemi con la loro rete. Toyota ha utilizzato gli strumenti creati da Weights & Biases per monitorare i dispositivi di apprendimento automatico mentre vengono addestrati. Nel frattempo, la startup Fiddler sta lavorando alla creazione di un diverso set di strumenti di monitoraggio di AI. IBM ha anche creato il proprio servizio di monitoraggio chiamato OpenScale.

Liz O’Sullivan, una delle co-creatrici di Arthur, ha spiegato che l’interesse per la creazione di strumenti per aiutare a risolvere il problema della scatola nera è guidato da una crescente consapevolezza del potere dell’AI.

“Le persone iniziano a rendersi conto di quanto potenti possano essere questi sistemi e che devono approfittare dei benefici in modo responsabile”, ha detto O’Sullivan.