Le startup che creano strumenti per monitorare l’IA e promuovere l’uso etico dell’IA

Nel corso dell’ultimo anno, sembra che sempre più attenzione sia stata rivolta a garantire che l’IA venga utilizzata in modo etico. Google (GOOGL ) e Microsoft (MSFT ) hanno recentemente avvertito gli investitori che l’uso improprio degli algoritmi di IA o gli algoritmi di IA progettati male presentano rischi etici e legali. Nel frattempo, lo stato della California ha appena deciso di approvare un disegno di legge che vieta l’uso della tecnologia di riconoscimento facciale da parte delle agenzie di applicazione della legge della California.

Recentemente, startup come Arthur hanno cercato di progettare strumenti che aiutino gli ingegneri di IA a quantificare e qualificare le prestazioni dei loro modelli di apprendimento automatico. Come riportato da Wired, Arthur sta cercando di fornire agli sviluppatori di IA uno strumento che renda più facile scoprire problemi quando si progettano applicazioni finanziarie, come rivelare pregiudizi nelle decisioni di investimento o di prestito.

Gli sforzi di Arthur sono rivolti a risolvere il problema della “scatola nera” dell’IA. Il problema della scatola nera dell’IA descrive come, a differenza del codice tradizionale, che può essere facilmente interpretato da chi sa leggerlo, i sistemi di apprendimento automatico mappano le caratteristiche sul comportamento senza rivelare le ragioni per cui questi comportamenti vengono selezionati / come vengono interpretate le caratteristiche. In altre parole, in un sistema a scatola nera l’esatta implementazione dell’algoritmo è opaca.

I sistemi di apprendimento automatico funzionano estraendo modelli dai dati di input e ragionando su questi modelli. Ciò viene fatto essenzialmente facendo scrivere al computer il proprio codice manipolando determinate funzioni matematiche. Per risolvere questo problema, ricercatori e ingegneri hanno bisogno di strumenti che rendano più facile l’osservazione e l’analisi del comportamento del software di apprendimento automatico. Le startup come Arthur riconoscono la difficoltà di risolvere questo problema e non affermano di avere le soluzioni ottimali, ma sperano di fare progressi in questo settore e di rendere più facile aprire la scatola nera. Si spera che se i sistemi di IA possono essere analizzati più facilmente, sarà più facile correggere problemi come i pregiudizi.

Le grandi aziende come Facebook (META ) già hanno alcuni strumenti per analizzare il funzionamento interno dei sistemi di apprendimento automatico. Ad esempio, Facebook ha uno strumento chiamato Fairness Flow, progettato per garantire che gli annunci che raccomandano lavori alle persone si rivolgano a persone di tutti i background diversi. Tuttavia, è probabile che i grandi team di IA non vogliano investire tempo nella creazione di tali strumenti e, quindi, esiste un’opportunità commerciale per le aziende che desiderano creare strumenti di monitoraggio per l’uso delle aziende di IA.

Arthur si concentra sulla creazione di strumenti che consentono alle aziende di mantenere e monitorare meglio i sistemi di IA dopo che il sistema è già stato distribuito. Gli strumenti di Arthur sono progettati per consentire alle aziende di vedere come le prestazioni del loro sistema cambiano nel tempo, il che potrebbe teoricamente consentire alle aziende di rilevare potenziali manifestazioni di pregiudizi. Se il software di raccomandazione di prestiti di un’azienda inizia a escludere determinati gruppi di clienti, potrebbe essere impostato un flag che indica che il sistema necessita di una revisione per garantire che non stia discriminando i clienti in base a attributi sensibili come la razza o il genere.

Tuttavia, Arthur non è l’unica azienda a creare strumenti che consentono alle aziende di IA di esaminare le prestazioni dei loro algoritmi. Molte startup stanno investendo nella creazione di strumenti per combattere i pregiudizi e garantire che gli algoritmi di IA vengano utilizzati in modo etico. Weights & Biases è un’altra startup che crea strumenti per aiutare gli ingegneri di apprendimento automatico ad analizzare potenziali problemi con la loro rete. Toyota ha utilizzato gli strumenti creati da Weights & Biases per monitorare i dispositivi di apprendimento automatico mentre si addestrano. Nel frattempo, la startup Fiddler sta lavorando alla creazione di un insieme diverso di strumenti di monitoraggio di IA. IBM ha addirittura creato il proprio servizio di monitoraggio chiamato OpenScale.

Liz O’Sullivan, una delle co-creatrici di Arthur, ha spiegato che l’interesse a creare strumenti per aiutare a risolvere il problema della scatola nera è guidato da una crescente consapevolezza del potere dell’IA.

“Le persone stanno iniziando a rendersi conto di quanto potenti possano essere questi sistemi e di come debbano sfruttare i benefici in modo responsabile”, ha detto O’Sullivan.