La Lotta per Fermare l’Intelligenza Artificiale dal Barare negli Esami

Le nuove scoperte di ricerca di un’università cinese offrono un’idea di perché i modelli di elaborazione del linguaggio naturale generativi come GPT-3 tendono a ‘barare’ quando vengono posti una domanda difficile, producendo risposte che possono essere tecnicamente corrette, ma senza una vera comprensione di perché la risposta è corretta; e perché dimostrano poca o nessuna capacità di spiegare la logica dietro le loro risposte ‘facili’. I ricercatori propongono anche nuovi metodi per fare in modo che i sistemi ‘studino più duramente’ durante la fase di addestramento.

Il problema è duplice: in primo luogo, progettiamo sistemi che cercano di ottenere risultati rapidamente e con un uso ottimale delle risorse. Anche quando, come nel caso di GPT-3, le risorse possono essere considerevolmente maggiori di quelle che un progetto di ricerca NLP medio può mettere a disposizione, questa cultura di ottimizzazione dei risultati continua a pervadere la metodologia, perché è diventata la convenzione accademica.

Di conseguenza, le nostre architetture di addestramento premiano i modelli che convergono rapidamente e producono risposte apparentemente adeguate alle domande, anche se il modello NLP non è in grado di giustificare la sua risposta o di dimostrare come sia arrivato alle sue conclusioni.

Una Tendenza Iniziale a Barare

Ciò accade perché il modello apprende ‘risposte scorciatoie’ molto prima di apprendere tipi di acquisizione di conoscenza più complessi. Poiché una maggiore accuratezza è spesso premiata in modo indiscriminato durante l’addestramento, il modello poi priorizza qualsiasi approccio che gli permetta di rispondere a una domanda ‘facilmente’, e senza una vera comprensione.

Poiché l’apprendimento delle scorciatoie rappresenterà inevitabilmente i primi successi durante l’addestramento, la sessione tenderà naturalmente a distogliere l’attenzione dal compito più difficile di acquisire una prospettiva epistemologica utile e più completa, che può contenere strati più profondi e più significativi di attribuzione e logica.

Alimentare l’Intelligenza Artificiale con le ‘Risposte Facili’

Il secondo problema è che, anche se recenti iniziative di ricerca hanno studiato la tendenza dell’IA a ‘barare’ in questo modo, e hanno identificato il fenomeno delle ‘scorciatoie’, non c’è stato fino ad ora alcun tentativo di classificare il materiale che consente le ‘scorciatoie’ in un set di dati, che sarebbe il logico primo passo per affrontare ciò che potrebbe rivelarsi un difetto architettonico fondamentale nei sistemi di comprensione della lettura automatica (MRC).

Il nuovo documento, una collaborazione tra l’Istituto di Tecnologia Informatica Wangxuan e il Laboratorio Chiave MOE di Linguistica Computazionale dell’Università di Pechino, testa vari modelli di linguaggio contro un nuovo set di dati annotati che include classificazioni per ‘facili’ e ‘difficili’ soluzioni a una possibile domanda.

Fonte: https://arxiv.org/pdf/2106.01024.pdf

Il set di dati utilizza la parafrasi come criterio per le risposte più complesse e profonde, poiché una comprensione semantica è necessaria per riformulare la conoscenza acquisita. Al contrario, le risposte ‘scorciatoie’ possono utilizzare token come date e altre parole chiave, per produrre una risposta che è fattualmente accurata, ma senza contesto o ragionamento.

La componente ‘scorciatoie’ delle annotazioni presenta la corrispondenza delle parole delle domande (QWM) e la corrispondenza semplice (SpM). Per QWM, il modello utilizza entità estratte dai dati testuali forniti e elimina il contesto; per SpM, il modello identifica l’overlap tra le frasi di risposta e le domande, entrambe fornite nei dati di addestramento.

Dati di Scorciatoie Quasi ‘Viral’ nell’Influenza in un Set di Dati

I ricercatori sostengono che i set di dati tendono a contenere una grande proporzione di domande ‘scorciatoie’, che fanno sì che i modelli addestrati si affidino a trucchi ‘scorciatoie’.

I due modelli utilizzati negli esperimenti sono stati BiDAF e Google’s BERT-base. I ricercatori osservano che, anche quando addestrati su variazioni del set di dati con una proporzione più alta di domande ‘difficili’, entrambi i modelli si eseguono meglio sulle domande ‘scorciatoie’ che sulle domande parafrase più difficili, nonostante il piccolo numero di esempi nel set di dati.

Ciò presenta i ‘dati di scorciatoie’ quasi nel contesto di un virus – che c’è bisogno di molto poco di esso presente in un set di dati affinché venga adottato e prioritizzato nell’addestramento, secondo gli standard e le pratiche convenzionali di NLP.

Dimostrare la Truffa

Un metodo che la ricerca utilizza per dimostrare la fragilità di una risposta ‘scorciatoie’ è sostituire una parola ‘facile’ con una parola anomala. Quando una risposta ‘scorciatoie’ è stata utilizzata, la logica della risposta ‘truffata’ non può essere fornita; ma quando la risposta è stata fornita da un contesto più ampio e da una valutazione semantica di un’ampia gamma di testi, è possibile per il sistema decostruire l’errore e ricostruire una risposta corretta.

Sostituendo ‘Beyoncé’ (una persona) con ‘America’ (un luogo), rivela se il modello ha una logica di base per la sua risposta.

Scorciatoie a Causa di un Imperativo Economico

Riguardo ad alcune delle ragioni architettoniche per cui le ‘scorciatoie’ sono così priorizzate nei flussi di lavoro di addestramento NLP, gli autori commentano ‘I modelli MRC possono apprendere i trucchi delle scorciatoie, come QWM, con meno risorse computazionali delle sfide di comprensione, come l’identificazione delle parafrasi’.

Ciò, quindi, potrebbe essere un risultato non intenzionale delle filosofie di ottimizzazione e di conservazione delle risorse standard negli approcci alla comprensione della lettura automatica, e della pressione per ottenere risultati con risorse limitate in tempi stretti.

I ricercatori notano anche:

‘[Poiché] il trucco delle scorciatoie può essere utilizzato per rispondere alla maggior parte delle domande di addestramento in modo corretto, le domande non risolte rimaste potrebbero non motivare i modelli a esplorare soluzioni sofisticate che richiedono abilità impegnative.’

Se i risultati del documento sono successivamente confermati, sembrerebbe che il vasto e in continua crescita campo della pre-elaborazione dei dati potrebbe dover considerare le ‘scorciatoie nascoste’ nei dati come un problema da affrontare a lungo termine, o altrimenti rivedere le architetture NLP per dare priorità a routine di ingestione dei dati più impegnative.