Preparazione dei dati umani per il Machine Learning è risorsa-intensiva: questi due approcci sono critici per ridurre i costi

Di: Dattaraj Rao, Chief Data Scientist, Persistent Systems

Come per qualsiasi sistema che dipenda da input di dati, il Machine Learning (ML) è soggetto all’assioma di “spazzatura all’interno, spazzatura all’esterno”. I dati puliti e accuratamente etichettati sono la base per la costruzione di qualsiasi modello ML. Un algoritmo di training ML comprende i modelli dai dati di verità e da lì, impara a generalizzare sui dati non visti. Se la qualità dei tuoi dati di training è bassa, allora sarà molto difficile per l’algoritmo ML continuare a imparare ed estrapolare.

Pensaci in termini di addestramento di un cane. Se non addestri correttamente il cane con i comandi comportamentali fondamentali (input) o lo fai in modo errato/inaccurato, non puoi aspettarti che il cane impari e si espanda attraverso l’osservazione in comportamenti positivi più complessi perché gli input di base erano assenti o difettosi, fin dall’inizio. Un addestramento adeguato richiede tempo e può essere costoso se si coinvolge un esperto, ma il risultato è grande se lo si fa correttamente fin dall’inizio.

Quando si addestra un modello ML, la creazione di dati di qualità richiede che un esperto di dominio spenda tempo per annotare i dati. Ciò può includere la selezione di una finestra con l’oggetto desiderato in un’immagine o l’assegnazione di un’etichetta a un ingresso di testo o a un record di database. In particolare, per i dati non strutturati come immagini, video e testo, la qualità dell’annotazione gioca un ruolo importante nel determinare la qualità del modello. Di solito, i dati non etichettati come immagini grezze e testo sono abbondanti, ma l’etichettatura è dove lo sforzo deve essere ottimizzato. Questa è la parte “uomo nel ciclo” del ciclo di vita del ML e di solito è la parte più costosa e laboriosa di qualsiasi progetto ML.

Gli strumenti di annotazione dei dati come Prodigy, Amazon Sagemaker Ground Truth, NVIDIA RAPIDS e DataRobot human-in-the-loop stanno costantemente migliorando in qualità e fornendo interfacce intuitive per gli esperti di dominio. Tuttavia, minimizzare il tempo necessario agli esperti di dominio per annotare i dati è ancora una sfida significativa per le imprese di oggi, soprattutto in un ambiente in cui il talento della scienza dei dati è limitato ma in alta domanda. È qui che entrano in gioco due nuovi approcci alla preparazione dei dati.

Apprendimento attivo

L’apprendimento attivo è un metodo in cui un modello ML attivamente richiede a un esperto di dominio annotazioni specifiche. Qui, l’attenzione non è rivolta a ottenere un’annotazione completa sui dati non etichettati, ma solo a ottenere i punti di dati annotati in modo che il modello possa imparare meglio. Ad esempio, nel settore sanitario e delle scienze della vita, un’azienda di diagnostica che si specializza nella rilevazione precoce del cancro per aiutare i clinici a prendere decisioni informate basate sui dati sui pazienti. Come parte del loro processo di diagnosi, devono annotare le immagini di scansione CT con tumori che devono essere evidenziati.

Dopo che il modello ML ha imparato da alcune immagini con blocchi di tumori segnalati, con l’apprendimento attivo, il modello chiederà agli utenti di annotare solo le immagini in cui non è sicuro della presenza di un tumore. Questi saranno punti di confine, che, una volta annotati, aumenteranno la fiducia del modello. Dove il modello è sicuro al di sopra di una soglia specifica, eseguirà un’auto-annotazione invece di chiedere all’utente di annotare. È così che l’apprendimento attivo cerca di aiutare a costruire modelli precisi riducendo il tempo e lo sforzo necessari per annotare i dati. Framework come modAL possono aiutare a migliorare le prestazioni di classificazione richiedendo in modo intelligente agli esperti di dominio di etichettare le istanze più informative.

Supervisione debole

La supervisione debole è un approccio in cui i dati rumorosi e imprecisi o concetti astratti possono essere utilizzati per fornire indicazioni per l’etichettatura di grandi quantità di dati non supervisionati. Questo approccio di solito utilizza etichettatori deboli e cerca di combinarli in un approccio ensemble per costruire dati annotati di qualità. Lo sforzo è quello di cercare di incorporare la conoscenza del dominio in un’attività di etichettatura automatizzata.

Ad esempio, se un Fornitore di Servizi Internet (ISP) avesse bisogno di un sistema per contrassegnare i set di dati di posta elettronica come spam o non spam, potremmo scrivere regole deboli come il controllo di frasi come “offerta”, “congratulazioni”, “gratuito”, ecc., che sono per lo più associate a e-mail spam. Altre regole potrebbero essere e-mail da modelli specifici di indirizzi di origine che possono essere cercati utilizzando espressioni regolari. Queste funzioni deboli potrebbero quindi essere combinate da un framework di supervisione debole come Snorkel e Skweak per costruire dati di training di qualità migliore.

Il ML nella sua essenza è aiutare le aziende a scalare i processi in modo esponenziale in modi che non sono fisicamente possibili da raggiungere manualmente. Tuttavia, il ML non è magia e si basa ancora sugli esseri umani per a) impostare e addestrare i modelli correttamente fin dall’inizio e b) intervenire quando necessario per assicurarsi che il modello non diventi così distorto da produrre risultati non più utili e potenzialmente controproducenti o negativi.

L’obiettivo è trovare modi per aiutare a razionalizzare e automatizzare parti del coinvolgimento umano per aumentare il tempo di mercato e i risultati, rimanendo tuttavia entro i limiti dell’accuratezza ottimale. È universalmente accettato che ottenere dati annotati di qualità è la parte più costosa ma estremamente importante di un progetto ML. Questo è uno spazio in evoluzione e molti sforzi sono in corso per ridurre il tempo trascorso dagli esperti di dominio e migliorare la qualità delle annotazioni dei dati. Esplorare e sfruttare l’apprendimento attivo e la supervisione debole è una strategia solida per raggiungere questo obiettivo in diversi settori e casi d’uso.