Selv om AutoML har økt i popularitet de siste årene, går de tidlige arbeidene med AutoML tilbake til begynnelsen av 90-årene, da forskerne publiserte de første artiklene om hyperparameter-optimering. Det var i 2014, da ICML organiserte den første AutoML-workshopen, at AutoML fikk oppmerksomheten til ML-utviklere. En av de viktigste fokuspunktene for AutoML gjennom årene har vært hyperparameter-søkeproblemet, der modellen implementerer en rekke optimieringsmetoder for å bestemme de beste hyperparameterne i et stort hyperparameter-rom for en bestemt maskinlæringsmodell. En annen metode som ofte implementeres av AutoML-modeller er å estimere sannsynligheten for at en bestemt hyperparameter er den optimale hyperparameteren for en gitt maskinlæringsmodell. Modellen oppnår dette ved å implementere bayesianske metoder som tradisjonelt bruker historiske data fra tidligere estimerte modeller og andre datasamlinger. I tillegg til hyperparameter-optimering prøver andre metoder å velge de beste modellene fra et rom av modellalternativer.

I denne artikkelen skal vi dekke LightAutoML, et AutoML-system utviklet primært for et europeisk selskap som opererer i finanssektoren, samt dets økosystem. LightAutoML-rammeverket er deployert over flere applikasjoner, og resultater har vist overlegen ytelse, sammenlignbar med nivået til data-vitenskapsmenn, selv når det gjelder å bygge høykvalitets maskinlæringsmodeller. LightAutoML-rammeverket prøver å bidra med følgende. Først og fremst ble LightAutoML-rammeverket utviklet primært for økosystemet til et stort europeisk finansielt og bankinstitusjon. Takket være dets rammeverk og arkitektur er LightAutoML-rammeverket i stand til å overgå state-of-the-art AutoML-rammeverk over flere åpne benchmark og økosystem-applikasjoner. Ytelsen til LightAutoML-rammeverket sammenlignes også med modeller som er justert manuelt av data-vitenskapsmenn, og resultater indikerer sterkere ytelse fra LightAutoML-rammeverket.

Denne artikkelen har som mål å dekke LightAutoML-rammeverket i dybden, og vi utforsker mekanismen, metodikken, arkitekturen til rammeverket samt sammenligningen med state-of-the-art-rammeverk. La oss begynne.

LightAutoML: Et AutoML-Rammeverk for Finansielle Tjenester

Selv om forskerne først begynte å arbeide med AutoML i midten og begynnelsen av 90-årene, har AutoML tiltatt en stor del av oppmerksomheten de siste årene, med noen av de fremtredende industrielle løsningene som implementerer automatisk bygging av maskinlæringsmodeller, som Amazon (AMZN ) sine AutoGluon, DarwinAI, H20.ai, IBM Watson AI, Microsoft (MSFT ) AzureML og mange flere. De fleste av disse rammeverkene implementerer en generell AutoML-løsning som utvikler ML-baserte modeller automatisk over forskjellige klasser av applikasjoner over finansielle tjenester, helse, utdanning og mer. Den viktigste antagelsen bak denne horisontale generiske tilnærmingen er at prosessen med å utvikle automatiske modeller forblir identisk over alle applikasjoner. Imidlertid implementerer LightAutoML-rammeverket en vertikal tilnærming for å utvikle en AutoML-løsning som ikke er generisk, men heller tilpasset behovene til enkelt-applikasjoner, i dette tilfelle et stort finansielt institusjon. LightAutoML-rammeverket er et vertikalt AutoML-rammeverk som fokuserer på kravene til det komplekse økosystemet samt dets egenskaper. Først og fremst tilbyr LightAutoML-rammeverket rask og nest-optimale hyperparameter-søk. Selv om modellen ikke optimaliserer disse hyperparameterne direkte, klarer den å levere tilfredsstillende resultater. Videre holder modellen balansen mellom hastighet og hyperparameter-optimering dynamisk, for å sikre at modellen er optimal på små problemer, og rask nok på større problemer. For det andre begrenser LightAutoML-rammeverket området av maskinlæringsmodeller med vilje til bare to typer: lineære modeller og GBM eller gradient-forbedret beslutningstre, i stedet for å implementere store ensemble av forskjellige algoritmer. Den primære grunnen til å begrense området av maskinlæringsmodeller er å øke eksekveringstiden til LightAutoML-rammeverket uten å påvirke ytelsen negativt for den gitte type problem og data. Tredje, presenterer LightAutoML-rammeverket en unik metode for å velge forbehandlings-skjemaer for forskjellige funksjoner brukt i modellene basert på bestemte valg-regler og meta-statistikk. LightAutoML-rammeverket evalueres på en rekke åpne datakilder over en rekke applikasjoner.

LightAutoML: Metodikk og Arkitektur

LightAutoML-rammeverket består av moduler kjent som Presets som er dedikert for end-to-end modellutvikling for typiske maskinlæringsoppgaver. For tiden støtter LightAutoML-rammeverket Preset-moduler. Først og fremst fokuserer TabularAutoML-Preset på å løse klassiske maskinlæringsproblemer definert på tabellformet data. For det andre implementerer White-Box-Preset enkle tolkbare algoritmer som logistisk regresjon i stedet for WoE eller Weight of Evidence-koding og diskretiserte funksjoner for å løse binære klassifiseringsoppgaver på tabellformet data. Implementering av enkle tolkbare algoritmer er en vanlig praksis for å modellere sannsynligheten for en søknad på grunn av tolkbarhetsbegrensninger påført av forskjellige faktorer. Tredje, er NLP-Preset i stand til å kombinere tabellformet data med NLP eller naturlig språkbehandling-verktøy, inkludert forhånds-trente dype læringsmodeller og spesifikke funksjons-ekstraktorer. Til slutt arbeider CV-Preset med bilde-data med hjelp av noen grunnleggende verktøy. Det er viktig å merke seg at selv om LightAutoML-modellen støtter alle fire Presets, bruker rammeverket bare TabularAutoML i produksjons-nivå-systemet.

Den typiske pipeline til LightAutoML-rammeverket er inkludert i følgende bilde.

Hver pipeline inneholder tre komponenter. Først og fremst, Reader, et objekt som mottar oppgave-type og rådata som inn-data, utfører kritiske metadata-beregninger, renser de innledende dataene og finner ut hvilke data-manipulasjoner som skal utføres før modellene passerer. Neste, inneholder LightAutoML-interne datasamlinger CV-iteratorene og metadata som implementerer valideringsskjemaer for datasamlingene. Den tredje komponenten er de multiple maskinlærings-pipelineene stablet og/eller blandet for å få en enkelt prediksjon. En maskinlærings-pipeline innenfor LightAutoML-arkitekturen er en av flere maskinlærings-modeller som deler en enkelt data-validering og forbehandlingsskjema. Forbehandling-steg kan ha opptil to funksjons-valg-steg, et funksjons-ingeniør-steg eller kan være tom hvis ingen forbehandling er nødvendig. ML-pipelineene kan beregnes uavhengig på samme datasamlinger og deretter blandes sammen ved hjelp av gjennomsnitt (eller vektet gjennomsnitt). Alternativt kan en stacking-ensemble-skjema brukes til å bygge multi-nivå ensemble-arkitekturer.

LightAutoML Tabellformet Preset

Innenfor LightAutoML-rammeverket er TabularAutoML standard-pipeline, og den er implementert i modellen for å løse tre typer oppgaver på tabellformet data: binær klassifisering, regresjon og multi-klassifisering for en rekke ytelses-mål og tap-funksjoner. En tabell med følgende fire kolonner: kategoriske funksjoner, numeriske funksjoner, tidsstempel og en enkelt mål-kolonne med klasse-etiketter eller kontinuerlige verdier, mates inn i TabularAutoML-komponenten som inn-data. En av de primære målene bak designet av LightAutoML-rammeverket var å designe et verktøy for rask hypotesetesting, en viktig grunn til at rammeverket unngår å bruke brutt-kraft-metoder for pipeline-optimering, og fokuserer bare på effisiens-teknikker og modeller som fungerer over en rekke datasamlinger.

Auto-Typing og Data-Forbehandling

For å håndtere forskjellige typer funksjoner på forskjellige måter, må modellen vite hver funksjonstype. I situasjonen der det er en enkelt oppgave med en liten datasamling, kan brukeren manuelt spesifisere hver funksjonstype. Imidlertid er det ikke lenger en gjennomførbart løsning i situasjoner som inkluderer hundrevis av oppgaver med datasamlinger som inneholder tusenvis av funksjoner. For TabularAutoML-Preset må LightAutoML-rammeverket kartlegge funksjoner inn i tre klasser: numerisk, kategori og dato. En enkel og åpenbar løsning er å bruke kolonne-array-data-typer som faktiske funksjonstyper, det vil si å kartlegge float/int-kolonner til numeriske funksjoner, tidsstempel eller strenger som kan tolkes som tidsstempel — til dato, og andre til kategori. Imidlertid er denne kartleggingen ikke den beste på grunn av den hyppige forekomsten av numeriske data-typer i kategorikolonner.

Valideringsskjemaer

Valideringsskjemaer er en vital komponent av AutoML-rammeverk, siden data i industrien er underlagt endringer over tid, og dette elementet av endring gjør IID eller Independent Identically Distributed-antagelser irrelevante når man utvikler modellen. AutoML-modeller bruker valideringsskjemaer for å estimere deres ytelse, søke etter hyperparametere og generere prediksjoner utenfor foldene. TabularAutoML-pipelineen implementerer tre valideringsskjemaer:

• KFold-Kryss-Validering: KFold-Kryss-Validering er standard-valideringsskjema for TabularAutoML-pipeline, inkludert GroupKFold for atferds-modeller og stratifisert KFold for klassifiseringsoppgaver.

• Holdout-Validering: Holdout-valideringsskjemaet implementeres hvis holdout-sammenhengen er spesifisert.
• Tilpassede Valideringsskjemaer: Tilpassede valideringsskjemaer kan opprettes av brukerne avhengig av deres enkelte krav. Tilpassede valideringsskjemaer inkluderer kryss-validering og tids-serie-delings-skjemaer.

Funksjons-Valg

Selv om funksjons-valg er en kritisk aspekt ved å utvikle modeller i henhold til industri-standarder, siden det muliggjør reduksjon i inferens og modell-implementerings-kostnader, fokuserer de fleste AutoML-løsninger ikke mye på dette problemet. På den andre siden implementerer TabularAutoML-pipelineen tre funksjons-valg-strategier: Ingen valg, viktighet-avkorting-valg og viktighet-basert fremover-valg. Av de tre er viktighet-avkorting-valg standard. Videre er det to primære måter å estimere funksjons-viktighet: split-basert tre-viktighet og permutasjons-viktighet av GBM-modell eller gradient-forbedret beslutningstre. Det primære målet med viktighet-avkorting-valg er å avvise funksjoner som ikke er nyttige for modellen, og tillate modellen å redusere antallet funksjoner uten å påvirke ytelsen negativt, en tilnærming som kan øke modell-inferens og trening.

Bildet ovenfor sammenligner forskjellige valg-strategier på binære bank-datasamlinger.

Hyperparameter-Justering

TabularAutoML-pipelineen implementerer forskjellige tilnærminger for å justere hyperparametere basert på hva som justeres.

• Tidlig-Stans-Hyperparameter-Justering: Velger antallet iterasjoner for alle modeller under trening-fasen.
• Ekspert-System-Hyperparameter-Justering: Er en enkel måte å sette hyperparametere for modeller på en tilfredsstillende måte. Den forhindrer den endelige modellen fra en stor nedgang i score sammenlignet med hard-justerte modeller.

• Tree-Strukturert-Parzen-Estimering eller TPE: for GBM eller gradient-forbedret beslutningstre-modeller. TPE er en blandet justerings-strategi som er standard-valg i LightAutoML-pipeline. For hver GMB-rammeverk, trener LightAutoML-rammeverket to modeller: den første får ekspert-hyperparametere, den andre er fin-justert for å passe inn i tids-budsjettet.

• Rutenett-Søk-Hyperparameter-Justering: Implementeres i TabularAutoML-pipeline for å fin-justere regulariserings-parametrene til en lineær modell sammen med tidlig stans og varm-start.

Modellen justerer alle parametrene ved å maksimere målfunksjonen, enten definert av brukeren eller er standard for den løste oppgaven.

LightAutoML: Eksperiment og Ytelse

For å evaluere ytelsen, sammenlignes TabularAutoML-Preset innenfor LightAutoML-rammeverket mot eksisterende åpne kilde-løsninger over forskjellige oppgaver, og fastslår den overlegne ytelsen til LightAutoML-rammeverket. Først og fremst utføres sammenligningen på OpenML-benchmark som er evaluert på 35 binære og multi-klassifiseringsoppgave-datasamlinger. Følgende tabell summerer sammenligningen av LightAutoML-rammeverket mot eksisterende AutoML-systemer.

Som det kan ses, overgår LightAutoML-rammeverket alle andre AutoML-systemer på 20 datasamlinger innenfor benchmarket. Følgende tabell inneholder en detaljert sammenligning i datasamling-kontekst, som indikerer at LightAutoML leverer forskjellig ytelse på forskjellige klasser av oppgaver. For binære klassifiseringsoppgaver faller LightAutoML kort i ytelse, mens for oppgaver med en stor mengde data, leverer LightAutoML-rammeverket overlegen ytelse.

Følgende tabell sammenligner ytelsen til LightAutoML-rammeverket mot AutoML-systemer på 15 bank-datasamlinger som inneholder en rekke binære klassifiseringsoppgaver. Som det kan observeres, overgår LightAutoML alle AutoML-løsninger på 12 av 15 datasamlinger, en seier-prosent på 80.

Slutt-tanker

I denne artikkelen har vi talt om LightAutoML, et AutoML-system utviklet primært for et europeisk selskap som opererer i finanssektoren, samt dets økosystem. LightAutoML-rammeverket er deployert over flere applikasjoner, og resultater har vist overlegen ytelse, sammenlignbar med nivået til data-vitenskapsmenn, selv når det gjelder å bygge høykvalitets maskinlæringsmodeller. LightAutoML-rammeverket prøver å bidra med følgende. Først og fremst ble LightAutoML-rammeverket utviklet primært for økosystemet til et stort europeisk finansielt og bankinstitusjon. Takket være dets rammeverk og arkitektur er LightAutoML-rammeverket i stand til å overgå state-of-the-art AutoML-rammeverk over flere åpne benchmark og økosystem-applikasjoner. Ytelsen til LightAutoML-rammeverket sammenlignes også med modeller som er justert manuelt av data-vitenskapsmenn, og resultater indikerer sterkere ytelse fra LightAutoML-rammeverket.