Истражувачите на Google открија проблем со недоволна спецификација со задржување на многу модели со вештачка интелигенција

Неодамна, тим на истражувачи од Google идентификуваше честа причина за неуспесите на моделите со вештачка интелигенција, посочувајќи ја недоволната спецификација како една од основните причини што моделите за машинско учење често работат сосема поинаку во реалниот свет отколку за време на тестирањето и развојот.

Моделите за машинско учење честопати не успеваат кога се справуваат со задачи во реалниот свет, дури и ако моделите работат оптимално во лабораторија. Постојат многу причини поради кои се јавува несовпаѓање помеѓу обуката/развојот и перформансите во реалниот свет. Една од најчестите причини што моделите со вештачка интелигенција не успеваат за време на задачите во реалниот свет е концептот познат како промена на податоци. Поместувањето на податоците се однесува на фундаментална разлика помеѓу типот на податоци што се користат за развој на модел за машинско учење и податоците внесени во моделот за време на апликацијата. Како пример, моделите за компјутерска визија обучени за висококвалитетни податоци за слики ќе имаат потешкотии да функционираат кога се внесуваат податоци снимени од камери со низок квалитет што се наоѓаат во секојдневното опкружување на моделот.

Според MIT Technology Review, тим од 40 различни истражувачи во Google идентификуваа уште една причина поради која перформансите на моделот за машинско учење може да се разликуваат толку драстично. Проблемот е „подспецификацијата“, статистички концепт кој ги опишува прашањата каде што набљудуваните феномени имаат многу можни причини, од кои не сите се образложени со моделот. Според водачот на студијата Алекс Д'Амур, проблемот е сведок во многу модели на машинско учење, велејќи дека феноменот „се случува насекаде“.

Типичниот метод за обука на модел за машинско учење вклучува напојување на моделот со голема количина на податоци од кои тој може да анализира и извлече релевантни обрасци. Потоа, моделот добива примери што не ги видел и бара да ја предвиди природата на тие примери врз основа на карактеристиките што ги научил. Откако моделот ќе постигне одредено ниво на точност, обуката обично се смета за завршена.

Според истражувачкиот тим на Google, треба да се направи повеќе за да се осигури дека моделите можат вистински да се генерализираат на податоци кои не се обучуваат. Класичниот метод за обука на моделите за машинско учење ќе произведе различни модели кои може сите да ги поминат своите тестови, но сепак овие модели ќе се разликуваат на мали начини кои изгледаат безначајни, но не се. Различните јазли во моделите ќе имаат различни случајни вредности доделени на нив, или податоците за обуката може да се изберат или да се претстават на различни начини. Овие варијации се мали и често произволни, и ако немаат огромно влијание врз тоа како моделите работат за време на тренингот, лесно е да се занемарат. Меѓутоа, кога ќе се акумулира влијанието на сите овие мали промени, тие може да доведат до големи варијации во перформансите во реалниот свет.

Оваа недоволна спецификација е проблематична затоа што значи дека, дури и ако процесот на обука е способен да произведе добри модели, може да произведе и лош модел и разликата нема да се открие додека моделот не излезе од производство и не влезе во употреба.

Со цел да се процени влијанието на недоволната спецификација, истражувачкиот тим испита голем број различни модели. Секој модел беше обучен користејќи го истиот процес на обука, а потоа моделите беа подложени на серија тестови со цел да се истакнат разликите во перформансите. Во еден пример, 50 различни верзии на систем за препознавање слики беа обучени на базата на податоци ImageNet. Сите модели беа исти освен за вредностите на невронската мрежа што беа случајно доделени за време на почетокот на обуката. Стрес-тестовите што се користат за да се утврдат разликите во моделите беа спроведени со помош на ImageNet-C, варијација на оригиналната база на податоци што се состои од слики изменети преку прилагодување на контрастот или осветленоста. Моделите беа тестирани и на ObjectNet, серија слики што прикажуваат секојдневни предмети во необични ориентации и контексти. Иако сите 50 модели имаа приближно исти перформанси на базата на податоци за обука, перформансите многу флуктуираа кога моделите беа спроведени низ стрес-тестовите.

Истражувачкиот тим откри дека слични резултати се случиле кога тренирале и тестирале два различни НЛП системи, како и кога тестирале разни други модели на компјутерска визија. Во секој случај, моделите многу се оддалечуваа еден од друг, иако процесот на обука за сите модели беше ист.

Според D'Amour, истражувачите и инженерите за машинско учење треба да направат многу повеќе стрес-тестирање пред да ги пуштат моделите во дивината. Ова може да биде тешко да се направи, имајќи предвид дека стрес-тестовите треба да се приспособат на конкретни задачи користејќи податоци од реалниот свет, податоци до кои тешко се доаѓа за одредени задачи и контексти. Едно потенцијално решение за проблемот со недоволно специфицирање е да се произведат многу модели истовремено и потоа да се тестираат моделите на серија задачи од реалниот свет, избирајќи го моделот што постојано ги покажува најдобрите резултати. Развојот на модели на овој начин бара многу време и ресурси, но компромисот би можел да вреди, особено за моделите со вештачка интелигенција што се користат во медицински контекст или други области каде безбедноста е главната грижа. Како што објасни Д'Амур преку МИТ Технолошки преглед:

„Треба да станеме подобри во прецизирањето што точно се нашите барања за нашите модели. Затоа што често она што на крајот се случува е тоа што ги откриваме овие барања дури откако моделот ќе пропадне во светот“.