Potenciar els models de visió gran (LVM) en tasques específiques de domini mitjançant l'aprenentatge de transferència

La visió per computador és un camp de intel·ligència artificial que pretén que les màquines entenguin i interpretin informació visual, com ara imatges o vídeos. La visió per ordinador té moltes aplicacions en diversos dominis, com ara la imatge mèdica, la seguretat, la conducció autònoma i l'entreteniment. Tanmateix, desenvolupar sistemes de visió per ordinador que funcionin bé en diferents tasques i dominis és un repte, ja que requereix moltes dades etiquetades i recursos computacionals.

Una manera d'afrontar aquest repte és utilitzar transferència d’aprenentatge, una tècnica que reutilitza els coneixements apresos d'una tasca o domini a un altre. L'aprenentatge de transferència pot reduir la necessitat de dades i càlcul i millorar la generalització i el rendiment dels models de visió per ordinador. Aquest article se centra en un tipus específic de model de visió per ordinador, anomenats grans models de visió (LVM) i com es poden aprofitar per a tasques específiques del domini mitjançant l'aprenentatge de transferència.

Què són els models de visió gran (LVM)?

Els LVM són models avançats d'IA que processen i interpreten dades visuals, normalment imatges o vídeos. Se'ls anomena "gran” perquè tenen molts paràmetres, sovint de l'ordre de milions o fins i tot milers de milions, que els permeten aprendre patrons i característiques complexes en dades visuals. Els LVM es creen normalment amb avançats arquitectures de xarxes neuronals, Com ara Xarxes neuronals convolucionals (CNN) o transformadors, que poden gestionar de manera eficient les dades de píxels i detectar patrons jeràrquics.

Els LVM s'entrenen en una gran quantitat de dades visuals, com ara imatges o vídeos d'Internet, juntament amb etiquetes o anotacions rellevants. El model aprèn ajustant els seus paràmetres per minimitzar la diferència entre les seves prediccions i les etiquetes reals. Aquest procés requereix una potència computacional important i un conjunt de dades gran i divers per garantir que el model es pugui generalitzar bé a dades noves i no vistes.

Hi ha diversos exemples destacats de LVM CLIP d'OpenAI, que destaca en tasques com tir zero classificació i recuperació d'imatges mitjançant la comprensió d'imatges mitjançant descripcions en llenguatge natural. Igualment, Transformador de visió de Google adopta una arquitectura semblant a un transformador per a la classificació d'imatges, aconseguint resultats d'última generació en diversos punts de referència. LandingLens, desenvolupat per LandingAI, destaca per la seva plataforma fàcil d'utilitzar, que permet projectes personalitzats de visió per ordinador sense experiència en codificació. Utilitza LVM específics del domini, demostrant un rendiment robust en tasques com la detecció de defectes i la localització d'objectes, fins i tot amb dades etiquetades limitades.

Per què transferir l'aprenentatge per a LVM?

Els LVM han demostrat capacitats notables per entendre i generar dades visuals, però també tenen limitacions. Una de les principals limitacions és que sovint s'entrenen en conjunts de dades de propòsit general, com ara IMAGEnet or COCO, que poden diferir de la tasca o el domini específics en què l'usuari està interessat. Per exemple, un LVM format en imatges d'Internet pot no ser capaç de reconèixer objectes rars o nous, com ara instruments mèdics o peces industrials, que siguin rellevants per a una determinada domini.

A més, és possible que els LVM no puguin adaptar-se a les variacions o matisos de diferents dominis, com ara altres condicions d'il·luminació, angles de càmera o fons, que poden afectar la qualitat i la precisió de les prediccions del model.

Per superar aquestes limitacions, transferir l'aprenentatge pot utilitzar el coneixement après per un LVM en un conjunt de dades de propòsit general a una tasca o domini específic. L'aprenentatge de transferència és ajustar o adaptar un LVM a les necessitats de l'usuari, utilitzant una quantitat menor de dades etiquetades de la tasca o domini objectiu.

L'ús de l'aprenentatge per transferència ofereix nombrosos avantatges per als LVM. Un dels avantatges clau és la capacitat de transferir coneixement de dades visuals diverses a dominis específics, permetent una convergència més ràpida en tasques específiques. A més, mitiga els problemes de dependència de les dades utilitzant les característiques apreses dels models pre-entrenats, reduint la necessitat de dades etiquetades específiques del domini.

A més, la inicialització de LVM amb pesos pre-entrenats condueix a una convergència accelerada durant l'ajustament, que és especialment avantatjosa quan els recursos computacionals són limitats. En definitiva, l'aprenentatge de transferència millora la generalització i el rendiment, adaptant els LVM a tasques específiques i assegurant prediccions precises, fomentant la satisfacció i la confiança dels usuaris.

Com transferir l'aprenentatge per a LVM?

Existeixen diferents enfocaments i mètodes per dur a terme l'aprenentatge de transferència per a LVM, depenent de la similitud i la disponibilitat de les dades entre les tasques o dominis d'origen i de destinació. Hi ha dos enfocaments principals per transferir l'aprenentatge, a saber, l'aprenentatge de transferència inductiu i l'aprenentatge transductiu.

Aprenentatge per transferència inductiva suposa que les tasques d'origen i de destinació són diferents, però els dominis d'origen i de destinació són similars. Per exemple, la tasca d'origen podria ser la classificació d'imatges, i la tasca de destinació podria ser la detecció d'objectes, però ambdues tasques utilitzen imatges del mateix domini, com ara escenes naturals o animals. En aquest cas, l'objectiu és transferir el coneixement après per l'LVM sobre la tasca d'origen a la tasca de destinació utilitzant algunes dades etiquetades de la tasca de destinació per afinar el model. Aquest enfocament també es coneix com a aprenentatge de transferència de tasques o aprenentatge multitasques.

D'altra banda, aprenentatge per transferència transductiva suposa que les tasques d'origen i de destinació són similars, però els dominis d'origen i de destinació són diferents. Per exemple, les tasques d'origen i de destinació podrien ser la classificació d'imatges, el domini d'origen podrien ser imatges d'Internet i el domini de destinació podrien ser imatges mèdiques. En aquest cas, l'objectiu és transferir el coneixement après per l'LVM al domini d'origen al domini objectiu mitjançant l'ús d'algunes dades etiquetades o no del domini objectiu per adaptar el model. Aquest enfocament també es coneix com a aprenentatge de transferència de domini o adaptació de domini.

Mètodes de transferència d'aprenentatge

L'aprenentatge de transferència per a LVM implica diversos mètodes adaptats a diferents nivells de modificació i accés a paràmetres i arquitectura del model. L'extracció de característiques és un enfocament que utilitza les característiques conegudes pel LVM en una tasca d'origen com a entrada per a un nou model al domini objectiu. Tot i que no requereixen modificacions als paràmetres o a l'arquitectura del LVM, pot ser que tingui problemes per capturar característiques específiques de la tasca per al domini objectiu. D'altra banda, l'ajustament consisteix en ajustar els paràmetres de LVM mitjançant dades etiquetades del domini objectiu. Aquest mètode millora l'adaptació a la tasca o domini objectiu, requerint accés i modificació de paràmetres.

Finalment, meta-aprenentatge se centra a formar un model general capaç d'adaptar-se ràpidament a noves tasques o dominis amb punts de dades mínims. Utilitzant algorismes com MAML or Rèptil, el metaaprenentatge permet als LVM aprendre de tasques diverses, permetent un aprenentatge de transferència eficient entre dominis dinàmics. Aquest mètode requereix accedir i modificar els paràmetres de LVM per a una implementació eficaç.

Exemples d'aprenentatge de transferència específics del domini amb LVM

L'aprenentatge de transferència per a LVM ha demostrat un èxit significatiu en diversos dominis. La inspecció industrial és un domini que requereix una alta eficiència i qualitat en els models de visió per computador, ja que consisteix a detectar i localitzar defectes o anomalies en diversos productes i components. No obstant això, la inspecció industrial s'enfronta a reptes com escenaris diversos i complexos, condicions ambientals variables i estàndards i regulacions elevats.

L'aprenentatge de transferència pot ajudar a superar aquests reptes aprofitant LVM prèviament entrenats en conjunts de dades de propòsit general i ajustant-los a dades específiques del domini. Per exemple, la plataforma LandingLens de LandingAI permet als usuaris crear projectes de visió per ordinador personalitzats per a la inspecció industrial sense experiència en codificació. Utilitza LVM específics del domini per aconseguir un alt rendiment en tasques de visió per ordinador aigües avall, com ara la detecció de defectes o la ubicació d'objectes, amb menys dades etiquetades.

Així mateix, a la indústria de l'entreteniment, l'aprenentatge per transferència contribueix a la creativitat i la diversitat en els models de visió per computador. El model CLIP d'OpenAI, dissenyat per a tasques com la generació d'imatges a partir de descripcions textuals, permet als usuaris crear contingut visual divers, com ara generar imatges de "un drac"O"una pintura de Picasso.” Aquesta aplicació mostra com l'aprenentatge per transferència permet generar i manipular contingut visual amb finalitats artístiques i d'entreteniment, abordant els reptes relacionats amb les expectatives dels usuaris, les consideracions ètiques i la qualitat del contingut.

La línia de base

En conclusió, l'aprenentatge per transferència sorgeix com una estratègia transformadora per optimitzar els LVM. En adaptar models pre-entrenats a dominis específics, l'aprenentatge de transferència aborda els reptes, redueix les dependències de dades i accelera la convergència. L'enfocament millora l'eficiència dels LVM en tasques específiques del domini. Significa un pas crucial per superar la bretxa entre la formació de propòsit general i les aplicacions especialitzades, marcant un avenç significatiu en el camp.