Het opschalen van tekst- en visuele weergaven is in de afgelopen jaren een belangrijk onderzoeksgebied geweest. Ontwikkelingen en onderzoek uit de recente verleden hebben geleid tot talloze revoluties in taalverwerving en visie. Echter, ondanks de populariteit van het opschalen van tekst- en visuele weergaven, is het opschalen van weergaven voor 3D-scènes en -objecten niet voldoende besproken.

Vandaag zullen we Uni3D bespreken, een 3D-fundamenteel model dat als doel heeft om geünificeerde 3D-weergaven te verkennen. Het Uni3D-kader maakt gebruik van een 2D-geïnitialiseerd ViT-kader, vooraf getraind, om beeld-tekstkenmerken uit te lijnen met de overeenkomstige 3D-puntswolkkenmerken.

Het Uni3D-kader gebruikt pretext-taken en een eenvoudige architectuur om de overvloed aan vooraf getrainde 2D-modellen en beeld-tekst-georiënteerde modellen als initialisaties en doelen te benutten. Deze aanpak ontsluit het volledige potentieel van 2D-modellen en -strategieën om ze op te schalen naar de 3D-wereld.

In dit artikel zullen we dieper ingaan op 3D-computervisie en het Uni3D-kader, waarbij we de essentiële concepten en de architectuur van het model zullen verkennen. Laten we dus beginnen.

Uni3D en 3D-Weergaveleer: Een Inleiding

In de afgelopen jaren is computervisie een van de meest zwaar geïnvesteerde domeinen in de AI-industrie geworden. Na significante vooruitgang in 2D-computervisie-kaders, hebben ontwikkelaars hun aandacht verlegd naar 3D-computervisie. Dit veld, met name 3D-weergaveleer, combineert aspecten van computergraphics, machine learning, computervisie en wiskunde om de verwerking en het begrijpen van 3D-geometrie te automatiseren. De snelle ontwikkeling van 3D-sensoren zoals LiDAR, samen met hun wijdverbreide toepassingen in de AR/VR-industrie, heeft ertoe geleid dat 3D-weergaveleer meer aandacht krijgt. De potentiële toepassingen groeien dagelijks.

Hoewel bestaande kaders aanzienlijke vooruitgang hebben geboekt in 3D-modelarchitectuur, taakgerichte modellering en leerdoelen, onderzoeken de meeste 3D-architectuur op een relatief kleine schaal met beperkte gegevens, parameters en taakscenario’s. De uitdaging van het leren van schaalbare 3D-weergaven, die vervolgens kunnen worden toegepast in real-time-toepassingen in diverse omgevingen, blijft grotendeels onverkend.

Verdergaand, in de afgelopen jaren, heeft het opschalen van grote taalmodellen die vooraf zijn getraind, geholpen bij het revolutioneren van het domein van natuurlijke taalverwerking, en recente werken hebben aangegeven dat de vooruitgang van taal naar 2D met behulp van gegevens- en modelopschaling de weg vrijmaakt voor ontwikkelaars om dit succes te proberen te herhalen om een 3D-weergave te leren die kan worden opgeschaald en overgedragen naar toepassingen in de echte wereld.

Uni3D is een schaalbaar en geünificeerd 3D-voortrainingskader dat is ontwikkeld met als doel om grote 3D-weergaven te leren die worden getest op een schaal van meer dan een miljard parameters, meer dan 10 miljoen afbeeldingen die zijn gekoppeld aan meer dan 70 miljoen teksten en meer dan een miljoen 3D-vormen. De figuur hieronder vergelijkt de nulshot-nauwkeurigheid tegen parameters in het Uni3D-kader. Het Uni3D-kader schaalt 3D-weergaven met succes van 6 miljoen tot meer dan een miljard.

Het Uni3D-kader bestaat uit een 2D-ViT of Visie-Transformatie als 3D-encoder die vervolgens vooraf wordt getraind om de beeld-tekstkenmerken uit te lijnen met de 3D-puntswolkkenmerken. Het Uni3D-kader maakt gebruik van pretext-taken en een eenvoudige architectuur om de overvloed aan vooraf getrainde 2D-modellen en beeld-tekst-georiënteerde modellen als initialisaties en doelen te benutten, waardoor het volledige potentieel van 2D-modellen en -strategieën wordt ontsloten om ze op te schalen naar de 3D-wereld. De flexibiliteit en schaalbaarheid van het Uni3D-kader worden gemeten in termen van

1. Het opschalen van het model van 6M tot meer dan een miljard parameters.
2. 2D-initialisatie tot tekst-supervisie van visuele zelfsupervisie.
3. Tekst-afbeelding-doelmodel-opschaling van 150 miljoen tot meer dan een miljard parameters.

Onder het flexibele en geünificeerde kader dat door Uni3D wordt aangeboden, observeren ontwikkelaars een coherente verbetering van de prestaties bij het opschalen van elk onderdeel. Het grote 3D-weergaveleer profiteert ook aanzienlijk van de deelbare 2D- en opschalingsstrategieën.

Zoals te zien is in de figuur hieronder, toont het Uni3D-kader een verbetering van de prestaties in vergelijking met eerdere kunstwerken in few-shot- en zero-shot-instellingen. Het is de moeite waard om op te merken dat het Uni3D-kader een zero-shot-classificatienauwkeurigheidsscore van meer dan 88% op ModelNet behaalt, wat gelijk is aan de prestaties van verschillende state-of-the-art-supervisie-methoden.

Bovendien levert het Uni3D-kader ook topniveau-nauwkeurigheid en -prestaties bij het uitvoeren van andere representatieve 3D-taken zoals partitie-segmentatie en openwereldbegrip. Het Uni3D-kader heeft als doel om de kloof tussen 2D-visie en 3D-visie te overbruggen door 3D-fundamentele modellen op te schalen met een geünificeerde maar eenvoudige vooraftrainingsaanpak om robuustere 3D-weergaven te leren over een breed scala aan taken, die uiteindelijk kunnen helpen bij de convergentie van 2D- en 3D-visie over een breed scala aan modaliteiten.

Uni3D: Gerelateerd Werk

Het Uni3D-kader put inspiratie en leert van de ontwikkelingen die zijn gemaakt door eerdere 3D-weergaveleer en fundamentele modellen, met name onder verschillende modaliteiten.

3D-Weergaveleer

De 3D-weergaveleermethode gebruikt puntwolken voor 3D-begrip van het object, en dit veld is door ontwikkelaars veel onderzocht in de recente verleden, en het is geobserveerd dat deze puntwolken kunnen worden voorgetraind onder zelfsupervisie met behulp van specifieke 3D-pretext-taken, waaronder masker-punt-modellering, zelf-reconstructie en contrastief leren.

Het is de moeite waard om op te merken dat deze methoden werken met beperkte gegevens en dat ze vaak geen multimodale weergaven onderzoeken naar 3D vanuit 2D of NLP. Echter, de recente successen van het CLIP-kader dat een hoge efficiëntie levert bij het leren van visuele concepten uit ruwe tekst met behulp van de contrastieve leer methode, en verder zoekt om 3D-weergaven te leren door beeld-, tekst- en puntwolkkenmerken uit te lijnen met behulp van dezelfde contrastieve leer methode.

Fundamentele Modellen

Ontwikkelaars hebben uitgebreid gewerkt aan het ontwerpen van fundamentele modellen om multimodale weergaven op te schalen en te verenigen. Bijvoorbeeld, in het NLP-domein, hebben ontwikkelaars gewerkt aan kaders die vooraf getrainde taalmodellen kunnen opschalen, en dit heeft langzaam de NLP-industrie gerevolutioneerd. Bovendien zijn er vooruitgangen te zien in het 2D-visiedomein, omdat ontwikkelaars werken aan kaders die gebruikmaken van gegevens- en modelopschalingstechnieken om de vooruitgang van taal naar 2D-modellen te helpen, hoewel dergelijke kaders moeilijk zijn om te repliceren voor 3D-modellen vanwege de beperkte beschikbaarheid van 3D-gegevens en de uitdagingen die optreden bij het verenigen en opschalen van 3D-kaders.

Door te leren van de bovengenoemde twee werkgebieden, hebben ontwikkelaars het Uni3D-kader gemaakt, het eerste 3D-fundamentele model met meer dan een miljard parameters dat gebruikmaakt van een geünificeerde ViT- of Visie-Transformatie-architectuur die ontwikkelaars in staat stelt om het Uni3D-model op te schalen met behulp van geünificeerde 3D- of NLP-opschalingstrategieën voor het opschalen van modellen. Ontwikkelaars hopen dat deze methode zal helpen om de kloof te overbruggen die momenteel 2D- en 3D-visie scheidt, evenals het faciliteren van multimodale convergentie.

Uni3D: Methode en Architectuur

De bovenstaande afbeelding toont een overzicht van het Uni3D-kader, een schaalbaar en geünificeerd 3D-voortrainingskader voor grote 3D-weergaveleer. Ontwikkelaars maken gebruik van meer dan 70 miljoen teksten en 10 miljoen afbeeldingen die zijn gekoppeld aan meer dan een miljoen 3D-vormen om het Uni3D-kader op te schalen tot meer dan een miljard parameters. Het Uni3D-kader gebruikt een 2D-ViT of Visie-Transformatie als 3D-encoder die vervolgens vooraf wordt getraind om de tekst-afbeelding-gegevens uit te lijnen met de 3D-puntwolkkenmerken, waardoor het Uni3D-kader de gewenste efficiëntie en nauwkeurigheid levert over een breed scala aan benchmarks. Laten we nu een gedetailleerd overzicht nemen van de werking van het Uni3D-kader.

Het Uni3D-Kader Opschalen

Eerdere studies over puntwolkweergaveleer hebben traditioneel zwaar ingezet op het ontwerpen van specifieke modelarchitecturen die betere prestaties leveren over een breed scala aan toepassingen, en werken met een beperkte hoeveelheid gegevens vanwege kleine datasets. Echter, recente studies hebben geprobeerd de mogelijkheid te onderzoeken van het gebruik van schaalbare vooraftraining in 3D, maar er waren geen significante resultaten vanwege de beperkte beschikbaarheid van 3D-gegevens. Om het schaalbaarheidsprobleem van 3D-kaders op te lossen, maakt het Uni3D-kader gebruik van de kracht van een vanilla-transformatiestructuur die bijna spiegelt een Visie-Transformatie, en kan het schaalproblemen oplossen door gebruik te maken van geünificeerde 2D- of NLP-opschalingstrategieën om de modelgrootte op te schalen.

Eerdere studies over puntwolkweergaveleer hebben traditioneel zwaar ingezet op het ontwerpen van specifieke modelarchitecturen die betere prestaties leveren over een breed scala aan toepassingen, en werken met een beperkte hoeveelheid gegevens vanwege kleine datasets. Echter, recente studies hebben geprobeerd de mogelijkheid te onderzoeken van het gebruik van schaalbare vooraftraining in 3D, maar er waren geen significante resultaten vanwege de beperkte beschikbaarheid van 3D-gegevens. Om het schaalbaarheidsprobleem van 3D-kaders op te lossen, maakt het Uni3D-kader gebruik van de kracht van een vanilla-transformatiestructuur die bijna spiegelt een Visie-Transformatie, en kan het schaalproblemen oplossen door gebruik te maken van geünificeerde 2D- of NLP-opschalingstrategieën om de modelgrootte op te schalen.

Uni3D Initialiseren

Een andere grote uitdaging die door eerdere werken werd aangetroffen bij het opschalen van 3D-weergaven, waren de moeilijkheden bij het convergeren en overfitting die het gevolg waren van de grote omvang van de modellen. Een effectieve aanpak om deze hindernis te overwinnen is om individuele 3D-ruggenmergen vooraf te trainen met gespecificeerde 3D-pretext-taken en voorgetrainde parameters te initialiseren. Echter, deze aanpak gaat gepaard met hoge trainingskosten, en het is ook moeilijk om een robuuste initialisatie te vestigen voor cross-modale leer vanwege de beperkte hoeveelheid 3D-gegevens die beschikbaar zijn voor trainingsdoeleinden.

Het Uni3D-kader maakt gebruik van een vanilla-transformatie, waarvan de structuur nauw aansluit bij ViT. Met deze aanpak kan het Uni3D-kader natuurlijk vooraf getrainde grote modellen met andere modaliteiten adopteren om het Uni3D-kader te initialiseren.

Multi-Modale Uitlijning

Het Uni3D-kader probeert multi-modale uitlijningen te leren over beeld, taal en puntwolken door gebruik te maken van paradigma’s die vergelijkbaar zijn met OpenShape en ULIP-kaders. Bovendien, om een eerlijke vergelijking te maken met andere methoden, gebruikt het Uni3D-kader het geënssembleerde 3D-dataset van OpenShape voor trainingsdoeleinden. Dit geënssembleerde dataset van OpenShape bestaat uit 4 3D-datasets:

1. Objaverse.
2. ShapeNet.
3. 3D-FUTURE.
4. ABO.

Experimenten en Resultaten

Het Uni3D-kader wordt getest in verschillende instellingen en over verschillende classificatie-taken, waaronder de prestaties in zero-shot- en few-shot-instellingen, resultaten rond openwereldbegrip en meer. Laten we een gedetailleerd overzicht nemen van deze resultaten.

Nulshot-Vorm-Classificatie

Om de prestaties van het Uni3D-kader te evalueren over nulshot-vorm-classificatie-taken, voeren ontwikkelaars experimenten uit over drie benchmarks, waaronder ModelNet, ScanObjNN en Objaverse-LVIS-benchmark-datasets. ModelNet en ScanObjNN zijn datasets die veel worden gebruikt voor classificatie-taken en bestaan uit 15 en 40 objectcategorieën respectievelijk, terwijl de Objaverse-LVIS-benchmark een schoongemaakte en geannoteerde dataset is die bestaat uit meer dan 40.000 objecten over 1.100+ categorieën. De vergelijking tussen de kaders wordt getoond in de afbeelding hieronder, en zoals te zien is, presteert het Uni3D-kader aanzienlijk beter dan eerdere state-of-the-art-kaders over verschillende instellingen.

Few-Shot-Lineaire Sondering

In AI is lineaire sondering een veel voorkomende methode om de weergaven te evalueren die een kader of model leert. Om de lineaire sonderingscapaciteit van Uni3D te evalueren, bevriezen ontwikkelaars de parameters van het Uni3D-kader met behulp van de gebruikelijke instellingen als OpenShape. Vervolgens trainen ontwikkelaars een lineaire classificator voor Uni3D met behulp van few-shot-klasse-etiketten. De figuur hieronder toont de lineaire sonderingscapaciteit van verschillende kaders op het Objaverse-LVIS-dataset, en toont de gemiddelde prestatie van het model over 10 willekeurige zaden. Zoals te zien is, presteert het Uni3D-kader aanzienlijk beter dan bestaande methoden onder verschillende few-shot-instellingen.

Openwereldbegrip

Om de capaciteit van het Uni3D-kader te evalueren om echte wereldvormen en -objecten in real-time te begrijpen, gebruiken ontwikkelaars ScanNet en CLIP-datasets om de prestaties van Uni3D te onderzoeken. Het is de moeite waard om op te merken dat de grondwaarheid-instant-segmentatie beschikbaar is, en het primaire doel is om de categorie van elke scène-individueel instant in een nulshot-instelling te herkennen. De resultaten worden getoond in de afbeelding hieronder. Zoals te zien is, levert het Uni3D-kader uitzonderlijke resultaten bij het uitvoeren van openwereldbegrip en -herkenning. Het Uni3D-kader presteert aanzienlijk beter dan bestaande kaders, ondanks dat het nooit is getraind op echte wereld-datasets.

Cross-Modale Ophaling

De multi-modale weergaven die door het Uni3D-kader worden geleerd, kunnen het kader in staat stellen om 3D-vormen op te halen uit tekst of afbeeldingen. Om 3D-vormen op te halen, berekent het model de cosinusgelijkheid tussen de insluitingen van 3D-vormen en de insluitingen van een vraagtekstprompt of een vraagafbeelding. Het kader maakt vervolgens gebruik van de KNN of K-dichtstebuurt-algoritme om 3D-vormen te genereren die het meest op de vraag lijken, en de resultaten worden getoond in de figuur hieronder. Zoals te zien is, gebruikt het Uni3D-kader met succes echte wereldafbeeldingen om 3D-vormen op te halen. Bovendien is het de moeite waard om op te merken dat trainingsafbeeldingen alleen voor weergavedoeleinden zijn, en de kloof tussen echte wereld- en trainingsafbeeldingen is aanzienlijk. Bovendien neemt het model ook twee invoerafbeeldingen en haalt vormen op die lijken op beide invoerafbeeldingen door gebruik te maken van de cosinusgelijkheid tussen de gemiddelde insluitingen van beide afbeeldingen en hun ingesloten 3D-vormen. De resultaten zijn interessant, omdat ze de capaciteit van Uni3D aantonen om diverse 3D-weergaven te leren en meerdere 2D-seinaleen te begrijpen.

In de eerste kolom gebruikt het kader twee vraagafbeeldingen om 3D-vormen terug te geven die het meest op de vraagafbeeldingen lijken. In de tweede kolom gebruikt het kader twee invoerafbeeldingen om 3D-vormen op te halen die lijken op beide invoerafbeeldingen. Ten slotte, in de laatste kolom, gebruikt het model vraagteksten en keert 3D-vormen terug die het meest op de vraagtekst lijken.

Slotgedachten

In dit artikel hebben we het over Uni3D gehad, een schaalbaar en geünificeerd 3D-voortrainingskader dat is ontwikkeld met als doel om grote 3D-weergaven te leren die worden getest op een schaal van meer dan een miljard parameters, meer dan 10 miljoen afbeeldingen die zijn gekoppeld aan meer dan 70 miljoen teksten en meer dan een miljoen 3D-vormen. De ontwikkelaars van het kader hebben een vanilla-transformatie opgenomen met een structuur die equivalent is aan ViT’s. Bovendien kan het Uni3D-kader een breed scala aan vooraf getrainde 2D-kaders en 2D-strategieën naar de 3D-wereld brengen. De experimentele resultaten hebben al het enorme potentieel van het Uni3D-kader aangetoond, aangezien het Uni3D-kader nauwkeurige en efficiënte resultaten levert over een breed scala aan instellingen en beter presteert dan bestaande state-of-the-art-kaders.