DINOv3 i przyszłość widzenia komputerowego: samo-nadzorowane uczenie na dużą skalę

Etykietowanie obrazów jest kosztownym i czasochłonnym procesem w wielu projektach widzenia komputerowego. Często wprowadza on stronniczość i redukuje możliwość skalowania dużych zbiorów danych. Dlatego też badacze szukali podejść, które eliminują potrzebę ciężkiego ręcznego etykietowania. W odpowiedzi na to wyzwanie, Meta AI wprowadziło DINOv3 w 2025 roku. Jest to samo-nadzorowany model widzenia, który może uczyć się bezpośrednio z 1,7 miliarda nieoznaczonych obrazów.

Model jest szkolony z pomocą obszernego 7-miliardowego parametru sieci nauczyciela. Dzięki tej konfiguracji, produkuje on wysokiej jakości globalne i gęste cechy z jednego zamrożonego rdzenia. W wyniku tego, model może przechwytywać zarówno drobne szczegóły na obrazach, jak i szersze informacje kontekstowe.

Ponadto, DINOv3 wykazuje silne wyniki w wielu zadaniach widzenia bez potrzeby drogiej dokształcania. Oznacza to, że jest nie tylko potężny z technicznego punktu widzenia, ale również praktyczny dla badaczy, inżynierów i liderów przemysłowych, którzy stają w obliczu ograniczeń zasobów i czasu.

W ten sposób, DINOv3 reprezentuje znaczący postęp w widzeniu komputerowym. Łączy on dużej skali uczenie, wydajność i szeroką użyteczność, czyniąc go modelem podstawowym o silnym potencjale zarówno dla badań akademickich, jak i aplikacji przemysłowych.

Ewolucja samo-nadzorowanego uczenia w widzeniu

Tradycyjne widzenie komputerowe od dawna opierało się na nadzorowanym uczeniu. Ta metoda wymaga dużych, oznaczonych zbiorów danych, które ludzie starannie anotują. Proces ten jest kosztowny, czasochłonny i często niepraktyczny w dziedzinach, w których etykiety są rzadkie lub drogie, takich jak obrazowanie medyczne. Z tego powodu, samo-nadzorowane uczenie (SSL) stało się kluczowym podejściem. Pozwala ono modelom nauczyć się użytecznych cech wizualnych bezpośrednio z surowych, nieoznaczonych danych, znajdując ukryte wzory na obrazach.

Wczesne metody SSL, takie jak Momentum Contrast (MoCo) i Bootstrap Your Own Latent (BYOL), wykazały, że modele mogą nauczyć się silnych cech wizualnych bez danych oznaczonych. Te metody udowodniły wartość samo-nadzorowania i otworzyły drogę do bardziej zaawansowanych podejść.

W 2021 roku, Meta wprowadziło DINO. Był to znaczący krok, ponieważ osiągnął on konkurencyjne wyniki, używając tylko samo-nadzorowanego szkolenia. Później, DINOv2 dalej posunął ten postęp, skalując szkolenie i zwiększając przenośność nauczonej cechy do różnych zadań.

Te ulepszenia stworzyły podstawę dla DINOv3, wydanego w 2025 roku. DINOv3 wykorzystywał znacznie większy model i ogromny zbiór danych, umożliwiając mu ustanowienie nowych benchmarków wyników.

Do 2025 roku, SSL nie było już opcjonalne. Stało się ono koniecznym podejściem, ponieważ umożliwiło szkolenie na miliardach obrazów bez ludzkiego oznaczania. To umożliwiło budowę modeli podstawowych, które generalizują na wiele zadań. Ich wstępnie nauczony rdzeń zapewnia elastyczne cechy, które mogą być adaptowane przez dodanie małych głów zadań. Ten sposób redukuje koszty i przyspiesza rozwój systemów widzenia komputerowego.

Ponadto, SSL redukuje cykle badań. Zespoły mogą ponownie wykorzystywać wstępnie nauczony model do szybkiego testowania i oceny, co pomaga w szybkim prototypowaniu. Ten ruch w kierunku dużej skali i wydajności etykietowania jest zmieniać, w jaki sposób systemy widzenia komputerowego są budowane i stosowane w wielu branżach.

Jak DINOv3 zmienia samo-nadzorowane widzenie komputerowe

DINOv3 jest najbardziej zaawansowanym samo-nadzorowanym modelem widzenia Meta AI. Reprezentuje on nowy etap w dużej skali szkolenia dla widzenia komputerowego. W przeciwieństwie do wcześniejszych wersji, łączy on obszerną sieć nauczyciela o 7 miliardach parametrów z szkoleniem na 1,7 miliardzie nieoznaczonych obrazów. Ta skala umożliwia modelowi nauczyć się silniejszych i bardziej adaptowalnych cech.

Jednym z istotnych ulepszeń w DINOv3 jest stabilność gęstego uczenia cech. Poprzednie modele, takie jak DINOv2, często traciły szczegóły w cechach poziomu patchów podczas długiego szkolenia. To sprawiło, że zadania takie jak segmentacja i estymacja głębi były mniej niezawodne. DINOv3 wprowadza metodę zwaną Gram Anchoring, aby rozwiązać ten problem. Utrzymuje on strukturę podobieństwa między patchami w trakcie szkolenia, co zapobiega kolapsowi cech i zachowuje drobne szczegóły.

Innym technicznym krokiem jest użycie wysokiej rozdzielczości wycinków obrazów. Pracując z większymi sekcjami obrazu, model przechwytuje lokalną strukturę bardziej dokładnie. To skutkuje gęstymi mapami cech, które są bardziej szczegółowe i nuansowane. Takie mapy poprawiają wyniki w aplikacjach, w których dokładność na poziomie pikseli jest kluczowa, takich jak wykrywanie obiektów lub segmentacja semantyczna.

Model korzysta również z Rotary Positional Embeddings (RoPE). Te osadzenia, w połączeniu z strategiami rozdzielczości i cięcia, umożliwiają modelowi radzenie sobie z obrazami o różnych rozmiarach i kształtach. To sprawia, że DINOv3 jest bardziej stabilny w rzeczywistych scenariuszach, w których obrazy wejściowe często różnią się jakością i formatem.

Aby wesprzeć różne potrzeby wdrożeniowe, Meta AI destylowało DINOv3 do rodziny mniejszych modeli. Obejmują one kilka Vision Transformer (ViT) rozmiarów i wersji ConvNeXt. Mniejsze modele są lepiej przystosowane do urządzeń brzegowych, podczas gdy większe są bardziej odpowiednie do badań lub serwerów produkcyjnych. Ta elastyczność pozwala zespołom na rozpoczęcie testowania szybko i rozszerzanie do bardziej wymagających konfiguracji w miarę potrzeb.

Wyniki potwierdzają siłę tego podejścia. DINOv3 osiąga najlepsze wyniki w ponad sześćdziesięciu benchmarkach. Wykonuje się dobrze w klasyfikacji, segmentacji, estymacji głębi i nawet zadaniach 3D. Wiele z tych wyników osiąganych jest z zamrożonym rdzeniem, co oznacza, że nie było potrzeby dodatkowego dokształcania.

Wyniki i przewaga benchmarkowa

DINOv3 ustanowił się jako niezawodny model podstawowy widzenia. Osiągnął silne wyniki w wielu zadaniach widzenia komputerowego. Jedną z koniecznych sił jest to, że jego zamrożony rdzeń już przechwycił bogate cechy. W wyniku tego, większość aplikacji wymaga tylko liniowego sondowania lub lekkiego dekodera. To sprawia, że transfer jest szybszy, mniej kosztowny i łatwiejszy niż pełne dokształcanie.

Na ImageNet-1K klasyfikacji, DINOv3 osiągnął około 84,5% dokładności top-1 z zamrożonymi cechami. To było wyższe niż wiele wcześniejszych modeli samo-nadzorowanych i również lepsze niż kilka podstawowych modeli nadzorowanych. Dla segmentacji semantycznej na ADE20K, osiągnął mIoU około 63,0, używając rdzenia ViT-L. Te wyniki pokazują, że model zachowuje drobne informacje przestrzenne bez zadaniowego szkolenia.

W wykrywaniu obiektów na COCO, DINOv3 osiągnął mAP około 66,1 z zamrożonymi cechami. To demonstruje siłę jego gęstych reprezentacji w identyfikowaniu obiektów w złożonych scenach. Model również wykonał się dobrze w estymacji głębi, na przykład na NYU-Depth V2, gdzie wyprodukował bardziej dokładne przewidywania niż wiele starszych modeli nadzorowanych i samo-nadzorowanych.

Ponadto, DINOv3 wykazał silne wyniki w klasyfikacji drobnoziarnistej i testach poza dystrybucją. W wielu przypadkach przewyższył zarówno wcześniejsze modele SSL, jak i tradycyjne szkolenie nadzorowane.

Podczas eksperymentów, jednym z wyraźnych korzyści było niskie koszty transferu. Większość zadań była rozwiązywana z tylko nieznacznym dodatkowym szkoleniem. To zmniejszyło obliczenia i skróciło czas wdrożenia.

Meta AI i inni badacze zweryfikowali DINOv3 na ponad 60 benchmarkach. Obejmowały one klasyfikację, segmentację, wykrywanie, estymację głębi, odzyskiwanie i geometryczne dopasowanie. Przez cały ten szeroki zakres ocen, model konsekwentnie dostarczał wyniki na poziomie stanu techniki lub bliskie stanu techniki. To potwierdza jego rolę jako wszechstronnego i niezawodnego kodera wizualnego.

Jak DINOv3 zmienił przepływy pracy widzenia komputerowego

W starszych przepływach pracy, zespoły musiały szkolić wiele modeli specyficznych dla zadań. Każde zadanie wymagało własnego zestawu danych i dostosowania. To zwiększało koszty i nakład pracy konserwacyjnej.

Z DINOv3, zespoły mogą teraz standaryzować jeden rdzeń. Ten sam zamrożony model wspiera różne głowy specyficzne dla zadań. To redukuje liczbę modeli podstawowych w użyciu. Uproszcza również potoki integracji i skraca cykle wydawnicze dla funkcji widzenia.

Dla deweloperów, DINOv3 zapewnia praktyczne zasoby. Meta AI oferuje punkty kontrolne, skrypty szkoleniowe i karty modeli na GitHub. Hugging Face również hostuje destylowane warianty z przykładowymi notesami. Te zasoby ułatwiają eksperymentowanie i przyjęcie modelu w rzeczywistych projektach.

Typowy sposób, w jaki deweloperzy używają tych zasobów, to ekstrakcja cech. Zamrożony model DINOv3 dostarcza osadzeń, które służą jako dane wejściowe dla zadań pośrednich. Deweloperzy mogą następnie dołączyć liniową głowę lub mały adapter, aby rozwiązać konkretnych potrzeb. Gdy wymagana jest dalsza adaptacja, metody wydajne pod względem parametrów, takie jak LoRA lub lekkie adaptory, umożliwiają dokształcanie bez znacznego obciążenia obliczeniowego.

Destylowane warianty odgrywają istotną rolę w tym przepływie pracy. Mniejsze wersje mogą działać na urządzeniach o ograniczonej pojemności, podczas gdy większe pozostają odpowiednie dla laboratoriów badawczych i serwerów produkcyjnych. Ten zakres zapewnia zespołom elastyczność, aby rozpocząć testowanie szybko i rozszerzać do bardziej wymagających konfiguracji w miarę potrzeb.

Łącząc ponownie wykorzystywane punkty kontrolne, proste głowy szkoleniowe i skalowalne rozmiary modeli, DINOv3 zmienia przepływy pracy widzenia komputerowego. Redukuje koszty, skraca cykle szkoleniowe i czyni użycie modeli podstawowych bardziej praktycznym w branżach.

Specyficzne dla domeny zastosowania DINOv3

Istnieje kilka domen, w których DINOv3 może być potencjalnie użyty:

Obrazowanie medyczne

Dane medyczne często nie mają wyraźnych etykiet, a anotacja ekspertów jest czasochłonna i kosztowna. DINOv3 może pomóc, produkując gęste cechy, które przenoszą się dobrze do zadań patologii i radiologii. Na przykład, badanie dostosowało DINOv3 z adapterami o niskim ranku do klasyfikacji figur mitotycznych, osiągając zrównoważoną dokładność 0,8871 z minimalną liczbą parametrów do trenowania. To pokazało, że wysokiej jakości wyniki są możliwe nawet z ograniczonymi danymi oznaczonymi. Prostsze głowy mogą być również użyte do wykrywania anomalii, redukując potrzebę dużych, oznaczonych zbiorów danych klinicznych. Jednakże, wdrożenie kliniczne wymaga jeszcze ścisłej weryfikacji.

Obrazowanie satelitarne i geoprzestrzenne

Meta wyszkoliło warianty DINOv3 na dużym korpusie około 493 milionów wycinków satelitarnych. Te modele poprawiły estymację wysokości baldachimu i zadania segmentacji. W niektórych przypadkach, destylowany satelitarny ViT-L nawet dopasował lub przewyższył pełnego 7B nauczyciela. To potwierdziło wartość samo-nadzorowanego szkolenia specyficznego dla domeny. Podobnie, praktycy mogą wstępnie szkolić DINOv3 na danych domenowych lub dostosowywać destylowane warianty, aby zmniejszyć koszty oznaczania w teledetekcji.

Pojazdy autonomiczne i robotyka

Cechy DINOv3 wzmacniają moduły percepcji dla pojazdów i robotów. Poprawiają one wykrywanie i korespondencję w różnych warunkach pogodowych i oświetleniowych. Badania wykazały, że rdzenie DINOv3 wspierają polityki visuomotoryczne i kontrolery dyfuzji, skutkując poprawioną efektywnością próbek i wyższymi wskaźnikami sukcesu w zadaniach manipulacji robotycznej. Zespoły robotyczne mogą stosować DINOv3 do percepcji, ale powinny łączyć go z danymi domenowymi i starannym dostosowaniem dla systemów krytycznych dla bezpieczeństwa.

Handel i logistyka

W środowiskach biznesowych, DINOv3 może wspierać kontrolę jakości i systemy inwentaryzacji wizualnej. Dostosowuje się on do różnych linii produktów i konfiguracji kamery, redukując potrzebę ponownego szkolenia dla każdego produktu. To sprawia, że jest on praktyczny dla szybko rozwijających się branż z różnorodnymi środowiskami wizualnymi.

Wyzwania, stronniczość i droga do przodu

Szkolenie modeli podstawowych widzenia, takich jak DINOv3, w skali 7 miliardów parametrów wymaga ogromnych zasobów obliczeniowych. To ogranicza pełne wstępne szkolenie do kilku dobrze finansowanych organizacji. Destylacja redukuje koszty inferencji i pozwala na wdrożenie mniejszych modeli studenta. Jednak nie usuwa pierwotnego kosztu wstępnego szkolenia. Dlatego większość badaczy i inżynierów zależy od publicznie udostępnionych punktów kontrolnych, zamiast szkolić takie modele od podstaw.

Innym kluczowym wyzwaniem jest stronniczość zbioru danych. Duże kolekcje obrazów zebrane z Internetu często odzwierciedlają regionalne, kulturowe i społeczne nierówności. Modele szkolone na nich mogą dziedziczyć lub nawet zwiększać te stronniczości. Nawet gdy zamrożone rdzenie są używane, dostosowanie może ponownie wprowadzić dysproporcje między grupami. Dlatego też, audyt zbioru danych, kontrole sprawiedliwości i staranne oceny są konieczne przed wdrożeniem. Kwestie etyczne dotyczą również praktyk licencjonowania i wydawnictwa. Otwarte modele powinny być dostarczane z wyraźnymi wytycznymi użytkowania, uwagami dotyczącymi bezpieczeństwa i ocenami prawnymi, aby wspierać odpowiedzialne przyjęcie.

Spójrzając w przyszłość, kilka trendów ukształtuje rolę DINOv3 i podobnych systemów. Po pierwsze, multimodalne systemy, które łączą widzenie i język, będą polegać na silnych kodowaniach, takich jak DINOv3, do lepszego wyrównania obrazu i tekstu. Po drugie, obliczenia brzegowe i robotyka będą korzystać z mniejszych destylowanych wariantów, umożliwiając zaawansowaną percepcję na ograniczonym sprzęcie. Po trzecie, wyjaśnialna sztuczna inteligencja zyska na znaczeniu, gdy zespoły będą pracować nad tym, aby gęste cechy były bardziej interpretowalne dla audytów, debugowania i zaufania w dziedzinach o wysokim ryzyku. Ponadto, kontynuowane badania będą dalej poprawiać odporność na przesunięcia dystrybucyjne i wejścia przeciwnika, zapewniając niezawodne użycie w środowiskach rzeczywistych.

Podsumowanie

Ponieważ jego zamrożone cechy przenoszą się dobrze, wspiera zadania takie jak klasyfikacja, segmentacja, wykrywanie, estymacja głębi z niewielkim dodatkowym szkoleniem. Równocześnie, destylowane warianty czynią model elastycznym enough, aby działać zarówno na lekkich urządzeniach, jak i potężnych serwerach. Te siły mają praktyczne zastosowania w różnych dziedzinach, w tym opiece zdrowotnej, monitorowaniu geoprzestrzennym, robotyce i handlu.

Jednakże, ciężkie obliczenia potrzebne do wstępnego szkolenia i ryzyko stronniczości zbioru danych pozostają trwającymi wyzwaniami. Dlatego przyszły postęp zależy od połączenia możliwości DINOv3 z staranną weryfikacją, monitorowaniem sprawiedliwości i odpowiedzialnym wdrożeniem, zapewniając niezawodne użycie w badaniach i przemyśle.