Czym jest fizyczna sztuczna inteligencja? Jak modele bazowe wkraczają do rzeczywistego świata

Fizyczna sztuczna inteligencja wykorzystuje wyuczone zdolności percepcji, rozumowania i sterowania w maszynach działających w rzeczywistym świecie, gdzie nie można ignorować niepewności, praw fizyki ani ograniczeń związanych z bezpieczeństwem.

Fizyczna sztuczna inteligencja wymaga precyzyjnego wyjaśnienia, ponieważ jej nazwa wskazuje na określony przepływ informacji, wybór dotyczący trenowania, mechanizm działania w czasie wykonywania lub granicę nadzoru. Traktowanie jej jako synonimu „zaawansowanej sztucznej inteligencji” uniemożliwia weryfikację twierdzeń. W tym przewodniku prześledzimy tę koncepcję od danych wejściowych i przyjętych założeń po obserwowalny rezultat, a następnie sprawdzimy uproszczenie, które najłatwiej z nią pomylić.

Fizyczna sztuczna inteligencja: definicja, granice i cel

Fizyczna sztuczna inteligencja wykorzystuje wyuczone zdolności percepcji, rozumowania i sterowania w maszynach działających w rzeczywistym świecie, gdzie nie można ignorować niepewności, praw fizyki ani ograniczeń związanych z bezpieczeństwem. Definicja ta obejmuje trzy praktyczne założenia: można wskazać dane wejściowe, transformację lub decyzję charakterystyczną dla fizycznej sztucznej inteligencji oraz rezultat, który da się ocenić w odniesieniu do określonego celu. Jeśli brakuje jednego z tych elementów, określenie to może opisywać aspirację, a nie wdrożony mechanizm.

Systemy multimodalne muszą uzgadniać sygnały o różnej rozdzielczości, czasie wystąpienia, poziomie szumów i stopniu niejednoznaczności. Słowo może odnosić się do niewielkiego fragmentu obrazu, a zdarzenie dźwiękowe może poprzedzać klatkę wideo, która je wyjaśnia. W przypadku fizycznej sztucznej inteligencji takie spojrzenie na cały system ma znaczenie, ponieważ o jego skuteczności mogą decydować otaczające go dane, interfejsy, sprzęt, uprawnienia i ludzie, nawet jeśli sam model pozostaje bez zmian. Dlatego dobre wyjaśnienie oddziela wyuczone zachowanie modelu od produktu, który decyduje, kiedy, gdzie i z jakimi uprawnieniami to zachowanie jest wykorzystywane.

Najbardziej mylącym uproszczeniem jest sztuczna inteligencja działająca wyłącznie w oprogramowaniu, w odwracalnej cyfrowej piaskownicy. Może mieć widoczną cechę wspólną z fizyczną sztuczną inteligencją, ale zmienia to, co składa się na związek przyczynowo-skutkowy: sukces potwierdzałyby inne dowody, o kosztach decydowałyby inne zasoby, a zapobieganie szkodom wymagałoby innych mechanizmów kontroli. Granica ma zatem charakter operacyjny, a nie terminologiczny.

Pięcioetapowy schemat działania fizycznej sztucznej inteligencji

Diagram przedstawia zwięzły schemat zależności przyczynowo-skutkowych w fizycznej sztucznej inteligencji; nie oznacza to, że każda implementacja składa się z pięciu komponentów programowych. Niektóre systemy łączą etapy, a inne wielokrotnie przechodzą przez nie w pętli. Schemat pozostaje przydatny, ponieważ wymaga, by każda zmiana informacji lub uprawnień miała przypisany odpowiedzialny podmiot, dane wejściowe, wynik i sposób weryfikacji.

1. Odczyt otoczenia: dane wejściowe i założenia fizycznej sztucznej inteligencji

Na tym etapie działania fizycznej sztucznej inteligencji system musi odbierać sygnały z otoczenia. Istotne pytanie nie brzmi jedynie, czy ta operacja zachodzi, lecz także jakie informacje wykorzystuje, jaki stan zmienia i jakie dowody potwierdzają prawidłowość tej zmiany. Osoba oceniająca system powinna móc odróżnić tę operację od działania sztucznej inteligencji opartej wyłącznie na oprogramowaniu, funkcjonującej w odwracalnej cyfrowej piaskownicy, oraz odtworzyć jej wynik w tych samych, określonych warunkach.

Przekazanie do tego etapu fizycznej sztucznej inteligencji rozpoczyna się od określonego celu i powinno zakończyć się wynikiem, który może posłużyć do oszacowania stanu i niepewności. Należy rejestrować niepewność, odrzucone możliwości, wykorzystane zasoby oraz wszelkie mechanizmy kontroli stosowane na granicy etapu przez człowieka lub oprogramowanie. Taki zapis pozwala zespołom wykryć, czy opóźnienia, zużycie, obecność ludzi i nieoczekiwane przeszkody w rzeczywistym świecie znacznie zwiększają zakres możliwych awarii, zanim ta sama słabość doprowadzi do wyniku o istotnych konsekwencjach.

2. Szacowanie stanu i niepewności: odwzorowanie lub decyzja w fizycznej sztucznej inteligencji

Na tym etapie działania fizycznej sztucznej inteligencji system musi szacować stan i niepewność. Istotne pytanie nie brzmi jedynie, czy ta operacja zachodzi, lecz także jakie informacje wykorzystuje, jaki stan zmienia i jakie dowody potwierdzają prawidłowość tej zmiany. Osoba oceniająca system powinna móc odróżnić tę operację od działania sztucznej inteligencji opartej wyłącznie na oprogramowaniu, funkcjonującej w odwracalnej cyfrowej piaskownicy, oraz odtworzyć jej wynik w tych samych, określonych warunkach.

Przekazanie do tego etapu fizycznej sztucznej inteligencji rozpoczyna się od odczytu otoczenia i powinno zakończyć się wynikiem, który może posłużyć do zaplanowania wykonalnego działania. Należy rejestrować niepewność, odrzucone możliwości, wykorzystane zasoby oraz wszelkie mechanizmy kontroli stosowane na granicy etapu przez człowieka lub oprogramowanie. Taki zapis pozwala zespołom wykryć, czy opóźnienia, zużycie, obecność ludzi i nieoczekiwane przeszkody w rzeczywistym świecie znacznie zwiększają zakres możliwych awarii, zanim ta sama słabość doprowadzi do wyniku o istotnych konsekwencjach.

3. Zaplanowanie wykonalnego działania: charakterystyczna transformacja w fizycznej sztucznej inteligencji

Na tym etapie fizycznej sztucznej inteligencji system musi zaplanować wykonalne działanie. Istotne pytanie nie brzmi jedynie, czy do takiego działania dochodzi, lecz także jakie informacje system wykorzystuje, jaki stan zmienia i jakie dowody potwierdzają, że zmiana była prawidłowa. Osoba oceniająca powinna móc odróżnić tę operację od działania AI opartej wyłącznie na oprogramowaniu w odwracalnym cyfrowym środowisku testowym oraz odtworzyć jej wynik w tych samych określonych warunkach.

Przekazanie do tego etapu fizycznej sztucznej inteligencji zaczyna się od oszacowania stanu i niepewności, a powinno zakończyć wynikiem umożliwiającym wykonanie działania za pomocą kontrolowanego elementu wykonawczego. Należy odnotować niepewność, odrzucone możliwości, wykorzystane zasoby oraz wszelkie formy kontroli sprawowane przez człowieka lub oprogramowanie na granicy tego etapu. Taki zapis pozwala zespołom wykryć, czy opóźnienia w rzeczywistym świecie, zużycie, obecność ludzi i nieoczekiwane przeszkody znacznie zwiększają obszar potencjalnych awarii, zanim ta sama słabość doprowadzi do istotnych konsekwencji.

4. Wykonanie działania za pomocą kontrolowanego elementu wykonawczego: granica ograniczeń i weryfikacji w fizycznej sztucznej inteligencji

Na tym etapie fizycznej sztucznej inteligencji system musi wykonać działanie za pomocą kontrolowanego elementu wykonawczego. Istotne pytanie nie brzmi jedynie, czy do takiego działania dochodzi, lecz także jakie informacje system wykorzystuje, jaki stan zmienia i jakie dowody potwierdzają, że zmiana była prawidłowa. Osoba oceniająca powinna móc odróżnić tę operację od działania AI opartej wyłącznie na oprogramowaniu w odwracalnym cyfrowym środowisku testowym oraz odtworzyć jej wynik w tych samych określonych warunkach.

Przekazanie do tego etapu fizycznej sztucznej inteligencji zaczyna się od zaplanowania wykonalnego działania, a powinno zakończyć wynikiem umożliwiającym monitorowanie skutków i odzyskanie sprawności. Należy odnotować niepewność, odrzucone możliwości, wykorzystane zasoby oraz wszelkie formy kontroli sprawowane przez człowieka lub oprogramowanie na granicy tego etapu. Taki zapis pozwala zespołom wykryć, czy opóźnienia w rzeczywistym świecie, zużycie, obecność ludzi i nieoczekiwane przeszkody znacznie zwiększają obszar potencjalnych awarii, zanim ta sama słabość doprowadzi do istotnych konsekwencji.

5. Monitorowanie skutków i odzyskiwanie sprawności: wynik, sprzężenie zwrotne i reguła zatrzymania w fizycznej sztucznej inteligencji

Na tym etapie fizycznej sztucznej inteligencji system musi monitorować skutki i odzyskiwać sprawność. Istotne pytanie nie brzmi jedynie, czy do takiego działania dochodzi, lecz także jakie informacje system wykorzystuje, jaki stan zmienia i jakie dowody potwierdzają, że zmiana była prawidłowa. Osoba oceniająca powinna móc odróżnić tę operację od działania AI opartej wyłącznie na oprogramowaniu w odwracalnym cyfrowym środowisku testowym oraz odtworzyć jej wynik w tych samych określonych warunkach.

Przekazanie do tego etapu fizycznej sztucznej inteligencji zaczyna się od wykonania działania za pomocą kontrolowanego elementu wykonawczego, a powinno zakończyć wynikiem umożliwiającym monitorowanie lub podjęcie ostatecznej decyzji. Należy odnotować niepewność, odrzucone możliwości, wykorzystane zasoby oraz wszelkie formy kontroli sprawowane przez człowieka lub oprogramowanie na granicy tego etapu. Taki zapis pozwala zespołom wykryć, czy opóźnienia w rzeczywistym świecie, zużycie, obecność ludzi i nieoczekiwane przeszkody znacznie zwiększają obszar potencjalnych awarii, zanim ta sama słabość doprowadzi do istotnych konsekwencji.

Przeanalizuj schemat fizycznej sztucznej inteligencji od początku do końca, aby zrozumieć proces działania, a w odwrotnym kierunku — by zdiagnozować awarię. Analiza w przód pokazuje, jak jeden etap dostarcza danych do następnego. Analiza wstecz zaczyna się od błędnego, powolnego, kosztownego lub niebezpiecznego wyniku i pozwala ustalić, które wcześniejsze założenie do niego doprowadziło. Często właśnie na tej drodze zespół odkrywa, że decydujący błąd wystąpił, zanim model cokolwiek wygenerował.

Przykład fizycznej sztucznej inteligencji krok po kroku

Autonomiczny robot mobilny może poruszać się po zmieniającej się fabryce, ustępować miejsca ludziom i zatrzymywać się, gdy spada pewność lokalizacji.

Ten przykład jest pouczający, ponieważ działanie fizycznej sztucznej inteligencji można powiązać z obserwowalnymi danymi wejściowymi, stanami pośrednimi i wynikiem, zamiast oceniać je na podstawie dopracowanego pokazu. Rygorystyczny test obejmowałby zwykłe, trudne i celowo wprowadzające w błąd przypadki związane z tym scenariuszem, zachowanie wartości bazowej bez zastosowania danej techniki oraz rejestrowanie zarówno średniej skuteczności, jak i skali poszczególnych awarii.

Zmień jedno założenie w przykładzie fizycznej sztucznej inteligencji i powtórz analizę. Usuń wymagane dane wejściowe, wprowadź sprzeczny sygnał, ogranicz moc obliczeniową, zmień populację użytkowników albo zmuś system do wstrzymania się od działania. Mechanizm, który działa tylko podczas jednego starannie przygotowanego pokazu, nie dowodzi, że można go uogólnić na warunki operacyjne.

Fizyczna sztuczna inteligencja a najczęstsze uproszczenie

Fizyczną sztuczną inteligencję często sprowadza się do AI opartej wyłącznie na oprogramowaniu, działającej w odwracalnym cyfrowym środowisku testowym. Takie uproszczenie pomija granicę, która definiuje to pojęcie. Może to prowadzić do porównywania przez kupujących nieporównywalnych produktów, wyolbrzymiania przez badaczy tego, co pokazuje eksperyment, oraz monitorowania przez operatorów niewłaściwego sygnału po wdrożeniu.

Porównanie powinno również wskazywać jednostkę analizy. W publikacji na temat fizycznej sztucznej inteligencji można wyodrębnić model lub algorytm, podczas gdy wdrożona usługa obejmuje dodatkowo wyszukiwanie, kierowanie, buforowanie, zasady, tożsamość, interfejsy użytkownika i monitorowanie. Dwa produkty mogą używać tego samego chwytliwego określenia, a jednocześnie realizować różne elementy tego stosu. Należy ustalić, który komponent wykonuje kluczową transformację i które pozostałe komponenty są niezbędne do uzyskania zgłaszanego wyniku.

Dlaczego fizyczna sztuczna inteligencja ma znaczenie we współczesnych systemach AI

Fizyczna sztuczna inteligencja ma dziś znaczenie, ponieważ systemom AI zapewnia się dostęp do większych kontekstów, większej liczby modalności, większej mocy obliczeniowej w czasie działania, szerszego zestawu narzędzi i głębszych powiązań z decyzjami organizacyjnymi. W takich warunkach coś, co wcześniej wydawało się szczegółem badawczym, może przesądzać o opóźnieniach, bezpieczeństwie, dostępności, kosztach środowiskowych, jakości produktu lub odpowiedzialności prawnej.

Istotną miarą nie jest to, czy fizyczna sztuczna inteligencja potrafi wygenerować jeden imponujący wynik. Liczy się to, czy dana technika poprawia ważny rezultat w reprezentatywnych warunkach i robi to skuteczniej niż prostszy punkt odniesienia. Zamiast sprowadzać wszystkie wyniki do jednej średniej, należy podawać rozkłady, kategorie awarii, opóźnienia w ogonie rozkładu, zużycie zasobów i grupy, których dotyczy wynik.

Ewaluacja powinna obejmować osobną analizę każdej modalności, testy sprzecznych danych wejściowych oraz weryfikację zakotwiczenia w czasie lub przestrzeni. Płynna odpowiedź oparta na wielu modalnościach nie dowodzi, że model uwzględnił właściwy sygnał. Zastosowanie tej zasady do fizycznej sztucznej inteligencji sprawia, że wyniki można przenieść na inne warunki: inny zespół może ocenić, czy deklarowana poprawa prawdopodobnie utrzyma się przy innym modelu, języku, platformie sprzętowej, zbiorze danych, populacji użytkowników lub poziomie akceptowanego ryzyka.

Korzyści, jakie może przynieść fizyczna sztuczna inteligencja

Najważniejszym powodem, by korzystać z fizycznej sztucznej inteligencji, jest to, że może ona bezpośrednio rozwiązywać problem stanowiący jej zamierzone wąskie gardło. Zależnie od sposobu wdrożenia korzyści mogą obejmować lepsze zakotwiczenie, wierniejsze odwzorowanie, lepszą zdolność uogólniania, mniejsze opóźnienia, ograniczenie przenoszenia danych w pamięci, większą przejrzystość odpowiedzialności lub bezpieczniejsze rozgraniczenie między propozycją modelu a rzeczywistym działaniem.

Korzyści należy opisywać za pomocą decyzji i pomiarów. „Większa inteligencja” nie jest kryterium akceptacji dla fizycznej sztucznej inteligencji. Przydatny cel może określać na przykład odsetek błędów w trudnych przypadkach, sposób odzyskiwania sprawności po otrzymaniu sprzecznych informacji, koszt przy określonym percentylu ruchu, czas weryfikacji przez człowieka, kalibrację lub odsetek działań mieszczących się w ustalonych granicach uprawnień.

Rodzaj awarii definiujący fizyczną sztuczną inteligencję

Głównym ograniczeniem jest to, że opóźnienia w rzeczywistych warunkach, zużycie, ludzie i nieprzewidziane przeszkody znacznie zwiększają zakres możliwych awarii. Nie można traktować tych awarii jako kwestii drugorzędnej, którą wystarczy wymienić po zakończeniu prac rozwojowych. W przypadku fizycznej sztucznej inteligencji powinny one od początku wpływać na gromadzenie danych, architekturę, uprawnienia, ewaluację, kryteria dopuszczenia do wdrożenia i monitorowanie.

Mechanizm kontroli fizycznej sztucznej inteligencji jest przydatny tylko wtedy, gdy zadziała przed wystąpieniem kosztownej lub nieodwracalnej konsekwencji. Należy wskazać najwcześniejszy możliwy do zaobserwowania sygnał zapowiadający awarię, ustalić próg lub regułę, wyznaczyć osobę odpowiedzialną i przetestować procedurę odzyskiwania sprawności. Zależnie od zastosowania może ona polegać na wstrzymaniu działania, przejściu na prostszy system, zażądaniu dodatkowych danych, przekazaniu sprawy człowiekowi, przywróceniu poprzedniej wersji modelu lub całkowitym zatrzymaniu działania.

Plan ewaluacji fizycznej sztucznej inteligencji

Ocenę AI działającej w świecie fizycznym rozpocznij od zapisania decyzji, którą mają wesprzeć dowody. Określ populację, w której system będzie działać, konsekwencje błędnego wyniku, informacje rzeczywiście dostępne w chwili podejmowania decyzji oraz najprostszą wiarygodną alternatywę. Dzięki temu łatwy do przeprowadzenia test porównawczy nie stanie się celem samym w sobie.

Do kontrolowanych porównań użyj nietkniętego zbioru testowego, a następnie sprawdź AI działającą w świecie fizycznym w etapowo wdrażanym środowisku operacyjnym. Ewaluacja offline pozwala porównywać warianty, natomiast tryb cienia, wdrożenia kanarkowe, limity liczby żądań lub bramki zatwierdzające pokazują, jak rzeczywisty ruch, pętle sprzężenia zwrotnego i ludzie zmieniają zachowanie systemu. Etap wdrożenia powinien mieć jasno określony warunek przerwania, zamiast zakładać, że każda poprawa uzasadnia pełne wdrożenie.

Wersjonuj dane wejściowe niezbędne do odtworzenia działania AI w świecie fizycznym: dane źródłowe, wstępne przetwarzanie, tokenizer lub koder, wagi modelu, konfigurację, prompt lub politykę, indeks wyszukiwania, zbiór ewaluacyjny, założenia dotyczące sprzętu oraz kod obsługujący system — zależnie od potrzeb. Bez śledzenia pochodzenia zespół nie ustali, czy zmiana wyniku wynika z zastosowanej metody, środowiska czy niezauważonej modyfikacji potoku przetwarzania.

Na koniec zastanów się, jaki wynik obaliłby twierdzenie, że AI działająca w świecie fizycznym przynosi korzyści. Jeśli żaden wynik nie mógłby zmienić decyzji o wdrożeniu, ewaluacja jest działaniem marketingowym. Wcześniej ustalone progi akceptacji i zachowany zbiór potwierdzający pozwalają oprzeć ocenę na dowodach.

Pytania, które warto zadać przed wdrożeniem AI działającej w świecie fizycznym

• Cel: Jakie mierzalne wąskie gardło ma rozwiązać AI działająca w świecie fizycznym?
• Mechanizm: Na którym z pięciu etapów zachodzi charakterystyczna transformacja?
• Punkt odniesienia: Jak wypada to rozwiązanie na tle AI działającej wyłącznie w oprogramowaniu, w odwracalnym cyfrowym środowisku testowym, lub innej, prostszej alternatywy?
• Dowody: Które typowe, trudne, adwersarialne i dotyczące podgrup przypadki poddano testom?
• Operacje: Jakie koszty związane z opóźnieniami, pamięcią, mocą obliczeniową, energią, konserwacją i weryfikacją pojawiają się przy dużej skali działania?
• Ryzyko: Jak zespół wykryje, że opóźnienia w rzeczywistych warunkach, zużycie, ludzie i nieoczekiwane przeszkody znacznie zwiększają zakres możliwych awarii?
• Odzyskiwanie działania: Czy system może wstrzymać się od odpowiedzi, przejść na rozwiązanie zastępcze, wycofać zmiany lub przekazać sprawę do eskalacji, zanim dojdzie do szkody?

Podstawowe źródła do poznawania AI działającej w świecie fizycznym

Wartościowe źródła na początek, dotyczące tej części stosu AI, która otacza AI działającą w świecie fizycznym, to artykuł naukowy o CLIP oraz ucieleśniony multimodalny model PaLM-E. Czytaj je łącznie z dokumentacją dokładnego modelu, zbioru danych, sprzętu i jurysdykcji, których dotyczy dane wdrożenie. Ogólne źródło może wyjaśnić mechanizm, ale tylko dowody dotyczące konkretnego wdrożenia pozwalają stwierdzić, czy dane rozwiązanie jest odpowiednie.

Co warto zapamiętać o AI działającej w świecie fizycznym

AI działająca w świecie fizycznym to określony mechanizm funkcjonujący w ramach większego systemu socjotechnicznego. Jej wartość wynika z poprawy konkretnego wyniku w jasno określonych warunkach, a nie z samej etykiety. Mapa pięciu etapów uwidacznia przepływ informacji, porównanie wskazuje, czym to rozwiązanie nie jest, a ścieżka sterowania pokazuje, w którym miejscu odpowiedzialny operator może interweniować.

Praktyczna zasada dotycząca AI działającej w świecie fizycznym jest następująca: określ cel, porównaj rozwiązanie z wiarygodnym punktem odniesienia, przetestuj najistotniejszy rodzaj awarii i zachowaj dowody potrzebne do monitorowania zmian. Dzięki tym elementom koncepcję można ocenić jako wybór inżynieryjny i związany z zarządzaniem. Bez nich pozostaje ona obiecującą nazwą, za którą kryje się nieznane ryzyko operacyjne.