Międzynarodowi naukowcy apelują o większą przejrzystość w badaniach nad sztuczną inteligencją

Grupa międzynarodowych naukowców z różnych instytucji, w tym Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health i Massachusetts Institute of Technology, apeluje o większą przejrzystość w badaniach nad sztuczną inteligencją (AI). Główną siłą napędową tego apelu jest uwolnienie ważnych odkryć, które mogą przyspieszyć leczenie raka na podstawie badań.

Artykuł, w którym naukowcy wezwali czasopisma naukowe do podniesienia standardów przejrzystości wśród badaczy komputerowych, został opublikowany w Nature 14 października 2020 r. Grupa ta również opowiadała się za tym, aby ich koledzy udostępniali kod, model i środowiska komputerowe w publikacjach.

Artykuł nosił tytuł „Przejrzystość i powtarzalność w sztucznej inteligencji”.

Udostępnianie szczegółów badań AI

Dr Benjamin Haibe-Kains jest starszym naukowcem w Princess Margaret Cancer Centre i pierwszym autorem publikacji.

„Postęp naukowy zależy od możliwości badaczy skrupulatnego sprawdzania wyników badania i powtarzania głównych odkryć, aby się z nich uczyć”, mówi dr Haibe-Kains. „Ale w badaniach komputerowych nie jest to jeszcze powszechny kryterium, aby szczegóły badania AI były w pełni dostępne. To szkodzi naszemu postępowi”.

Obawy pojawiły się po opublikowaniu przez Google (GOOGL ) Health badania McKinney et al. w głównym czasopiśmie naukowym w 2020 r., w którym twierdzono, że system AI może przewyższać ludzkich radiologów pod względem solidności i szybkości w przypadku badań mammograficznych. Badanie to spotkało się z dużym zainteresowaniem mediów w różnych głównych publikacjach.

Niezdolność do odtworzenia modeli

Jednym z głównych problemów, które pojawiły się po badaniu, było to, że nie opisano w nim szczegółowo metod użytych, a także kodu i modeli. Brak przejrzystości oznaczał, że badacze nie mogli się uczyć, jak działa model, w wyniku czego model nie mógł być używany przez inne instytucje.

„Na papierze i w teorii badanie McKinney et al. jest piękne”, mówi dr Haibe-Kains. „Ale jeśli nie możemy się z niego uczyć, to ma ono niewielką lub żadną wartość naukową”.

Dr Haibe-Kains został wspólnie powołany na stanowisko profesora nadzwyczajnego w dziedzinie biofizyki medycznej na University of Toronto. Jest również afiliowany w Vector Institute for Artificial Intelligence.

„Badacze są bardziej zachęcani do publikowania swoich odkryć niż do poświęcania czasu i zasobów, aby zapewnić, że ich badanie może być odtworzone”, kontynuuje dr Haibe-Kains. „Czasopisma są podatne na „hype” AI i mogą obniżyć standardy przyjmowania prac, które nie zawierają wszystkich materiałów niezbędnych do tego, aby badanie było powtarzalne — często wbrew własnym wytycznym”.

To środowisko oznacza, że modele AI mogą dłużej trwać, zanim trafią do środowisk klinicznych, a modele nie mogą być odtwarzane ani uczione przez badaczy.

Grupa badaczy zaproponowała różne ramy i platformy, aby rozwiązać ten problem i umożliwić udostępnianie metod.

„Mamy duże nadzieje na to, że AI będzie przydatne dla naszych pacjentów z rakiem”, mówi dr Haibe-Kains. „Udostępnianie i rozwijanie naszych odkryć — to prawdziwy wpływ naukowy”.