Międzynarodowi naukowcy apelują o większą przejrzystość w badaniach nad sztuczną inteligencją

Grupa międzynarodowych naukowców z różnych instytucji, w tym Princess Margaret Cancer Centre, University of Toronto, Stanford University, Johns Hopkins, Harvard School of Public Health oraz Massachusetts Institute of Technology, apeluje o większą przejrzystość w badaniach nad sztuczną inteligencją (AI). Główną siłą napędową tego apelu jest uwolnienie ważnych odkryć, które mogą przyspieszyć leczenie raka na podstawie badań. 

Artykuł, w którym naukowcy wezwali czasopisma naukowe do podniesienia standardów w zakresie przejrzystości wśród badaczy komputeryjnych, został opublikowany w Nature 14 października 2020 r. Grupa ta również opowiadała się za tym, aby ich koledzy udostępniali kod, model i środowiska komputeryjne w publikacjach. 

Artykuł nosił tytuł „Przejrzystość i powtarzalność w sztucznej inteligencji.” 

Udostępnianie szczegółów badań nad AI

Dr Benjamin Haibe-Kains jest starszym naukowcem w Princess Margaret Cancer Centre i pierwszym autorem publikacji. 

„Postęp naukowy zależy od możliwości badaczy skrupulatnego sprawdzania wyników badania i powtarzania głównych ustaleń, aby się z nich uczyć”, mówi dr Haibe-Kains. „Ale w badaniach komputeryjnych nie jest to jeszcze powszechny kryterium, aby szczegóły badania nad AI były w pełni dostępne. To szkodzi naszemu postępowi.” 

Obawy pojawiły się po opublikowaniu badania Google Health przez McKinney et al. w ważnym czasopiśmie naukowym w 2020 r., w którym twierdzono, że system AI może przewyższać ludzkich radiologów pod względem wytrzymałości i szybkości w przypadku badań mammograficznych. Badanie to otrzymało wiele uwagi medialnej w różnych głównych publikacjach. 

Niezdolność do odtworzenia modeli

Jednym z głównych problemów, które pojawiły się po badaniu, było to, że nie opisano w nim szczegółowo zastosowanych metod, a także kodu i modeli. Brak przejrzystości oznaczał, że badacze nie mogli się dowiedzieć, jak działa model, w wyniku czego model nie mógł być wykorzystywany przez inne instytucje. 

„Na papierze i w teorii badanie McKinney et al. jest piękne”, mówi dr Haibe-Kains. „Ale jeśli nie możemy się z niego uczyć, to ma ono niewielką lub żadną wartość naukową.”

Dr Haibe-Kains został wspólnie powołany na stanowisko profesora nadzwyczajnego w dziedzinie biofizyki medycznej na University of Toronto. Jest on również afiliowany w Vector Institute for Artificial Intelligence. 

„Badacze są bardziej zmotywowani do opublikowania swoich wyników niż do poświęcenia czasu i zasobów, aby upewnić się, że ich badanie może być powtórzone”, kontynuuje dr Haibe-Kains. „Czasopisma są podatne na „hype” AI i mogą obniżać standardy przyjmowania artykułów, które nie zawierają wszystkich materiałów wymaganych do tego, aby badanie było powtarzalne — często w sprzeczności z własnymi wytycznymi.”

To środowisko oznacza, że modele AI mogą dłużej trwać, zanim trafią do środowisk klinicznych, a modele nie mogą być powtarzane ani poznawane przez badaczy. 

Grupa badaczy zaproponowała różne ramy i platformy, aby zaradzić temu problemowi i umożliwić udostępnianie metod. 

„Mamy duże nadzieje na to, że AI będzie przydatne dla naszych pacjentów z rakiem”, mówi dr Haibe-Kains. „Udostępnianie i rozwijanie naszych odkryć — to prawdziwy wpływ naukowy.”