Dr. Stavros Papadopoulos, Założyciel i Dyrektor Generalny, TileDB – Wywiad

TileDB to nowoczesna baza danych, która integruje wszystkie rodzaje danych, kod i obliczenia w jednym produkcie. TileDB została wyodrębniona z MIT i Intel (INTC ) Labs w maju 2017 roku.

Przed założeniem TileDB, Inc. w lutym 2017 roku, Dr. Stavros Papadopoulos był Starszym Naukowcem w Intel Parallel Computing Lab i członkiem Intel Science and Technology Center for Big Data at MIT CSAIL przez trzy lata. Spędził także około dwóch lat jako Visiting Assistant Professor w Departamencie Informatyki i Inżynierii na Uniwersytecie Nauki i Technologii w Hongkongu (HKUST). Stavros uzyskał tytuł doktora w dziedzinie informatyki na HKUST pod kierunkiem Prof. Dimitrisa Papadiasa i zajmował stanowisko postdoktoranckie na Uniwersytecie Chińskim w Hongkongu z Prof. Yufei Tao.

Byłeś wcześniej Starszym Naukowcem w Intel Parallel Computing Lab i członkiem Intel Science and Technology Center (ISTC) for Big Data at MIT CSAIL przez trzy lata. Czy możesz podzielić się z nami kilkoma ważnymi wydarzeniami z tego okresu Twojego życia?

Podczas mojego pobytu w Intel Labs i MIT miałem unikalną okazję do współpracy z wybitnymi osobami z dwóch różnych sektorów naukowych: obliczeń wysokowydajnych (w Intel) i baz danych (w MIT). Wiedza i doświadczenie, które zdobyłem, okazały się kluczowe w kształtowaniu mojej wizji stworzenia nowego typu systemu baz danych, który ostatecznie zbudowałem jako projekt badawczy w ramach ISTC i wyodrębniłem w to, co stało się TileDB.

Czy możesz wyjaśnić wizję, która stoi za TileDB i jak ma ona zrewolucjonizować nowoczesny krajobraz baz danych?

W ciągu ostatnich kilku lat nastąpił ogromny wzrost zainteresowania aplikacjami sztucznej inteligencji i generatywnej AI, które pomagają organizacjom podejmować lepsze decyzje. Każdego dnia organizacje odkrywają nowe wzorce w swoich danych, a następnie wykorzystują te informacje, aby uzyskać przewagę konkurencyjną. Te wzorce pojawiają się z coraz szerszego spektrum rodzajów danych, które muszą być przechowywane i zarządzane, aby mogły być wykorzystywane. Od tradycyjnych danych tabelarycznych po bardziej złożone źródła danych, takie jak posty społecznościowe, e-mail, obrazy, wideo i dane sensoryczne, możliwość wydobycia znaczenia z danych wymaga analizy łącznej. Wraz ze wzrostem ilości rodzajów danych zadanie to staje się coraz trudniejsze, wymagając nowego typu bazy danych. To właśnie dlatego powstała TileDB.

Dlaczego jest tak ważne, aby organizacje priorytetowo traktowały swoją infrastrukturę danych przed rozwijaniem zaawansowanych analiz i możliwości sztucznej inteligencji?

Wśród zapału do przyjęcia AI istnieje krytyczna i często pomijana prawda – powodzenie każdej inicjatywy AI jest ściśle związane z jakością i wydajnością podstawowej infrastruktury danych.

Problem polega na tym, że złożone dane, które nie są naturalnie reprezentowane w postaci tabel, są uważane za “niestrukturalne” i są przechowywane albo jako pliki płaskie w specjalnych formatach danych, albo zarządzane przez odrębne, specjalistyczne bazy danych. Naukowcy danych spędzają ogromne ilości czasu na przetwarzaniu danych, aby je skonsolidować. Szacuje się, że 80-90 procent czasu naukowców danych poświęconych jest na czyszczenie danych i przygotowanie ich do scalenia. To spowalnia czas szkolenia algorytmów AI i osiągania możliwości predykcyjnych. Co więcej, oznacza to, że tylko 10-20 procent czasu naukowców danych poświęconych jest tworzeniu wniosków.

Jakie są typowe pułapki, na które organizacje napotykają, gdy koncentrują się bardziej na aplikacjach AI i ML, zaniedbując przy tym solidną infrastrukturę baz danych?

Organizacje mają tendencję do koncentrowania się na nowych, błyszczących rzeczach. Duże modele językowe, bazy danych wektorowych i aplikacje generatywnej AI zbudowane na podstawie infrastruktury danych są obecnie przykładami, które odwracają uwagę od rozwiązania podstawowych problemów infrastruktury danych, co jest kluczowe dla sukcesu analitycznego. Po prostu mówiąc, jeśli Twoja organizacja postępuje w ten sposób, możesz stracić ogromne ilości czasu na łączenie infrastruktury danych i opóźnić lub całkowicie przegapić okazje do uzyskania wniosków.

Czy możesz wyjaśnić, co sprawia, że baza danych jest “adaptacyjna” i dlaczego ta adaptacyjność jest niezbędna dla nowoczesnej analityki danych?

Adaptacyjna baza danych to taka, która może zmieniać swój kształt, aby pomieścić wszystkie dane – niezależnie od ich rodzaju – i przechowywać je razem w ujednoliconej formie. Adaptacyjna baza danych nadaje strukturę danym, które w przeciwnym razie są uważane za “niestrukturalne”. Szacuje się, że 80 procent lub więcej danych na świecie jest nietabularnych, czyli “niestrukturalnych”, a większość modeli AI/ML (w tym LLM) jest szkolona na tego typu danych.

TileDB strukturyzuje dane w wielowymiarowych tablicach. Jak ten format poprawia wydajność i efektywność kosztową w porównaniu z tradycyjnymi bazami danych?

Podstawową siłą bazy danych tablicowej jest to, że może ona dostosować się do praktycznie każdego rodzaju danych i aplikacji. Wektor, na przykład, jest po prostu jednowymiarową tablicą. Nadając strukturę tym “niestrukturalnym” danym, można skonsolidować infrastrukturę danych, znacznie obniżyć koszty, wyeliminować silosy, zwiększyć produktywność i poprawić bezpieczeństwo. Idąc dalej, gdy infrastruktura obliczeniowa jest połączona z infrastrukturą zarządzania danymi, można natychmiast wydobyć wartość z danych.

Jakie są najbardziej godne uwagi przypadki użycia, w których TileDB znacznie poprawiła zarządzanie danymi i wydajność analityczną?

Pierwszym przypadkiem użycia TileDB było przechowywanie, zarządzanie i analiza ogromnych danych genetycznych, co jest bardzo trudne i kosztowne do modelowania i przechowywania w tradycyjnej, tabelarycznej bazie danych. Zaobserwowaliśmy fenomenalne zyski wydajności (w wielu przypadkach nawet 100-krotnie szybsze niż w innych bazach danych i specjalistycznych rozwiązaniach). Nasz model tablicowy jest jednak uniwersalny i może efektywnie przechwytywać inne rodzaje danych. Na przykład, TileDB jest doskonała w obsłudze danych biomedycznych, obrazowania satelitarnego, transkryptomiki komórkowej i danych chmury punktów, takich jak LiDAR i SONAR.

TileDB oferuje otwarte narzędzia do interoperacyjności. Jak podejście open source korzysta społeczności naukowej i społeczności danych?

Jesteśmy wielkimi zwolennikami otwartego oprogramowania w TileDB. Podstawowa biblioteka i specyfikacja formatu danych są otwarte. Dodatkowo, nasze oferty w dziedzinie nauk życia, zbudowane na podstawie biblioteki tablicowej, są również otwarte. Obejmuje to TileDB-SOMA, pakiet do efektywnej i skalowalnej obsługi danych komórkowych, który został zbudowany we współpracy z Fundacją Chan Zuckerberg i napędza CELLxGENE Discover Census – najwiębszy na świecie w pełni skatalogowany zbiór danych komórkowych. Jest to również otwarte i wykorzystywane przez instytucje akademickie i główne firmy farmaceutyczne na całym świecie.

Co widzisz jako przyszłe trendy w zarządzaniu danymi?

Wraz ze wzrostem bogactwa danych, aplikacje AI stają się coraz bardziej inteligentne. Duże modele językowe stają się coraz potężniejsze, wykorzystując wiele rodzajów danych, a integracja tych modeli z różnymi zbiorami danych otwiera nową granicę w AI znana jako multimodalna AI.

Praktycznie rzecz biorąc, multimodalna AI oznacza, że użytkownicy nie są ograniczeni do jednego wejścia i jednego typu wyjścia i mogą prawie dowolnie wprowadzać dane do modelu, aby wygenerować prawie dowolny typ zawartości. Widzimy TileDB jako idealną bazę danych do obsługi multimodalnej AI, zbudowaną do obsługi nowych i różnych rodzajów danych, które mogą pojawić się.

Dziękujemy za wspaniały przegląd, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić TileDB.