Νικόλαος Βασιλόγλου, Αντιπρόεδρος Έρευνας ML στο RelationalAI – Σειρά Συνεντεύξεων

Νικόλαος Βασιλόγλου είναι ο Αντιπρόεδρος Έρευνας ML στο RelationalAI. Έχει περάσει την καριέρα του στη δημιουργία λογισμικού ML και την ηγεσία έργων επιστημονικών δεδομένων στο Λιανικό Εμπόριο, την Online Διαφήμιση και την Ασφάλεια. Είναι μέλος της κοινότητας ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P, έχοντας υπηρετήσει ως συγγραφέας, κριτής και οργανωτής Συνεδρίων και της κύριας διάσκεψης. Ο Νικόλαος ηγείται των ερευνών και των στρατηγικών πρωτοβουλιών στο σημείο τομής των Μεγάλων Γλωσσικών Μοντέλων και των Γραφών Γνώσεων για το RelationalAI.

RelationalAI είναι μια εταιρεία επιχειρηματικού AI που κατασκευάζει μια πλατφόρμα ευφυούς λήψης αποφάσεων που σχεδιάζεται για να βοηθήσει τις οργανώσεις να μεταβούν πέρα από την ανάλυση δεδομένων προς την αυτοματοποιημένη, υψηλής ποιότητας λήψη αποφάσεων. Η τεχνολογία της ενσωματώνεται απευθείας με περιβάλλοντα δεδομένων όπως το Snowflake, συνδυάζοντας σχεσιακές βάσεις δεδομένων, γράφους γνώσεων και προηγμένα συστήματα συλλογισμού για να δημιουργήσει ένα «σεμαντικό μοντέλο» μιας επιχείρησης – ουσιαστικά κωδικοποιώντας τον τρόπο με τον οποίο λειτουργεί μια εταιρεία, οι σχέσεις της και η λογική της. Αυτό επιτρέπει στα συστήματα AI (συμπεριλαμβανομένων των agent λήψης αποφάσεων όπως το «Rel») να συλλογίζονται πάνω από複잡ά, διασυνδεδεμένα δεδομένα και να παράγουν προβλεπτικές και προληπτικές επισημάνσεις, επιτρέποντας στις επιχειρήσεις να λαμβάνουν γρηγορότερες, πιο ενημερωμένες αποφάσεις χωρίς να μετακινούν τα δεδομένα τους έξω από ασφαλή cloud περιβάλλοντα.

Έχετε μια σπάνια επαγγελματική πορεία που εκτείνεται σε ακαδημαϊκή μηχανική μάθηση, μεγάλης κλίμακας βιομηχανικές αναπτύξεις και ηγετικές θέσεις σε εταιρείες όπως η Symantec, η Aisera και τώρα το RelationalAI. Πώς οι εμπειρίες αυτές διαμόρφωσαν την προοπτική σας για το πού συναντιέται η έρευνα μηχανικής μάθησης με τα πραγματικά συστήματα σήμερα;

Είχα την τύχη να ασχοληθώ με διαφορετικά επιχειρηματικά πεδία, από το λιανικό εμπόριο και την ασφάλεια, μέχρι την online διαφήμιση. Αυτό με βοήθησε να κατανοήσω πώς η μηχανική μάθηση και το AI ταιριάζουν ως κοινός παρανομαστής. Γνωρίζαμε από τις αρχές της δεκαετίας του 2000 ότι το λογισμικό καταβρόχθισε τον κόσμο, τα δεδομένα καταβρόχθισαν την ευφυή λήψη αποφάσεων, ωστόσο λίγες εταιρείες, συμπεριλαμβανομένης της Google (GOOGL ), πίστευαν ότι οι προηγμένες αλγόριθμοι μηχανικής μάθησης θα καταβρόχθισαν τελικά τα πάντα. Το 2008, οι συμμετέχοντες στο NeurIPS θεωρούνταν νερδ και ονειροπόλοι που δεν κατανοούσαν τον πραγματικό κόσμο, απλά άτομα που άρεσαν να πειράζουν με παιχνίδια. Ήταν αλήθεια μέχρι ένα σημείο, αλλά πίστευα ότι αυτό ήταν σε μια τροχιά αλλαγής. Σε αντίθεση με άλλους, δεν εγκατέλειψα την ενεργό συμμετοχή στη μετάβαση της ακαδημαϊκής έρευνας στη βιομηχανία.

Η ανάλυση σας για το NeurIPS 2025 χρησιμοποίησε βοηθούς κωδικοποίησης όπως το Claude Code, το OpenAI Codex και το NotebookLM για να επεξεργαστεί ολόκληρη τη διάσκεψη. Τι σας εξέπληξε περισσότερο για τη χρήση συστημάτων AI για την ανάλυση της έρευνας AI خود;

Ήταν εκπληκτικά εύκολο να κατασκευάσω λογισμικό για να σκαλίσω τα δεδομένα, να τα διαβάσω με μηχανή και να τα κατηγοριοποιήσω σε ενότητες και ακόμη να τα συνοψίσω και να τα εξηγήσω με έναν ιδιαίτερα εύκολο τρόπο. Τα συστήματα GenAI είναι απίστευτα καλά στο να αφηγούνται μια ιστορία αλλά όχι να αφηγούνται την ιστορία. Το NotebookLM είναι η βασίλισσα του να αναλύει οποιοδήποτε πεδίο και να παρέχει απίστευτα αποτελέσματα. Ωστόσο, δεν έχετε κανέναν έλεγχο над την ιστορία, τα γραφικά ή την έμφαση. Μάθαμε ότι τα εργαλεία δεν είναι καλά στο να δημιουργούν διαφάνειες PowerPoint, οπότε έπρεπε να καταφύγω στη δημιουργία HTML και στη συνέχεια να τις μετατρέψω σε PDF. Η μεγαλύτερη πρόκληση ήταν η δημιουργία σχημάτων – η διάχυση γεννήτριας ήταν απλά πολύ αργή, αξιόπιστη και ακριβή, χωρίς κανέναν έλεγχο. Εκπληκτικά, τα μοντέλα είναι πολύ καλά στο να δημιουργούν SVGs προγραμματικά με βιβλιοθήκες Python όπως το matplotlib, το plotly και άλλα. Αυτή η τεχνική κλιμάκωσε, αλλά απαιτούσε πολλές διορθώσεις για να διορθώσει σφάλματα οπτικής αναπαράστασης. Τα μοντέλα θα είναι ακόμη καλύτερα το επόμενο έτος.

Μια από τις ισχυρότερες θεματικές στην ανάλυση σας είναι η μετάβαση από την κλίμακα εκπαίδευσης σε υπολογισμό inference. Γιατί ο υπολογισμός inference εμφανίζεται ως ένας τόσο ισχυρός μοχλός για την βελτίωση της απόδοσης του μοντέλου;

Οι νόμοι κλίμακας είναι ο πυξίδα μας. Η αύξηση του μεγέθους του μοντέλου και των δεδομένων εκπαίδευσης έχει φτάσει στο όριο της. Ο πρώτος νόμος κλίμακας μας οδήγησε μέχρι το GPT-4. Ήταν αυτοί που βοήθησαν την OpenAI να ξεκινήσει την επανάσταση GenAI. Συνειδητοποιήσαμε σύντομα ότι υπήρχε μια άλλη διάσταση που επέτρεψε στο μοντέλο να παράγει πολλά token πριν φτάσει σε μια απάντηση. Αυτός είναι ένας άλλος τρόπος για να βελτιωθεί η απόδοση των LLM. Το μέγεθος του μοντέλου και το μήκος συλλογισμού συχνά εκφράζονται ως τρόποι σκέψης του Συστήματος 1 και Συστήματος 2 (Daniel Kahneman). Οι ιχνηλάτες συλλογισμού είναι ένας άλλος τρόπος για να αυξηθεί η ικανότητα του μοντέλου. Αν σκεφτείτε το ζήτημα, οι επιτυχίες των ανθρώπων ξεκίνησαν από ενστικτώδεις (υψηλές νοημοσύνες), αλλά η επιτυχία ήταν πάντα λόγω μακράς και οδυνηρής συλλογισμού. Βλέπουμε ένα μοτίβο: μικρότερα μοντέλα με μεγάλα παράθυρα συλλογισμού ξεπερνούν μοντέλα που είναι 100 φορές μεγαλύτερα. Οπότε, η σκέψη μετράει περισσότερο από το IQ στα LLM.

Υπογραμμίζετε τη μετάβαση από μονολιθικά μοντέλα σε συστήματα που είναι ικανά για σχεδιασμό, ενέργεια και επαλήθευση των εξόδων τους. Πόσο κοντά είμαστε στο να γίνει το agentic AI ένα αξιόπιστο παραγωγικό παράδειγμα και όχι ένα ερευνητικό πρωτότυπο;

Κάνουμε μεγάλα βήματα προς αυτή την κατεύθυνση. Τα μεγαλύτερα προβλήματα είναι η αξιοπιστία και η ασφάλεια, ώστε να μπορούμε να τους εμπιστευθούμε να είναι αυτονομικοί. Αν κοιτάξετε στενά το περιεχόμενο του NeurIPS, θα δείτε αυτόνομες συστήματα που κάνουν έρευνα, λύνουν μαθηματικά προβλήματα και κάνουν προγραμματισμό, αλλά δεν βλέπετε ένα agentic αυτονομικό αυτοκίνητο, για παράδειγμα. Η τελευταία εμπειρία με το Moltbook (ένα κοινωνικό δίκτυο για πράκτορες AI) τόνισε τα προβλήματα των αυτονομικών agentic AI. Ωστόσο, η ανακάλυψη νέων φαρμάκων και υλικών με agentic AI είναι τεράστια, οπότε ας γιορτάσουμε και ας δείξουμε σε αυτό για την ώρα.

Η απόδοση φαίνεται να είναι ένας σημαντικός οδηγός της καινοτομίας, με μικρότερα μοντέλα που επιτύγχαναν ανταγωνιστική απόδοση μέσω αρχιτεκτονικών βελτιώσεων και έξυπνων στρατηγικών inference. Μπαίνουμε σε μια εποχή όπου οι βελτιώσεις απόδοσης μετράνε περισσότερο από το μέγεθος του μοντέλου;

Καθώς το AI κλιμακώνεται στην παραγωγή, η μηχανική γίνεται πιο σημαντική. Η εξάρτηση από τα μοντέλα του μετώπου απλά δεν είναι βιώσιμη. Είναι καλό για τις διαемонSTRATIONS, αλλά οι εταιρείες αντιμετωπίζουν την πικρή πραγματικότητα όταν βλέπουν το υψηλό κόστος των μεγάλων μοντέλων. Για πρώτη φορά, τα μικρότερα μοντέλα έγιναν μια πολύ πιο βιώσιμη λύση. Υπάρχει μια σιωπηλή δύναμη που αλλάζει το status quo της βιομηχανίας. Μέχρι τώρα, η NVIDIA (NVDA ) είχε το μονοπώλιο των GPU και διατήρησε τις τιμές υψηλές. Η AMD κάνει το δρόμο της στην αγορά με υψηλής ποιότητας chips και αυτό θα αναγκάσει τις τιμές να πέσουν. Η ενέργεια συνεχίζει να είναι ένα ζήτημα, αλλά βλέπουμε κάποια κίνηση στην αγορά. Όπως τα εργαστήρια του μετώπου έγιναν πιο ακριβά, η λύση των μικρότερων μοντέλων σε ενοικιαζόμενους GPU έγινε πιο βιώσιμη.

Η παρουσίαση σας υποδηλώνει ότι το πεδίο έχει μεταβεί από την κλίμακα ενός άξονα (παράμετροι) σε μια πολυπαραμετρική κλίμακα που εμπλέκει παράμετρους, δεδομένα, αρχιτεκτονική και inference. Πώς πρέπει οι ερευνητές και οι praktikoi να σκέφτονται αυτό το νέο παράδειγμα κλίμακας;

Για τους περισσότερους επαγγελματίες, η αρχιτεκτονική και οι παράμετροι είναι πέρα από τον έλεγχό τους. Οι παραγωγοί των μοντέλων που έχουν τον απαραίτητο κεφάλαιο θα οδηγήσουν την καινοτομία. Το μήκος inference των token θα καθοριστεί από το capex spend της οργάνωσής τους. Τι παραμένει υπό τον έλεγχό τους είναι τα δεδομένα. Θα δούμε περισσότερη εστίαση στην δημιουργία, την επιμέλεια και την αντιμετώπιση σφαλμάτων των δεδομένων (ιχνηλάτες συλλογισμού την περισσότερη ώρα). Αυτό θα είναι ο στόχος των ημερήσιων εργασιών. Φυσικά, θα πρέπει να ακολουθούν το NeurIPS και τις άλλες μεγάλες διάσκεψεις για να μείνουν ενημερωμένοι με τις τάσεις των νέων αρχιτεκτονικών.

Στην ανάλυση NeurIPS, υπογραμμίζετε ότι μια αυξανόμενη μερίδα της έρευνας εστιάζει στην επιστημονική ανακάλυψη με τη βοήθεια του AI, που κυμαίνεται από τη βιολογία μέχρι την κλιματική μοντελοποίηση. Βλέπετε το AI για την επιστήμη ως το επόμενο μεγάλο μέτωπο για την έρευνα μηχανικής μάθησης;

Νομίζω ότι αυτό ξεπερνά την ακαδημαϊκή έρευνα. Βλέπουμε την επόμενη χρυση πανδή. Το 1849, η χρυση πανδή στην Καλιφόρνια έφτασε στο αποκορύφωμά της. Όλα όσα έπρεπε να κάνουν οι άνθρωποι ήταν να στραγγίσουν συνεχώς το νερό του ποταμού για να βρουν χρυσό. Ξέρουμε τώρα ότι πολλοί δεν βρήκαν χρυσό, αλλά αυτό που βλέπουμε σήμερα είναι πολύ πραγματικό. Μπορώ να δω ένα μεγάλο κύμα από startups δύο ή τριών ατόμων που χρησιμοποιούν μοντέλα γλωσσών για να βρουν νέες ύλες, φάρμακα και συστατικά προϊόντων. Η καύση token με τον πιο έξυπνο τρόπο μπορεί να φέρει μεγάλα κέρδη. Βοηθοί κωδικοποίησης όπως το Claude Code, το OpenAI Codex και το Google Antigravity μπορούν να αφαιρέσουν το moat για τις εταιρείες SaaS, αφήνοντας μια ολόκληρη γενιά πολύ ικανοποιητικών επιστημόνων υπολογιστών στην επιστημονική αναζήτηση. Αν εργάζεστε για μια μη κερδοσκοπική οργάνωση όπως η First Principles ή η Bio[hub], υπάρχουν ευκαιρίες να βρεθούν νέοι φυσικοί νόμοι και θεωρίες ή άλλες συνεισφορές στη βιολογία. Αν θέλετε να παράγετε έσοδα, θα εργαστείτε στην εφεύρεση νέων προϊόντων με βάση την επιστήμη, όπως φάρμακα, υλικά, μπαταρίες κ.λπ.

Η εργασία σας επίσης υπογραμμίζει μια αυξανόμενη лакίδα επαλήθευσης, όπου τα μοντέλα επιτύγχαναν ισχυρά σκορ σε benchamrks αλλά απέτυχαν σε απλές πραγματικές παραλλαγές. Τι αποκαλύπτει αυτή η лакίδα για τις τρέχουσες περιορισμοί των μεγάλων γλωσσικών μοντέλων;

Φαίνεται να έχουν μια εκπληκτική μνήμη και μπορούν να γενικεύσουν καλά. Τα benchamrks είναι καλά στην αρχή της έρευνας. Μόλις διασχίσετε ένα όριο, μαθαίνετε το benchamrk και όχι το πρόβλημα. Έχουμε sido πολύ καλοί όλα αυτά τα χρόνια να επαναφέρουμε τα benchamrks και να τα κάνουμε ακόμη πιο δύσκολα για να推 τις περιορισμοί. Το πρόβλημα με τα benchamrks είναι ότι σε κάποιο σημείο, αρχίζουμε να overindex και τελικά να κάνουμε trampa. Η ολόκληρη τάση εδώ είναι να κάνουμε τους ανταγωνιστές μας πιο ειλικρινείς. Προσωπικά, δεν δίνω πολλή προσοχή στα benchamrks μετά από quelques άλματα. Μπορείτε να έχετε ένα καλό προϊόν που δεν είναι ακόμη στο top ten του leaderboard. Έχω επίσης δει πολλά κακά προϊόντα που είναι καλά στα benchamrks.

Η παρουσίαση σας υποδηλώνει ότι τα μικρά γλωσσικά μοντέλα που συνδυάζονται με inference scaling και agentic αρχιτεκτονικές θα μπορούσαν να επιτρέψουν ισχυρά συστήματα AI που τρέχουν έξω από τα κέντρα δεδομένων. Μπορεί αυτή η αποκεντρωποίηση να ανασχηματίσει τον τρόπο με τον οποίο το AI αναπτύσσεται σε διάφορες βιομηχανίες;

Είδαμε μια μεγάλη έμφαση στην ανάπτυξη edge. Θα δούμε έξυπνα συσκευές γύρω μας σίγουρα. Η Microsoft (MSFT ) έχει εργαστεί για χρόνια στο 1bit LLM, το οποίο επιτυγχάνει περίπου 30x συμπίεση, επιτρέποντας του να τρέξει ακόμη και μοντέλα μετώπου σε ένα μόνο chip στο μέλλον. Έχουμε παρακολουθήσει αυτή τη δουλειά για χρόνια και η πρόοδος είναι εκπληκτική. Ιδιαίτερα στο domaine των wearable.

Κάτι που καλύφθηκε στο NeurIPS του προηγούμενου έτους ήταν η ιδέα της συνδυασμού αδύναμων μοντέλων edge με μοντέλα μετώπου. Αυτό σας επιτρέπει να ρυθμίσετε την ισχύ inference σας με βάση το bandwidth σας σε ένα συνεχές φάσμα. Το πρώτο Telco Workshop στο NeurIPS αποκάλυψε μια τάση προς την τοποθέτηση GPU σε πύργους κελυφών, το οποίο είναι ενδιαφέρον γιατί ο πύργος κελυφών δεν είναι ούτε ένα κέντρο δεδομένων ούτε μια συσκευή edge. Αυτό εισάγει ένα νέο επίπεδο στην ιεραρχία υπολογισμού.

Κάτι άλλο που ξέφυγε από τα LLMs είναι η διανεμημένη εκπαίδευση μοντέλων (και δεν εννοώ την εκπαίδευση Gemini της Google σε απομακρυσμένα κέντρα δεδομένων). Υπάρχει μια πολύ ενδιαφέρουσα τάση που पकδίζει στα ανεξάρτητα entités που εκπαιδεύουν τα δικά τους μοντέλα και οι χρήστες που τα συνδυάζουν σαν Lego για να κατασκευάσουν μεγαλύτερα και πιο ισχυρά. Αυτή είναι μια πολύ υποσχόμενη modulaire αρχιτεκτονική. Αυτός είναι ο τρόπος με τον οποίο εκπαιδεύονται τα μεγάλα μοντέλα. Διαφορετικές ομάδες κατασκευάζουν ειδικά μοντέλα και στο τέλος, τα συνδυάζουν σαν Lego blocks.

Μετά την ανάλυση χιλιάδων εγγράφων NeurIPS, πού νομίζετε ότι η ερευνητική κοινότητα του AI προβλέπει ακριβώς την πρόοδο, και πού μπορεί να λείπει τις πιο σημαντικές μελλοντικές μετατοπίσεις;

Η ερευνητική κοινότητα δεν κάνει προβλέψεις. Οι ερευνητές έχουν τους δικούς τους οδηγούς, περιέργεια, χρηματοδότηση, τύχη και φυσικά, ένστικτο. Μπορούν πάντα να λείπουν ενδιαφέρουσες κατευθύνσεις, αλλά σχεδόν σίγουρα κάποιος θα τις βρει και θα τις πάρει σε κάποιο σημείο στο μέλλον. Αυτό είναι αναμενόμενο και είναι υγιές. Οι εκτελεστές, οι επενδυτές και οι μηχανικοί απαιτούν να αναγνωρίσουν τις αναδυόμενες τάσεις ώστε να μπορέσουν να λάβουν τις σωστές αποφάσεις και να κάνουν τις πιο μορφωμένες στοιχηματικές. Στο 5ετές παράθυρο ανάλυσης μου, υπήρχαν τάσεις που πιάστηκαν νωρίς και άλλες σημάδια που χάθηκαν. Για κάποια από αυτά, υπάρχει ακόμη χρόνος για να ιππεύσει το κύμα.

Οι αγορές δεδομένων είναι κάτι που έχω παρακολουθήσει για χρόνια και έκαναν το άλμα αυτό το έτος. Το λείπων συστατικό ήταν η απόδοση. Μπορούμε τώρα να αναγνωρίσουμε τα δεδομένα εκπαίδευσης που συνεισέφεραν σε một LLM ανταγωνισμό σε πραγματικό χρόνο. Αυτό σημαίνει ότι μπορείτε να πληρώσετε dividends. Αυτό έχει sido μια λείπων ευκαιρία από τους εκδότες που είναι σε αγωγές με μοντέλα μετώπου. Κάποιοι από αυτούς έπρεπε να υποταχθούν σε συμφωνίες αδειοδότησης, ενώ πιστεύω ότι έχουν την ευκαιρία να κάνουν πιο σταθερά έσοδα από ένα μοντέλο απόδοσης.

Υπάρχει μια επανάσταση που έρχεται στη ρομποτική. Τα παγκόσμια μοντέλα που ανακοίνωσαν η NVIDIA και άλλοι κάνουν πολύ ακριβείς και κλιμακωτές φυσικές симуляции. Οπότε, περιμένετε το AI να γίνει πιο φυσικό στο μέλλον.

Η αρχιτεκτονική του transformer τελικά συγχωνεύθηκε με τα μοντέλα του χώρου καταστάσεων όπως τα RNNs, mamba κ.λπ. και έχει παραγάγει απίστευτα μικρά LLMs. Τώρα γνωρίζουμε τις ακριβείς περιορισμοί του transformer που παίζουν einen σημαντικό ρόλο στην απόδοση, αλλά ακόμη λείπουν τα επόμενα βήματα. Αυτό θα έρθει όταν ο transformer έχει αποδειχθεί να είναι die hard και πολύ ανθεκτικός. Τι δεν ξέρουμε είναι αν θα είναι ένας άνθρωπος ή ένας transformer που θα σχεδιάσει τη νέα αρχιτεκτονική ενός LLM! Ο transformer ενοποίησε όλες τις θραυσματικές αρχιτεκτονικές στο NLP (ναι, μην ξεχάσετε ότι η GenAI ξεκίνησε από βασικές εργασίες NLP, όπως η ταξινόμηση οντοτήτων). Λειτούργησε για τα μαθηματικά, φέτος δούλεψε για τα πίνακες, αλλά δεν δούλεψε για τη φυσική. Μετρήθηκα πάνω από 15 διαφορετικές αρχιτεκτονικές. Οπότε, η νέα αρχιτεκτονική που ενοποιεί τη φυσική μπορεί επίσης να είναι αυτή που θα αντικαταστήσει τον transformer στη διαδρομή του AGI.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν το RelationalAI.