니콜라오스 바실로글루, RelationalAI 연구 부문 부사장 – 인터뷰 시리즈

니콜라오스 바실로글루는 RelationalAI의 연구 부문 부사장입니다. 그는 소매, 온라인 광고, 보안 분야에서 ML 소프트웨어 개발과 데이터 과학 프로젝트를 이끌면서 경력을 쌓았습니다. 그는 ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&P 커뮤니티의 일원으로서 저자, 리뷰어, 워크샵 및 주요 컨퍼런스의 조직자로 활동했습니다. 니콜라오스는 RelationalAI에서 대규모 언어 모델과 지식 그래프의 교차점에 대한 연구와 전략적 이니셔티브를 이끌고 있습니다.

RelationalAI는 기업용 AI 회사로, 데이터 분석을 넘어 자동화된 고품질 의사결정을 지원하는 의사결정 지능 플랫폼을 구축합니다. 이 기술은 스노우플레이크와 같은 데이터 환경과 직접 통합되어 관계형 데이터베이스, 지식 그래프, 고급 추론 시스템을 결합하여 비즈니스의 “시맨틱 모델”을 생성합니다. 이는 회사의 운영, 관계, 논리를 암호화하여 AI 시스템(예: “Rel”과 같은 의사결정 에이전트)이 복잡한 상호 연결된 데이터를 추론하고 예측 및 규정적 통찰력을 생성할 수 있도록 합니다. 이는 기업이 데이터를 외부로 이동하지 않고 더 빠르고 정보에 기반한 의사결정을 내릴 수 있도록 합니다.

학술 기계 학습, 대규모 산업 배포, 리더십 역할을 거친 귀하의 경력은 기계 학습 연구와 실제 시스템을 만나는 지점에서 귀하의 관점을 어떻게 형성했나요?

저는 소매, 보안, 온라인 광고와 같은 다양한 비즈니스 도메인과 관련된 기회를 가졌습니다. 이는 기계 학습과 AI가 공통의 분모로 작용하는 방식을 이해하는 데 도움이 되었습니다. 우리는 2000년대 초부터 소프트웨어가 세계를 먹어가는 반면 데이터는 의사결정 지능을 먹어간다는 것을 알았습니다. 그러나 구글을 포함한 몇몇 회사만이 고급 기계 학습 알고리즘이 궁극적으로 모든 것을 먹어갈 것이라고 믿었습니다. 2008년 NeurIPS 참석자는 현실을 이해하지 못하는 꿈꾸는 사람들이라고 여겨졌습니다. 그러나 저는 이것이 변할 것이라고 믿었습니다. 저는 학술 연구를 산업으로 전환하는 과정에서 적극적으로 참여하지 않도록 하지 않았습니다.

NeurIPS 2025에 대한 귀하의 분석은 Claude Code, OpenAI Codex, NotebookLM과 같은 코딩 어시스턴트를 사용하여 전체 컨퍼런스를 처리했습니다. AI 연구 자체를 분석하는 AI 시스템을 사용하는 것이 귀하에게 가장 놀라운 점은 무엇이었나요?

소프트웨어를 구축하여 데이터를 스크레이핑하고 기계로 읽고 섹션으로 분류하고 직관적으로 요약하고 설명하는 것이 놀라울 정도로 쉽다는 것이었습니다. GenAI 시스템은 이야기를 전달하는 데 놀라울 정도로 능숙하지만 이야기를 전달하는 데는 능숙하지 않습니다. NotebookLM은 어떤 도메인에서도 분석하고驚異的な 결과를 제공하는 여왕입니다. 그러나 귀하는 이야기에 대한 통제를 가지지 못합니다. 저는 PowerPoint 슬라이드를 생성하는 데 도움이 되지 않는다는 것을 알았습니다. 따라서 HTML을 구축하고 PDF로 변환해야 했습니다. 가장 큰 도전은 그림을 생성하는 것이었습니다. 확산 생성은 너무 느리고 신뢰할 수 없으며 비용이 많이 들고 통제할 수 없었습니다. 그러나 모델은 matplotlib, plotly와 같은 Python 라이브러리를 사용하여 프로그래밍 방식으로 SVG를 생성하는 데 매우 능숙했습니다. 이 기술은 확장되었지만 시각화 오류를 수정하기 위해 여러 번의 통과가 필요했습니다. 모델은 내년이 되면 더 좋아질 것입니다.

귀하의 분석에서 강조되는 가장 강한 테마 중 하나는 훈련 시간 확장에서 추론 시간 컴퓨팅으로의 전환입니다. 테스트 시간 컴퓨팅이 모델 성능을 개선하는 så 강력한 레버로 등장하는 이유는 무엇인가요?

스케일링 법칙은 우리의 나침반입니다. 모델 크기와 사전 훈련 데이터를 늘리는 것이 한계에 도달했습니다. 첫 번째 세대의 스케일링 법칙은 GPT-4를 가져왔습니다. 그것은 OpenAI가 GenAI 혁명을 시작하는 데 도움이 되었습니다. 우리는 모델이 답변에 도달하기 전에 많은 토큰을 생성할 수 있는 또 다른 차원을 발견했습니다. 이것은 LLM의 효율성을 개선하는 또 다른 방법입니다. 모델 크기와 추론 길이는 시스템 1과 시스템 2 사고 모드(다니엘 칸너만)로 표현될 수 있습니다. 추론 트레이스는 모델 용량을 증가시키는 또 다른 방법입니다. 인간의 돌파구는 본능(높은 IQ)에서 시작했지만 성공은 항상 긴하고 고통스러운 추론으로 인한 것이었습니다. 우리는 이러한 패턴을 볼 수 있습니다. 더 긴思考 창을 가진 작은 모델은 100배 더 큰 모델을 능가합니다. 따라서 LLM에서思考이 IQ보다 더 중요합니다.

귀하는 단일 축 확장(매개변수)에서 다차원 확장(매개변수, 데이터, 아키텍처, 추론)으로의 전환을 강조합니다. 연구자와 실무자는 이 새로운 확장 패러다임에 대해 어떻게 생각해야 하나요?

대부분의 전문가에게 아키텍처와 매개변수는 제어할 수 없습니다. 모델을 생성할 수 있는 자본을 보유한 생산자는 혁신을 주도할 것입니다. 토큰 추론 길이는 조직의 자본 지출에 의해 결정될 것입니다. 전문가가 제어할 수 있는 것은 데이터입니다. 데이터를 생성, 큐레이션, 디버깅하는 데 더 많은 초점이 있을 것입니다(대부분의 경우 추론 트레이스). 이는 일일 운영의 초점이 될 것입니다. 물론 NeurIPS와 다른 주요 컨퍼런스를 따라 최신 아키텍처 트렌드에 대한 정보를 유지해야 할 것입니다.

귀하의 NeurIPS 분석에서 강조되는 또 다른 테마는 생물학, 기후 모델링과 같은 과학적 발견을 위한 AI의 증가하는 연구입니다. 귀하는 AI를 위한 과학을 기계 학습 연구의 다음 주요 전방으로 보나요?

저는 이것이 학술 연구를 넘어서는 것으로 생각합니다. 우리는 다음 금 러시를 보는 중입니다. 1849년 캘리포니아의 금 러시는 정점에 달했습니다. 사람들은 단지 강물의 물을 끌어당겨 금을 찾았을 뿐입니다. 우리는 지금 그것을 볼 수 있습니다. 많은 사람들이 금을 찾지 못했지만, 오늘날 우리가 보는 것은 매우 실제입니다. 언어 모델을 사용하여 새로운 물질, 약물, 제품 구성 요소를 찾는 2~3인조 스타트업의 큰 물결을 볼 수 있습니다. 스마트한 방법으로 토큰을 소비하면 큰 수익을 가져올 수 있습니다. Claude Code, OpenAI Codex, Google Antigravity와 같은 코딩 어시스턴트는 SaaS 회사에 대한 장벽을 제거할 수 있습니다. 이는 과학적 검색에서 매우 능숙한 컴퓨터 과학자를 위한 기회를 제공합니다. 비영리 단체인 First Principles 또는 Bio[hub]에서 일한다면 새로운 물리 법칙이나 생물학에서 기여할 수 있습니다. 수익을 창출하려면 과학을 기반으로 새로운 제품을 발명할 수 있습니다. 예를 들어 제약품, 재료, 배터리 등입니다.

귀하의 연구는 또한 벤치마크 점수가 강력하지만 단순한 실제 변형에서 실패하는 모델의 검증 격차가 증가하고 있음을 강조합니다. 이 격차는 현재 대규모 언어 모델의 제한을 무엇을 나타내나요?

그們은 놀라운 기억력을 가지고 있으며 일반화하기에도 좋습니다. 벤치마크는 연구의 시작에 좋습니다. 그러나 한계를 넘어서면 벤치마크를 배우고 문제를 배우지 않습니다. 우리는 벤치마크를 재설정하고 더 어려운 것으로 만들어서 한계를 밀어붙이기 위해 노력해왔습니다. 벤치마크의 문제는 한계를 넘어서면 과도한 인덱싱과 결국은 치팅이 발생한다는 것입니다. 여기서의 전체적인 트렌드는 경쟁자를 더 정직하게 만드는 것입니다. 저는 벤치마크에 대해 너무 많은 관심을 두지 않습니다. 몇 번의 도약이 발생한 후에는 벤치마크에 대한 관심이 줄어듭니다. 제품이 좋더라도 상위 10위에 들지 못할 수 있습니다. 저는 벤치마크에서 우수한 제품이지만 실제로는 부적절한 제품을 많이 보았습니다.

귀하의 발표에서는 작은 언어 모델과 추론 확장 및 에이전트 아키텍처의 결합이 강력한 AI 시스템을 가능하게 할 수 있으며 이는 데이터 센터 외부에서 실행될 수 있다고 제안합니다. 이는 산업 전반에 걸쳐 AI를 배포하는 방식을 바꿀 수 있나요?

우리는 에지 배포에 대한 큰 강조를 보았습니다. 우리는 우리 주변에 더智能한 장치를 볼 것입니다. 마이크로소프트는 1비트 LLM을 개발하여 30배의 압축을 달성했으며, 이는 앞으로 단일 칩에서 프론티어 모델을 실행할 수 있도록 합니다. 우리는 이 작업을 수년간 추적해 왔으며 진행 상황은 놀라울 정도입니다. 특히 웨어러블 도메인에서 그렇습니다.

NeurIPS의 이전 워크샵에서 다루어진 내용 중 하나는 약한 에지 모델과 프론티어 모델을 결합하는 아이디어입니다. 이는 대역폭에 따라 추론力を 조정할 수 있는 연속적인 스펙트럼을 허용합니다. NeurIPS의 첫 번째 텔코 워크샵은 셀 타워에 GPU를 배치하는 추세를 보여주었습니다. 이는 셀 타워가 데이터 센터도 에지 장치도 아니라는 점에서 흥미롭습니다. 이는 계산 계층에서 새로운 레이어를 도입합니다.

LLM에서 빠져나온 또 다른 것은 분산 모델 훈련입니다(저는 구글이 원격 데이터 센터에서 Gemini를 훈련하는 것을 의미하지 않습니다). 독립적인 엔티티가 자신의 모델을 훈련하고 사용자가 레고 블록처럼 더 큰 모델을 구축하기 위해它们를 결합하는 매우 흥미로운 트렌드가 있습니다. 이는 매우 유망한 모듈식 아키텍처입니다. 이는 큰 모델을 훈련하는 방식입니다. 다른 팀은 전문적인 모델을 구축하며, 최종적으로는 레고 블록처럼它们를 연결합니다.

수천 개의 NeurIPS 논문을 분석한 후, 귀하는 AI 연구 커뮤니티가 정확하게 진보를 예측하고 있는 영역과 가장 중요한 即將적인 변화를 놓치고 있는 영역이 어디라고 생각하나요?

연구 커뮤니티는 예측을 하지 않습니다. 연구자들은 자신의 동기, 자금, 우연, 그리고当然 본능을 따릅니다. 그들은 항상 흥미로운 방향을 놓칠 수 있지만, 거의 확실하게 누군가는 그것을 발견하고 미래에 다시 उठ게 될 것입니다. 이것은 예상되는 것이며, 이것은 건강합니다. 경영진, 투자자, 엔지니어는 등장하는 트렌드를 식별하여 올바른 결정과 가장 교육받은 베팅을 하기 위해 필요합니다. 저의 5년 분석 창에서, 일부 트렌드는 초기에 인식되었으며, 다른 신호는 놓치게 되었습니다. 일부에는 아직 시간이 있습니다. 알파 웨이브를 타기 위해.

저는 수년간 데이터 시장을 지켜봤으며, 이는 올해에 큰 도약을 이루었습니다. 놓친 구성 요소는 속성입니다. 우리는 이제 LLM 경쟁에서 기여한 훈련 데이터를 실시간으로 식별할 수 있습니다. 이는 배당금을 지불할 수 있음을 의미합니다. 이는 프론티어 모델과 함께 소송에 있는 출판사들에게서 놓친 기회입니다. 일부는 평면 라이선스 계약에 kapitulieren해야 했습니다. 저는 그들에게 지속 가능한 수익을 창출할 기회가 있다고 믿습니다.

로봇공학에서 혁명이 即將합니다. NVIDIA와 다른 회사가 발표한 세계 모델은 매우 정확하고 확장 가능한 물리 시뮬레이션을 제공합니다. 따라서 앞으로 AI가 더 물리적이 될 것으로 예상합니다.

트랜스포머 아키텍처는 결국 상태 공간 모델과 결합되어惊異的な 작은 LLM을 생성했습니다. 우리는 트랜스포머의 정확한 제한을 알고 있지만, 다음 단계는 무엇인지 모릅니다. 트랜스포머가 매우 강력하고 탄력성이 있다는 것을 증명할 때 그것이 올 것입니다. 우리는 인간이 새로운 LLM 아키텍처를 설계할지, 트랜스포머가 설계할지 모릅니다. 트랜스포머는 NLP의 모든 단편적인 아키텍처를 통합했습니다(예, 엔티티 분류). 수학에서 효과가 있었으며, 올해에는 표에서 효과가 있었습니다. 그러나 물리학에서는 효과가 없었습니다. 저는 15개 이상의 다른 아키텍처를 세었습니다. 따라서 물리학을 통합하는 새로운 아키텍처는 트랜스포머를 대체하여 AGI의 여정에서 다음 단계가 될 수 있습니다.

위대한 인터뷰에 감사드립니다. 더 많은 정보를 배우고 싶은 독자는 RelationalAI를 방문하십시오.