키릴 솔로드키흐, TheStage AI의 공동 창립자 및 CEO – 인터뷰 시리즈

키릴 솔로드키흐, 박사,는 TheStage AI의 공동 창립자 및 CEO이며, 또한 10년 이상의 실무 경험을 가진 AI 연구자이자 기업가입니다. 2024년에 그는 TheStage AI를 공동 창립하여 모든 하드웨어 플랫폼에서 신경망 가속을 완전히 자동화하기 위해 450만 달러의 자금을 확보했습니다.

이전에는 화웨이의 팀 리더로서, 키릴은 퀄컴 NPU용 AI 카메라 애플리케이션의 가속을 주도하여 P50 및 P60 스마트폰의 성능에 기여하며 여러 특허를 획득했습니다. 그의 연구는 CVPR 및 ECCV와 같은 주요 컨퍼런스에서 발표되었습니다. 그는 또한 팟캐스트를 진행하며, AI 최적화 및 추론에 대해 이야기합니다.

당신은 TheStage AI를 공동 창립하게 된 영감은 무엇이며, 학계 및 연구에서 추론 최적화 스타트업 창업자로 전환한 경로는 어떻게 되나요?

TheStage AI의 기초는 화웨이에서 제가 수행한 자동화 배포 및 신경망 최적화 작업에서 시작되었습니다. 이러한 이니셔티브는 일부 혁신적인 발명으로 이어졌으며, 제가真正적인 도전을 보게 된 곳입니다. 모델을 훈련시키는 것은 하나의 일이며, 그것을 실제 세계에서 효율적으로 실행시키고 사용자에게 접근할 수 있게 만드는 것은 또 다른 일입니다. 배포는 많은 훌륭한 아이디어가 현실화하지 못하는 병목 현상입니다. ChatGPT와 같은 것을 쉽게 사용할 수 있게 하려면 많은 백엔드 도전이 있습니다. 기술적으로 신경망 최적화는 매개변수를 최소화하면서 성능을 높이는 것입니다. 이는 엄청난 수학적 도전이며 혁신의 여지가 많습니다.

수동 추론 최적화는 오랫동안 AI의 병목 현상이었습니다. TheStage AI가 이 과정을 자동화하는 방법과 왜 이것이 게임 체인저인지 설명해 주세요.

TheStage AI는 AI의 주요 병목 현상인 수동 신경망 압축 및 가속을 해결합니다. 신경망에는 수십억 개의 매개변수가 있으며, 수동으로 최적화하기는 거의 불가능합니다. ANNA(Automated Neural Networks Analyzer)는 이 과정을 자동화하여 최적화에서 제외해야 할 레이어를 식별합니다. 이는 ZIP 압축이 처음 자동화된 방식과 유사합니다.

이것은 AI를 더 빠르고 저렴하게 채택할 수 있게 해줍니다. 비싼 수동 프로세스에 의존하지 않고, 스타트업은 모델을 자동으로 최적화할 수 있습니다. 기술은 비즈니스에 성능 및 비용에 대한 명확한 시각을 제공하여 효율성 및 확장성을 보장합니다.

TheStage AI는 추론 비용을 최대 5배까지 줄일 수 있다고 주장합니다. 전통적인 방법과 비교하여 최적화 기술이 इतन 효과적인 이유는 무엇인가요?

TheStage AI는 전통적인 방법을 넘어서는 최적화 접근 방식을 사용하여 출력 비용을 최대 5배까지 절감합니다. 신경망 전체에 동일한 알고리즘을 적용하는 대신, ANNA는 신경망을 더 작은 레이어로 분해하여 각 부분에 적용할 알고리즘을 결정합니다. 이는 원하는 압축을 제공하면서 모델의 품질을 최대화합니다. 수학적 휴리스틱과 효율적인 근사법을 결합하여 접근 방식은高度로 확장 가능하며, 모든 규모의 비즈니스에서 AI를 더 쉽게 채택할 수 있게 해줍니다. 또한 특정 하드웨어에 대한 유연한 컴파일러 설정을 통합하여 성능을 최적화합니다.

TheStage AI의 추론 가속은 PyTorch의 네이티브 컴파일러와 비교하여 어떻게 되나요? AI 개발자에게 어떤 이점이 있나요?

TheStage AI는 PyTorch의 네이티브 컴파일러를 훨씬 능가하는 추론 가속을 제공합니다. PyTorch는 “just-in-time” 컴파일 방법을 사용하여 모델을 실행할 때마다 컴파일합니다. 이는 긴 시작 시간을 초래하며, 때로는 몇 분 또는 더 오래 걸릴 수 있습니다. 확장 가능한 환경에서 이는 비효율성을 초래할 수 있으며, 특히 새로운 GPU가 증가한 사용자 로드를 처리하기 위해 온라인으로 가져올 때 사용자 경험에 영향을 미칠 수 있습니다.

반면에, TheStage AI는 모델을事前に 컴파일하여 한 번 준비되면 즉시 배포할 수 있습니다. 이는 빠른 론칭, 개선된 서비스 효율성 및 비용 절감을 의미합니다. 개발자는 전통적인 컴파일의 병목 현상을 없이 더 빠르고 확장 가능하게 AI 모델을 배포 및 확장할 수 있습니다.

QLIP 툴킷에 대해 더 알려주실 수 있나요? 모델 성능을 유지하면서 어떻게 최적화를 향상시킵니까?

QLIP는 TheStage AI의 툴킷으로, Python 라이브러리로 다양한 하드웨어에 최적화된 새로운 최적화 알고리즘을 빠르게 구축하기 위한 필수적인 원시 코드를 제공합니다. 툴킷에는 양자화, 가지치기, 사양, 컴파일 및 제공과 같은 구성 요소가 포함되어 있으며, 모두 효율적이고 확장 가능한 AI 시스템을 개발하는 데 중요합니다.

QLIP를 구분하는 것은 유연성입니다. 개발자는 몇 줄의 코드로 새로운 알고리즘을 프로토タイプ하고 구현할 수 있습니다. 예를 들어, 양자화 신경망에 대한 최근의 AI 컨퍼런스 논문은 QLIP의 원시 코드를 사용하여 몇 분 안에 작동하는 알고리즘으로 변환될 수 있습니다. 이는 개발자가 최신 연구를 모델에 통합할 수 있게 하여igid 프레임워크에 구속되지 않습니다.

QLIP는 새로운 최적화 기술을 추가할 수 있게 해줍니다. 이는 팀이 빠르게 발전하는 AI 풍경을 앞서나가고, 성능을 개선하면서 미래의 혁신을 위한 유연성을 보장합니다.

화웨이의 P50 및 P60 카메라에서 사용된 AI 양자화 프레임워크에 기여한 경험이 어떻게 귀하의 AI 최적화 접근 방식을 형성했나요?

화웨이의 P50 및 P60 카메라에서 AI 양자화 프레임워크에 대한 내 경험은 최적화를 스트리밍하고 확장하는 방법에 대한 귀중한 통찰력을 제공했습니다. PyTorch와 처음 작업했을 때, 신경망의 전체 실행 그래프를 작업하는 것은rigid했으며, 양자화 알고리즘은 수동으로 레이어별로 구현해야 했습니다. 화웨이에서는 자동화 프로세스를 구축했습니다. 모델을 입력하면 자동으로 양자화 코드가 생성되며 수동 작업을 제거했습니다.

이것은 AI 최적화의 자동화가 품질을 희생하지 않고 속도를 가능하게 하는 것에 대해 나에게 중요한 교훈을 주었습니다. 제가 개발하고 특허를 받은 알고리즘 중 하나는 특히 화웨이에서 Kirin 프로세서에서 Qualcomm으로의 전환을 위해 필수적이었습니다. 이는 팀이 신경망을 Qualcomm (QCOM ) 아키텍처에 빠르게 적응시킬 수 있게 해주었습니다.

개발 시간을 1년 이상에서 몇 개월으로 단축했습니다. 이것은 수백만 명이 사용하는 제품에 큰 영향을 미쳤으며, 최적화를 위한 나의 접근 방식을 형성했습니다. 속도, 효율성 및 최소한의 품질 손실에 중점을 두었습니다. 이것이 ANNA에 대한 나의 현재 접근 방식입니다.

귀하는 CVPR 및 ECCV에서 연구를 발표했습니다. AI 효율성에서 가장 자랑스러운 주요 돌파구는 무엇인가요?

나의 업적에 대해 묻는다면, 나는 항상 CVPR 2023에서 구두 발표로 선정된 우리의 논문으로 돌아갑니다. 이러한 컨퍼런스에서 구두 발표로 선정되는 것은 드문 일입니다. 이는 일반적으로 12개의 논문만 선정되기 때문입니다. 이것은 생성 AI가 일반적으로 주목받는 반면, 우리의 논문은 다른 접근 방식을 취하여, 특히 신경망의 분석 및 압축에 중점을 두었습니다.

우리는 신경망이 효율적으로 작동하기 위해 필요한 매개변수의 수를 이해하는 데 도움이 되는 방법을 개발했습니다. 함수 분석의 기법을 적용하고,离散한 형식을 연속 형식으로 변경함으로써, 우리는 良好的 압축 결과를 얻으면서도 모델에 이러한 변경 사항을 다시 통합할 수 있었습니다. 이 논문은 또한 커뮤니티에서 사용되지 않았던 몇 가지 새로운 알고리즘을 도입했으며, 추가적인 응용 프로그램을 찾았습니다.

이것은 나의 분야에서 처음으로 발표한 논문 중 하나였으며, 중요하게도, 나의 공동 창립자들을 포함한 우리 팀의 집단적인 노력의 결과였습니다. 이것은 모두에게 중요한 이정표였습니다.

Integral Neural Networks (INNs)의 작동 방식과 왜 이것이 딥 러닝에서 중요한 혁신인지 설명해 주세요.

전통적인 신경망은 고정된 행렬을 사용하여, 엑셀 표와 유사하게, 크기와 매개변수가 미리 정의되어 있습니다. 그러나 INNs는 네트워크를 연속 함수로 설명하여 훨씬 더 유연하게 제공합니다. 이는 다양한 높이의 핀이 있는 담요와 유사하며, 이는 연속적인 파동을 나타냅니다.

INNs가 흥미로운 이유는 네트워크를 동적으로 “압축”하거나 “확장”할 수 있는 능력입니다. 이는 아날로그 신호가 사운드에 디지털화되는 방식과 유사합니다. 네트워크를 품질을 희생하지 않고 축소할 수 있으며, 필요할 때 다시 확장할 수 있습니다.

우리는 이것을 테스트했으며, 전통적인 압축 방법은 상당한 품질 손실을 초래하는 반면, INNs는 극단적인 압축에서도 원래 품질에 근접한 품질을 유지합니다. 뒤에 있는 수학은 AI 커뮤니티에서 더 비정통적이지만, 실제 결과를 제공하는 데에서의 가치는 명확합니다.

TheStage AI는 양자 어닐링 알고리즘에 대해 작업했습니다. 양자 컴퓨팅이 추론 최적화에 미치는 영향은 어떻게 될까요?

양자 컴퓨팅과 추론 최적화에 대한 역할에 대해 말하자면, 양자 시스템은 문제를 해결하는 완전히 다른 접근 방식을 제공합니다. 우리는 양자 어닐링 알고리즘을 처음부터 발명하지는 않았지만, D-Wave와 같은 회사에서는离散 최적화 작업을 위한 양자 알고리즘을 구축하기 위한 Python 라이브러리를 제공합니다.

이 여기서 핵심은 신경망을 직접 양자 컴퓨터에 로드하지 않는다는 것입니다. 현재 아키텍처에서는 이것이 불가능합니다. 대신, 우리는 신경망이 다양한 유형의 열화에 대해 어떻게 작동하는지 근사하여, 양자 칩이 처리할 수 있는 시스템으로 만들 수 있습니다.

미래에는 양자 시스템이 전통적인 시스템이 어려워하는 精度로 네트워크를 최적화하고 확장할 수 있습니다. 양자 시스템의 이점은 내장된 병렬성에 있습니다. 이것은 클래식 시스템이 추가 자원을 사용하여 시뮬레이션할 수 있는 것을 의미합니다. 이는 특히 더 큰 및 더 복잡한 네트워크를 효과적으로 모델링하는 방법을 배우는 경우에, 최적화 프로세스를 크게 가속화할 수 있습니다.

真正의 잠재력은 양자 컴퓨팅을 사용하여 거대한, 복잡한 최적화 작업을 해결하고 매개변수를 더 작은, 더 관리 가능한 그룹으로 나누는 데 있습니다. 양자 및 광학 컴퓨팅과 같은 기술은 전통적인 컴퓨팅이 제공할 수 있는 것보다 훨씬 더 많은 가능성을 제공합니다.

장기적으로 TheStage AI의 비전은 무엇이며, 추론 최적화는 향후 5-10년 동안 어디로 향할 것으로 보나요?

장기적으로, TheStage AI는 모든 사람이 원하는 특성을 가진 최적화된 신경망에 쉽게 접근할 수 있는 글로벌 모델 허브가 되기를 목표로 합니다. 목표는 사용자가 매개변수를 입력하고 시스템이 자동으로 네트워크를 생성하는 드래그 앤 드롭 경험을 제공하는 것입니다. 네트워크가 이미 존재하지 않는 경우, ANNA를 사용하여 자동으로 생성됩니다.

우리의 목표는 신경망을 사용자의 기기에 직접 실행하여 비용을 20-30배로 절감하는 것입니다. 미래에는 이는 거의 모든 비용을 제거할 수 있을 것입니다. 사용자의 기기가 클라우드 서버에 의존하지 않고 계산을 처리할 것이기 때문입니다. 이것은 모델 압축 및 하드웨어 가속의 발전과 결합하여 AI 배포를 훨씬 더 효율적으로 만들 수 있습니다.

우리는 또한 센서, 칩 및 로봇과 같은 하드웨어 솔루션과 기술을 통합하여 자율 주행 및 로봇과 같은 분야에서 응용 프로그램을 개발할 계획입니다. 예를 들어,우리는 우주나 어둠, 먼지와 같은 극한 환경에서 작동할 수 있는 AI 카메라를 구축하고자 합니다. 이것은 AI를 다양한 응용 분야에서 사용할 수 있게 하며, 특정 하드웨어 및 사용 사례에 대한 맞춤형 솔루션을 만들 수 있게 할 것입니다.

잘된 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 TheStage AI를 방문하십시오.