줄리앙 레베츠, 피크테라의 리드 머신 러닝 엔지니어 – 인터뷰 시리즈

줄리앙 레베츠는 피크테라의 리드 소프트웨어 및 머신 러닝 엔지니어입니다. 피크테라는 지리공간 클라우드 기반 플랫폼을 제공하며, 이 플랫폼은 딥 러닝 기반의 디텍터를 빠르고 안전하게 훈련할 수 있도록 설계되었습니다.

코드 한 줄 없이, 그리고わず한 수의 인간이 만든 주석만으로, 피크테라의 사용자는 고유하고 사용 가능한 딥 러닝 모델을 구축하고 배포할 수 있습니다.

피크테라는 위성 및 항공 이미지의 분석을 자동화하여, 사용자가 객체와 패턴을 식별할 수 있도록 합니다.

머신 러닝과 AI에 관심을 가지게 된 계기는 무엇입니까?

프로그래밍을 시작한 이유는 비디오 게임을 만들고 싶었기 때문입니다. 컴퓨터 그래픽스에 관심을 가지게 되면서, 컴퓨터 비전에 관심을 가지게 되었습니다. 컴퓨터 비전은 컴퓨터가 가상 환경을 생성하는 반면, 실제 환경을 인식하는 것입니다. 머신 러닝에 대한 관심은 소프트웨어 엔지니어링, 알고리즘, 수학의 교차점에 위치해 있으며, 여전히 마법처럼 작동합니다.

위성 이미지 분석을 위한 머신 러닝을 사용한 첫 프로젝트는 무엇입니까?

제가 처음으로 위성 이미지를 접한 것은 테라-i 프로젝트였습니다. 이 프로젝트는 산림 파괴를 감지하는 것이었습니다. 나는 우주 기관에서 제공하는 무료 위성 데이터의 양에 놀랐습니다. 매일 또는 매주 정기적으로 지구의 이미지를 무료로 얻을 수 있습니다. 이것은 많은 과학적 응용 프로그램에 대한 훌륭한 자원입니다.

테라-i 프로젝트에 대해 자세히 알려주세요.

테라-i 프로젝트는 스위스에서 시작되었으며, 현재는 콜롬비아의 CIAT에서 진행되고 있습니다. 이 프로젝트의 아이디어는 무료 위성 이미지를 사용하여 산림 파괴를 감지하는 것입니다. 당시 우리는 MODIS 이미지를 사용했습니다. 우리는 시간 시리즈의 측정값을 얻었으며, 이 측정값에서 이상이나 새로운 패턴을 감지했습니다.

이 프로젝트는 데이터의 양이 도전이었으며, 소프트웨어 엔지니어링도 필요했습니다. 머신 러닝 측면에서는 베이즈 신경 네트워크를 사용했습니다. 이 네트워크는 시간 시리즈의 예측을 위해 사용되었습니다. 측정값이 예측과 일치하지 않는 경우, 우리는 이상을 감지했습니다.

이 프로젝트에서 나는 또한 클라우드 제거에 대해 작업했습니다. 우리는 전통적인 신호 처리 접근 방식을 사용했습니다. 우리는 푸리에 변환을 사용하여 시간 시리즈를 정리했습니다. 그러나 너무 강하게 정리하면 이상도 제거할 수 있으므로, 적절한 매개변수를 찾기 위해 많은 실험을 해야했습니다.

드론 이미지를 사용한 작물 분류를 위한 딥 러닝 시스템을 설계하고 구현한 경험에 대해 알려주세요.

이 프로젝트는 제 첫 번째 실제 딥 러닝 경험입니다. 당시의 주요 도전은 프레임워크를 실행하고 GPU를 제대로 사용하는 것이었습니다. 우리는 테노를 사용했습니다. 테노는 텐서플로의 선구자입니다.

이 프로젝트의 목표는 드론 이미지를 사용하여 작물의 유형을 분류하는 것이었습니다. 우리는 색상 히스토그램을 입력으로 사용했습니다. 이 작업을 합리적인 시간 내에 수행하기 위해, 나는 테노의 사용자 정의 레이어를 구현해야했습니다. 그 후에, 우리는 모델을 통합하고 테스트했습니다.

피크테라의 리드 소프트웨어 및 머신 러닝 엔지니어로서의 일상적인 활동에 대해 알려주세요.

제 일상적인 활동은 시스템과 제품의 전반적인 아키텍처를 관찰하고, 다양한 이해관계자와 의사소통하는 것입니다. 머신 러닝은 우리의 핵심 비즈니스이지만, 대부분의 시간은 머신 러닝 자체에 소요되지 않습니다. 데이터 관리, 인프라, UI/UX, 프로토 타이핑, 사용자 이해 등에 시간을 소요합니다. 이것은 학계 또는 이전의 큰 회사에서보다 다릅니다. 큰 회사에서는 특정 문제에만 집중합니다.

피크테라의 흥미로운 점은 사용자가 자신의 모델을 훈련할 수 있도록 허용한다는 것입니다. 이것은 일반적인 머신 러닝 워크플로우와 다릅니다. 일반적인 워크플로우에서는 머신 러닝 팀이 모델을 훈련하고, 모델을 프로덕션에 게시합니다. 그러나 피크테라에서는 사용자가 모델을 훈련할 수 있도록 허용합니다. 이것은 우리가 훈련 매개변수를 수동으로 조작할 수 없다는 것을 의미합니다. 우리는 사용자 모두에게 작동하는 훈련 방법을 찾아야합니다. 이것은 우리가 실험 프레임워크를 만들게되었습니다. 실험 프레임워크는 사용자가 플랫폼에서 구축하는 데이터 세트를 시뮬레이션하는 큰 저장소입니다. 우리는 이 저장소를 사용하여 훈련 방법론의 변경을 테스트하고, 사용자에게 도움이 되는지 평가할 수 있습니다.

또한, 우리의 사용자는 머신 러닝 전문가가 아닙니다. 따라서, 사용자는 훈련 세트, 레이블 등에 대해 알지 못할 수 있습니다. 비-머신 러닝 전문가가 데이터 세트를 구축하고 모델을 훈련할 수 있도록 UI를 구축하는 것은 지속적인 도전입니다. 우리는 UX 팀과 밀접하게 협력하여 사용자를 올바른 방향으로 안내합니다.

새로운 아이디어와 기술을 프로토 타이핑하는 책임 중에 가장 흥미로운 프로젝트는 무엇입니까?

피크테라에서 가장 흥미로운 프로젝트는 사용자 정의 디텍터 프로토 타입입니다. 1.5년 전, 우리는 플랫폼에 내장된 디텍터를 가지고 있었습니다. 사용자는 이 디텍터를 사용하여 모델을 훈련할 수 있었습니다. 그러나 우리는 사용자가 직접 모델을 훈련할 수 있도록 허용하고 싶었습니다. 이것은 몇 가지 도전을 가져왔습니다. 첫째, 훈련 시간을 몇 분으로 제한해야했습니다. 둘째, 사용자는 모델을 훈련하기 위해 수천 개의 주석을 만들 필요가 없었습니다.

우리는 매우 간단한 모델로 시작하여, 테스트를 수행하고, 모델을 플랫폼에 통합했습니다. 처음에는 잘 작동하지 않았지만, 몇 가지 경우에서는 작동했습니다. 이것은 우리에게 희망을 주었고, 우리는 훈련 방법론과 모델을 개선하기 시작했습니다. 몇 개월 후, 우리는 사용자들이 모델을 사용하여 성공적으로 훈련할 수 있도록 만들었습니다.

이 프로젝트에서 흥미로운 점은 훈련 시간을 몇 분으로 제한하면서, 모델을 복잡하게 만드는 동시에, 사용자의 문제를 해결할 수 있도록 만드는 두 가지 도전을 동시에 극복하는 것이었습니다. 또한, 모델은 100개 미만의 레이블로 작동합니다.

우리는 구글의 머신 러닝 규칙을 적용했습니다. 특히, 전체 파이프라인과 메트릭을 모델을 최적화하기 전에 구현하는 규칙을 적용했습니다. 이것은 우리를 시스템思考 모드로 이끌어, 머신 러닝核心 문제만을 해결하는 것이 아니라, UI, 전처리, 후처리 등 다른 문제도 해결해야함을 알게합니다.

피크테라에서 사용하는 머신 러닝 기술에 대해 알려주세요.

우리는 프로덕션에서 PyTorch를 사용하여 모델을 훈련하고 실행합니다. 또한, 특정 모델을 개발하기 위해 텐서플로를 사용합니다. 그 외에는 표준적인 과학적인 파이썬 스택을 사용합니다.

이미지를 업로드하고 신경망을 훈련하여 객체를 올바르게 주석처리하는 방법에 대해 알려주세요.

이미지를 업로드하면, 우리는 이미지를 처리하고, 클라우드 최적화된 지오티프(COG) 형식으로 저장합니다. 이 형식은 이미지의 특정 블록만을 빠르게 액세스할 수 있도록 허용합니다. 사용자는 웹 UI를 통해 훈련 데이터 세트를 생성해야합니다. 사용자는 훈련 영역, 테스트 영역, 정확도 영역을 정의해야합니다.

1. 훈련 영역: 사용자가 레이블을 그릴 수 있는 영역
2. 테스트 영역: 모델이 예측을 수행할 수 있는 영역
3. 정확도 영역: 모델의 정확도를 평가할 수 있는 영역

이미지에 대해 모델을 훈련시키면, 우리는 모델을 저장하고, 테스트 영역에서 예측을 수행하여 결과를 표시합니다. 사용자는 모델을 반복적으로 개선할 수 있습니다.

사용자가 모델을 만족스럽게 만들면, 사용자는 모델을 대규모로 실행할 수 있습니다. 사용자는 단순히 이미지 옆에 있는 ‘탐지’ 버튼을 클릭하면 됩니다. 그러나 이 작업은 내부적으로 복잡합니다. 큰 이미지의 경우, 우리는 이미지의 특정 블록만을 처리하여 속도를 높이고, 실패를 처리하며, 탐지를 여러 시간으로延장하지 않도록합니다.

피크테라에 대해 더 알려주세요.

피크테라는 고유한 제품입니다. 피크테라는 머신 러닝과 지리공간의 교차점에 위치합니다. 피크테라는 사용자에게 자체 서비스 플랫폼을 제공합니다. 사용자는 쉽게 위치를 찾을 수 있으며, 패턴을 분석하고, 지구 관측 이미지에서 객체를 감지하고 세울 수 있습니다. 이것은 머신 러닝 없이 불가능합니다. 그러나 사용자는 기본적인 코딩 기술이 필요하지 않습니다. 플랫폼은 몇 가지 인간이 만든 주석만으로 작동합니다. 지리공간 영역에서 머신 러닝의 핵심 개념을 배우고 싶은 사람들을 위해, 우리는 포괄적인 온라인 강의를 시작했습니다.

또한, 피크테라의 가능한 응용 분야는 끝이 없습니다. 사용자들은 도시 관리, 정밀 농업, 산림 관리, 인도적 재해 위험 관리, 농업 등 다양한 분야에서 피크테라의 디텍터를 사용하고 있습니다. 우리는 매일 사용자들이 플랫폼을 사용하여 무엇을 하려고 하는지惊訝합니다. 사용자는 플랫폼을 사용해보고, 소셜 미디어에서 결과를 공유할 수 있습니다.

감사합니다. 피크테라에 대해 더 알고 싶은 독자는 피크테라 웹사이트를 방문할 수 있습니다.