인터뷰
Julien Salinas, NLP Cloud의 설립자 및 CTO – 인터뷰 시리즈
컴퓨터 과학에 처음 관심을 가지게 된 계기는 무엇인가?
저는 비즈니스 학교에서 프로그래밍을 시작했습니다! 실제로 저는 비즈니스 자체가 지루하다는 것을 빠르게 깨달았고, 기술적인技能을 갖지 않으면 프로젝트를 수행하는 데 제한될 것이라고 생각했습니다.
당시의 첫 프로젝트는 음악 선생님을 위한 작은 웹사이트였고, 가족을 위한 또 다른 웹사이트를 만들었고, 그 후에 파이썬을 배우기 시작했습니다… 그리고 così forth. 지금까지 저는 15년간 파이썬/고 개발자 및 DevOps를 맡아왔습니다.
NLP Cloud의 기원에 대해 이야기해 줄 수 있나요?
이것은 2년 전, 개발자로서 기계 학습 모델을 프로덕션에 올바르게 배포하는 것이 어렵다는 것을 깨달았을 때 시작되었습니다.
저는 Hugging Face Transformers 및 spaCy와 같은 프레임워크의 진행 상황에 놀랐고, 저는 프로젝트에서 매우 고급된 NLP 모델을 활용할 수 있었습니다. 그러나 이러한 모델을 프로덕션에서 사용하는 것은 또 다른 문제였으며, 놀랍게도 시장에 интерес있는 No-Ops 클라우드가 없었습니다.
그래서 저는 NLP 모델 배포를 위한 자체 플랫폼을 시작하기로 결정했습니다. 매우 빠르게 우리는 훌륭한 고객의 피드백을 받았고, 이러한 피드백에 따라 많은 기능을 추가했습니다(사전 훈련된 모델, 미세 조정, 플레이그라운드…).
NLP Cloud 플랫폼은 GPT-3의 오픈 소스 대안인 GPT-J를 지원합니다. GPT-J는 무엇입니까?
GPT-J는 EleutherAI라는 연구팀에 의해 올해 6월에 발표되었습니다. 그들은 GPT-3가 오픈 소스 모델이어야 한다고 믿으며, 이는 그들의 전임자(GPT 및 GPT-2)와 마찬가지입니다. 그들은 강력한 AI 모델인 GPT와 같은 모델의 잠재적인 오남용에 대해 모두가 우려해야 한다고 주장하지만, 이러한 모델을 오픈 소스로 유지하지 않는 것은 좋은 이유가 아니라고 믿습니다. 오히려 그들은 이러한 모델이 오픈 소스인 경우, 커뮤니티가 이러한 모델이 내부에서 어떻게 작동하는지 이해할 수 있으며, 따라서 이러한 모델이 잘못된 방식으로 행동하지 않도록 할 수 있다고 믿습니다.
GPT-J는 GPT-3 Curie와 직접적으로 동일하며, 둘 다 거의 6억 개의 매개변수로 훈련되었습니다.
둘 다 거의 교환 가능합니다.
GPT-J는 GPT-3보다 우수한 대안입니다. 이유는 무엇인가?
GPT-3는 마이크로소프트에 속하며, 이를 사용하려면 공식 GPT-3 API를 통해 접근해야 합니다.
그러나 이 API는 매우 비싸고, 매우 제한적입니다. API에 접근을 요청해야 하며, 심지어 애플리케이션이 API에 접근을 승인받아도, 비즈니스 모델이 그들의 지침에 따라하지 않는 경우에 접근이 중단될 수 있습니다. 예를 들어, “개방형” 텍스트(여러 단락으로 구성된 긴 텍스트)를 생성할 수 없습니다. 이는 그들의 정책에 위반되기 때문입니다.
GPT-J는 오픈 소스이므로 이러한 제한이 없습니다. 누구든지 설치하고 사용할 수 있습니다.
GPT-J를 NLP Cloud에 통합하는 데 기술적인 도전은 무엇입니까?
GPT-J는 RAM, CPU, GPU 등 높은 리소스 소비로 인해 설치하기 어렵습니다. GPU 없이 작동하지만, 매우 느리기 때문에 실제적으로 사용할 수 없습니다.
결국, GPT-J를 실행하는 데 필요한 하드웨어는 매우 비싸기 때문에, 비용을 낮추기 위해 많은 구현 세부 사항을 작업해야 했습니다.
또한, GPT-J를 프로덕션에 적합하고, 높은 가용성을 보장하기 위해, 우리는 복잡할 수 있는 GPT-J의 중복성 및 장애 조치 전략을 작업해야 했습니다.
제공되는 사전 훈련된 AI 모델에 대해 이야기해 줄 수 있나요?
우리는 각 사용 사례에 대한 최상의 사전 훈련된 AI 모델을 선택하기 위해 최선을 다하고 있습니다.
텍스트 요약의 경우, 우리의 의견으로는 텍스트를 매우 잘 요약하지만, GPU 없이 느릴 수 있는 Facebook의 Bart Large CNN이 가장 좋습니다.
텍스트 분류의 경우, 우리는 Facebook의 Bart Large MNLI(영어 분류용)와 Joe Davison의 XLM Roberta Large XLNI(비영어 언어용)를 구현했습니다. 둘 다 빠르고 정확합니다.
질문 응답의 경우, 우리는 Deepset의 Roberta Base Squad 2를 사용합니다. 빠르고 정확하지만, 더 고급된 질문 응답을 위해서는 GPT-J를 사용할 수 있습니다.
그리고 많은 다른 모델들이 있습니다!
NLP Cloud의 가장 좋은 사용 사례는 무엇입니까?
가장 많이 사용되는 사용 사례는 텍스트 요약, 텍스트 분류, GPT-J를 사용한 텍스트 생성(제품 설명 생성, 문장 재구성, 기사 생성 등)입니다.
그러나 고객들 사이에서 볼 수 있는 사용 사례는 매우 다양하며, इतन 많은 훌륭한 아이디어가 나타나는 것을 목격하는 것은 정말 놀랍습니다!
NLP Cloud에 대해 더 이야기하고 싶은 내용이 있나요?
우리에겐 AI를 텍스트 이해와 텍스트 생성에 실제로 사용하는 것이 더 이상 순수한 연구 분야가 아니라, 실제 제품이나 내부 워크플로우에서 사용되는 것으로 보입니다.
이것은 NLP가 실제 비즈니스 사용 사례를 활용할 수 있는 실제 사용 사례가 더 많이 나타나고 있다는 것을 의미합니다.
NLP Cloud에서는 누구든지 테스트하고 프로덕션에서 NLP를 사용하기 쉽게 하기 위해 최선을 다할 것입니다.
훌륭한 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 NLP Cloud를 방문할 수 있습니다.
