NLP Cloud의 창립자 및 CTO인 Julien Salinas – 인터뷰 시리즈

Julien Salinas는 NLP Cloud의 창립자 및 CTO입니다. NLP Cloud 플랫폼은 spaCy와 HuggingFace 트랜스포머를 기반으로 하는 고성능의 생산 준비가 완료된 NLP 모델을 제공하며, 이는 명명된 实체 인식, 감성 분석, 텍스트 분류, 요약, 질문 답변, 텍스트 생성, 번역, 언어 감지, 문법 및 맞춤법 교정, 의도 분류 및 의미적 유사성을 포함한 다양한 사용 사례에 사용됩니다.

컴퓨터 과학에 관심을 가지게 된 것은 무엇인가?

저는 비즈니스 학교에서 프로그래밍을 시작했습니다! 실제로 저는 비즈니스 자체가 지루하다고 생각했고, 기술적인技能을 갖추지 않으면 프로젝트를 수행할 수 없다는 것을 빠르게 깨달았습니다.

당시의 첫 번째 프로젝트는 음악 선생님을 위한 작은 웹사이트였습니다. 그런 다음 가족을 위한 또 다른 웹사이트를 만들었고, 파이썬을 배우기 시작했습니다. 지금까지 파이썬/고 개발자 및 DevOps로 15년 동안 일했습니다.

NLP Cloud의 기원 이야기를 공유할 수 있나요?

2년 전, 개발자로서 기계 학습 모델을 프로덕션에 배포하는 것이 꽤 어려웠다는 것을 깨달았을 때 시작되었습니다.

저는 Hugging Face Transformers와 spaCy의 진행 상황에 놀랐으며, 이러한 모델을 프로젝트에서 사용할 수 있었습니다. 그러나 이러한 모델을 프로덕션에서 사용하는 것은 다른 문제였으며, 놀랍게도 시장에서 interessant한 No-Ops 클라우드가 없었습니다.

따라서 저는 NLP 모델 배포를 위한 플랫폼을 시작하기로 결정했습니다. 매우 빠르게 고객의 피드백을 받았으며, 이러한 피드백을 기반으로 많은 기능을 추가했습니다(사전 훈련된 모델, 미세 조정, 플레이그라운드…).

NLP Cloud 플랫폼은 GPT-3의 오픈 소스 대안인 GPT-J를 지원합니다. GPT-J는 무엇인가?

GPT-J는 EleutherAI라는 연구팀에 의해今年 6월에 발표되었습니다. 그들은 GPT-3가 오픈 소스 모델이어야 한다고 믿으며, 이는 GPT와 GPT-2의 전임자와 같습니다. 그들은 강력한 AI 모델인 GPT-3를 오픈 소스로 하지 않는다는 것은 잘못된 생각이라고 주장합니다. 오히려 AI 모델이 오픈 소스인 경우, 커뮤니티가 이러한 모델이 내부에서 어떻게 작동하는지 이해할 수 있으며, 이러한 모델이 잘못된 방식으로 작동하지 않도록 할 수 있다고 믿습니다.

GPT-J는 GPT-3 Curie와 직접적인 대응관계이며, 둘 다 6억 개의 매개변수로 훈련되었습니다.

둘 다 거의 교환적으로 사용할 수 있습니다.

GPT-J는 GPT-3보다 우수한 대안인 이유는 무엇인가?

GPT-3는 마이크로소프트에 속하며, 이를 사용하려면 공식 GPT-3 API를 통해 접근해야 합니다.

그러나 이 API는 매우 비싸며, 매우 제한적입니다. API에 접근을 요청해야 하며, 심지어 애플리케이션이 API에 접근을 허용받더라도, 비즈니스 모델이 그들의 지침에 따라하지 않는 경우 접근이 중단될 수 있습니다. 예를 들어, “개방형” 텍스트(여러 단락으로 구성된 긴 텍스트)를 생성할 수 없습니다. 이는 그들의 정책에 위배되기 때문입니다.

GPT-J의 경우 이러한 제한이 없습니다. 오픈 소스이기 때문에 누구든지 설치하고 사용할 수 있습니다.

GPT-J를 NLP Cloud에 통합하는 데 기술적인 도전은 무엇인가?

GPT-J는 높은 자원 소비(RAM, CPU, GPU…)로 인해 설치가 어렵습니다. GPU 없이 작동하지만, 매우 느리기 때문에 실제로 사용하기 어렵습니다.

최종적으로 GPT-J를 실행하는 데 필요한 하드웨어는 매우 비싸기 때문에, 비용을 낮추기 위해 많은 구현 세부 사항을 작업해야 했습니다.

또한 GPT-J를 프로덕션에 사용하고, 높은 가용성을 보장하기 위해, 우리는 GPT-J에 대한 중복성 및 장애 조치 전략을 작업해야 했습니다. 이는 꽤 도전적인 작업이었습니다.

제공되는 사전 훈련된 AI 모델에 대해 논의할 수 있나요?

우리는 각 사용 사례에 가장 적합한 사전 훈련된 AI 모델을 선택하기 위해 최선을 다하고 있습니다.

텍스트 요약의 경우, 우리의 의견으로는 페이스북의 Bart Large CNN이 가장 좋은 결과를 제공하지만, GPU 없이 느릴 수 있습니다.

텍스트 분류의 경우, 페이스북의 Bart Large MNLI(영어 분류용)와 Joe Davison의 XLM Roberta Large XLNI(비영어 언어용)를 구현했습니다. 둘 다 빠르고 정확합니다.

질문 답변의 경우, Deepset의 Roberta Base Squad 2를 사용합니다. 이는 빠르고 정확하지만, 더 고급 질문 답변의 경우 GPT-J를 사용할 수 있습니다.

그 외에도 많은 모델이 있습니다!

NLP Cloud의 가장 좋은 사용 사례는 무엇인가?

가장 많이 사용되는 사용 사례는 텍스트 요약, 텍스트 분류, 및 GPT-J를 사용한 텍스트 생성(제품 설명 생성, 문장 재구성, 기사 생성…)입니다.

그러나 고객들이 사용하는 사용 사례는非常 다양하며, 이러한 많은 훌륭한 아이디어를 보는 것은 매우印象적입니다!

NLP Cloud에 대해 더 공유하고 싶은 것이 있나요?

AI를 텍스트 이해와 텍스트 생성에 실제로 사용하는 것이终于 비즈니스 또는 내부 워크플로우에서 사용되고 있다는 것을 보는 것이 좋습니다.

이것은 NLP가 더 이상 순수한 연구 분야가 아니며, 실제 비즈니스 사용 사례에서 NLP를 활용할 수 있다는 것을 의미합니다.

NLP Cloud에서는 누구든지 프로덕션에서 NLP를 테스트하고 사용하기 쉽게 하기 위해 최선을 다할 것입니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 NLP Cloud를 방문하시기 바랍니다.