์ธ๊ณต์ง๋ฅ
์ธ์ด ์ฒ๋ฆฌ๊ฐ Google์ ์คํ ์์ค BERT ๋ชจ๋ธ์ ํตํด ์ด๋ป๊ฒ ํฅ์๋๊ณ ์๋๊ฐ
변형기에서 비롯된 양방향 인코더 표현, 다른 말로 BERT; 이는 NLP 모델의 효율성과 효과를 크게 개선한 훈련 모델입니다. 이제 Google이 BERT 모델을 오픈 소스로 만들었기 때문에 모든 산업에서 NLP 모델을 개선할 수 있습니다. 이 글에서 BERT가 오늘날의 세계에서 가장 강력하고 유용한 AI 솔루션 중 하나인 NLP를 어떻게 만드는지 살펴보겠습니다.
BERT 모델을 검색에 적용
Google의 검색 엔진은 관련된 콘텐츠를 제시하는 능력으로 세계적으로 유명하며, 이 자연어 처리 프로그램을 오픈 소스로 전 세계에 공개했습니다.
시스템이 자연어를 읽고 해석하는 능력은 새로운 데이터를 지수적으로 생성하는 세계에서越来越 중요해지고 있습니다. Google의 단어 의미, 구, 관련된 콘텐츠를 제시하는 일반적인 능력의 라이브러리는 오픈 소스입니다. 자연어 처리를 넘어서, BERT 모델은大量의 비정형 데이터에서 정보를 추출할 수 있으며, 任意의 라이브러리에 대한 검색 인터페이스를 생성하는 데 적용될 수 있습니다. 이 글에서 이 기술이 에너지 부문에서 어떻게 적용될 수 있는지 살펴보겠습니다.
BERT (Bidirectional Encoder Representations from Transformers) 는 초기 NLP 모델에서 흔히 발생하는 문제, 즉 충분한 훈련 데이터의 부족을 극복하기 위해 Google AI 언어 그룹에서 제안한 사전 훈련 접근 방식입니다.
자세히 설명하지 않고 간단히 설명하면:
모델 훈련
저수준 (예: 명명된 개체 인식, 주제 분할) 및 고수준 (예: 감정 분석, 음성 인식) NLP 작업에는 작업별 주석이 달린 데이터셋이 필요합니다. 이러한 데이터셋은 구하기 어렵고 조립하기 비싸지만,浅い 및 깊은 신경망 모델의 성능에 중요한 역할을 합니다. 높은 품질의 추론 결과는 수백만 또는 수십억 개의 주석이 달린 훈련 예제가 있을 때만 달성할 수 있었습니다. 그리고 이것은 많은 NLP 작업을 접근할 수 없게 만든 문제였습니다. 그러나 BERT가 개발되면서 상황이 달라졌습니다.
BERT는 큰 비注釈 텍스트 코퍼스에서 훈련된 일반적인 언어 표현 모델입니다. 모델이大量의 텍스트 콘텐츠에 노출되면, 학습하여 문장에서 단어 간의 관계와 문맥을 이해하게 됩니다. 이전 학습 모델과 달리 단어 수준에서 의미를 표현하지 않습니다 (예: “은행”은 “은행 계좌”와 “초원 은행”에서 동일한 의미를 가집니다). BERT는 실제로 문맥을 고려합니다. 즉, 단어가 문장에서 앞뒤에 어떤 단어가 있는지에 따라 다르게 해석합니다. 문맥은 NLP 모델의 성능에 직접적인 영향을 미치는 중요한 능력입니다. BERT와 같은 문맥 인식 모델을 설계하는 것은 많은 사람들이 NLP의 새로운 시대의 시작으로 간주합니다.
BERT를大量의 텍스트 콘텐츠에 훈련시키는 기술을 사전 훈련이라고 합니다. 이는 모델의 가중치가 일반적인 텍스트 이해 작업에 조정되고, 더 세부적인 모델을 xây dựng할 수 있다는 것을 의미합니다. 저자들은 11개의 NLP 작업에 BERT 기반 모델을 적용하여 최첨단 결과를 달성함으로써 이러한 기술의 우수성을 입증했습니다.
사전 훈련된 모델
가장 좋은 점은: 사전 훈련된 BERT 모델이 오픈 소스이며 공개적으로 이용할 수 있습니다. 이는 누구든지 NLP 작업에取り組고 BERT 위에 모델을 구축할 수 있습니다. 이것을 능가하는 것은 없습니다. 맞습니다? 오, 기다려보세요: 이것은 또한 NLP 모델이 더 작은 데이터셋에서 훈련될 수 있으며,_scratch에서 훈련할 필요가 없다는 것을 의미합니다. 새로운 시대의 시작입니다.
이러한 사전 훈련된 모델은 기업들이 내부 또는 외부에서 NLP 모델을 배포하는 데 필요한 비용과 시간을 줄이는 데 도움이 됩니다. 잘 훈련된 NLP 모델의 효과는 가상 팀 문화 구축 회사인 teambuilding.com의 CEO인 Michael Alexis에 의해 강조됩니다.
“NLP의 가장 큰 이점은 정보의 확장 가능하고 일관된 추론 및 처리입니다.” – Michael Alexis, teambuilding.com의 CEO
Michael은 아이스브레이커 또는 설문조사와 같은 문화 형성 프로그램에 NLP를 적용하는 방법에 대해 설명합니다. 회사는 직원들의 반응을 분석하여 회사 문화가 어떻게 진행되고 있는지에 대한 귀중한 통찰력을 얻을 수 있습니다. 이는 단순히 텍스트를 분석하는 것뿐만 아니라 텍스트 주석을 분석하여 감정, 느낌, 전반적인 관점에 대한 추론을 끌어내기 위해 모델이 “줄 사이를 읽는다”는 사실로 달성됩니다. BERT는 이러한 상황에서 지표의 기초를 사전 훈련하여 언어의 세부 사항을 더 정확하게 이해하고 더 정확한 통찰력을 제공하는 데 도움이 될 수 있습니다.
쿼리 개선
컨텍스트를 모델링하는 능력은 BERT를 NLP 영웅으로 만들었고 Google 검색 자체를 혁신적으로 바꾸었습니다. 아래는 Google 검색 제품 팀의 테스트 경험에 대한 인용문입니다. 그들은 쿼리 뒤에 있는 의도를 이해하기 위해 BERT를 조정하고 있었습니다.
“여기에서는 BERT가 쿼리 뒤에 있는 의도를 이해하는 능력을 보여주는 몇 가지 예가 있습니다. ‘2019 브라질 여행객이 미국에 비자를 필요로 한다’는 검색 쿼리입니다. ‘to’라는 단어와 쿼리에서 다른 단어와의 관계는 의미를 이해하는 데 매우 중요합니다. 브라질에서 미국으로 여행하는 것에 관한 것이지, 그 반대가 아닙니다. 이전에 우리의 알고리즘은 이러한 연결의 중요성을 이해하지 못했고, 미국 시민이 브라질로 여행하는 것에 대한 결과를 반환했습니다. BERT를 사용하면 검색이 이러한 세부 사항을 이해하고 매우 일반적인 단어인 ‘to’가 실제로 여기서 매우 중요하다는 것을 알 수 있으며, 더 관련된 결과를 제공할 수 있습니다.” – 검색 언어 이해를 더 잘 이해하기, Pandu Nayak, Google 펠로우 및 검색 부사장.
BERT 검색 예, 이전과 이후. 출처 블로그
우리의 이전 글에서 NLP와 OCR에 대해 이야기했습니다. 부동산 부문에서 NLP의 몇 가지 사용 사례를 설명했습니다. 또한 “NLP 도구는 이상적인 정보 추출 도구”라고 언급했습니다. 에너지 부문으로 넘어가서, 어떻게 혁신적인 NLP 기술인 BERT가 새로운 애플리케이션 사용 사례를 가능하게 하는지 살펴보겠습니다.
NLP 모델은大量의 비정형 데이터에서 정보를 추출할 수 있습니다
NLP 모델을 사용할 수 있는 한 가지 방법은 비정형 텍스트 데이터에서 임팩트 있는 정보를 추출하는 것입니다. 이메일, 저널, 노트, 로그, 보고서는 모두 비즈니스 운영의 일환으로 발생하는 텍스트 데이터 소스입니다. 이러한 문서 중 일부는 운영 효율성을 높이고 비용을 줄이는 조직의 노력에 매우 중요할 수 있습니다.
풍차 예측 유지 보수를 구현하려는 경우 고장 보고서에는 풍차의 다양한 구성 요소의 동작에 대한 임팩트 있는 정보가 포함될 수 있습니다. 그러나 풍차 제조업체마다 데이터 수집 규범이 다르기 때문에(즉, 유지 보수 보고서는 서로 다른 형식과 언어로 제공될 수 있음), 관련 데이터 항목을 수동으로 식별하는 것은 공장 소유자에게 빠르게 비용이 많이 들 수 있습니다. NLP 도구는 비정형 콘텐츠에서 관련 개념, 속성 및 이벤트를 추출할 수 있습니다. 텍스트 분석을 사용하여 다양한 데이터 소스에서 상관 관계와 패턴을 찾을 수 있습니다. 이것은 공장 소유자가 고장 보고서에서 정량적 지표를 식별하여 예측 유지 보수를 구현할 수 있는 기회를 제공합니다.
NLP 모델은 자연어 검색 인터페이스를 제공할 수 있습니다
유사하게, 석유 및 가스 회사에서 일하는 지질학자들은 과거의鑽井 작업, 우물 로그 및 지진 데이터와 관련된 많은 문서를 검토해야 합니다. 이러한 문서도 서로 다른 형식으로 제공되며 물리적 및 디지털 위치에 분산되어 있기 때문에, 정보를 잘못된 위치에서 찾는 데 많은 시간을浪費합니다. 이러한 경우에 적합한 해결책은 NLP 기반 검색 인터페이스입니다. 이는 사용자가 자연어로 데이터를 검색할 수 있게 해줍니다. 그런 다음 NLP 모델은 수백 개의 문서에 걸쳐 데이터를 상관시킬 수 있으며, 쿼리에 대한 답변 세트를 반환할 수 있습니다. 작업자는 자신의 전문 지식에 따라 출력을 검증할 수 있으며, 피드백은 모델을 더욱 개선할 수 있습니다.
그러나 이러한 모델을 배포하는 데 기술적인 고려 사항이 있습니다. 한 가지 측면은 산업 특유의 용어가 전통적인 학습 모델을混乱시킬 수 있다는 것입니다. 두 번째로, 모델의 성능은 훈련 데이터셋의 크기에 영향을 받을 수 있습니다. 이것이 사전 훈련된 모델인 BERT가 유용한 경우입니다. 컨텍스트 표현은 적절한 단어 의미를 모델링하여 산업 특유의 용어로 인한 혼동을 제거할 수 있습니다. 사전 훈련된 모델을 사용하면 네트워크를 더 작은 데이터셋에서 훈련할 수 있습니다. 이것은_scratch에서 훈련하는 데 필요한 시간, 에너지 및 자원을 절약합니다.
당신의 비즈니스에 관해서는?
비용을 절감하고 운영 효율성을 높이는 데 도움이 될 수 있는 NLP 작업을 생각해 볼 수 있나요?
Blue Orange Digital의 데이터 과학 팀은 당신을 위해 BERT를 조정해 줄 것입니다!
