사상 리더
무질서한 데이터의 혼란을 이해하기: LLM의 역할
Unite.AI를 Google의 선호 소스에 추가
최근 하드웨어의 발전으로 인해 계산 능력이 크게 향상되었습니다. Nvidia H100 GPU 는 Nvidia A100의 9배 속도로 작동하며, 딥 러닝 작업을 처리하는 데 탁월합니다. 이러한 발전은 자연어 처리(NLP)와 컴퓨터 비전에서 생성적 인공지능의 상용화를 촉진했습니다. 이제 기업은 무질서한 데이터를 쉽게 가치 있는 정보로 변환할 수 있습니다. 기술 통합의 큰 도약입니다.
전통적인 데이터 추출 방법
수동 데이터 입력
놀랍게도 많은 기업은 여전히 수동 데이터 입력에 의존하고 있습니다. 이 방법은 정보를 직접 대상 시스템에 입력하는 것을 포함합니다. 초기 비용이 낮기 때문에 채택하기 쉽습니다. 그러나 수동 데이터 입력은 단조롭고 시간이 걸리며 오류가 많이 발생합니다. 또한 민감한 데이터를 처리할 때 보안 위험이 있습니다. 자동화와 디지털 보안의 시대에는 바람직하지 않은 선택입니다.
광학 문자 인식 (OCR)
OCR 기술은 이미지와 손글씨를 기계가 읽을 수 있는 데이터로 변환합니다. 더 빠르고 비용 효율적인 데이터 추출 솔루션을 제공합니다. 그러나 품질이 신뢰할 수 없습니다. 예를 들어, “S” 문자가 “8”으로 잘못 인식될 수 있습니다.
OCR의 성능은 입력 데이터의 복잡성과 특성에 크게 영향을 받습니다. 높은 해상도의 스캔 이미지에서 잘 작동하지만, 손글씨 텍스트에서는 어려움이 있습니다. 특히 시각적 인식이 어려운 경우에는 적응이 필요합니다. 데이터 추출 도구는 OCR을 기반으로 하여 정확도를 높이기 위해 후처리 과정을 거칩니다. 그러나 100% 정확한 결과를 보장할 수 없습니다.
텍스트 패턴 매칭
텍스트 패턴 매칭은 미리 정의된 규칙이나 패턴을 사용하여 텍스트에서 특정 정보를 식별하고 추출하는 방법입니다. 다른 방법보다 빠르고 ROI가 높습니다. 모든 복잡성 수준에서 효과적이며 유사한 레이아웃의 파일에서 100% 정확도를 달성합니다.
그러나 단어와 단어 사이의 일치에 대한 엄격함으로 인해 적응성이 제한됩니다. 100% 정확한 일치를 요구하며, 동의어를 다루는 데 어려움이 있습니다. 예를 들어, “날씨”와 “기후”를 구별하는 데 어려움이 있습니다. 또한 맥락에 민감하여 다른 맥락에서 다중 의미를 인식하지 못합니다. 엄격성과 적응성의 균형을 맞추는 것이 지속적인 도전입니다.
명명된 엔티티 인식 (NER)
명명된 엔티티 인식(NER)은 자연어 처리 기술로 텍스트에서 핵심 정보를 식별하고 분류합니다.
NER의 추출은 미리 정의된 엔티티(조직 이름, 위치, 개인 이름, 날짜 등)에 국한됩니다. 즉, NER 시스템은 현재 미리 정의된 엔티티 세트를 넘어서 사용자 지정 엔티티를 추출할 수 있는 내재된 능력이 없습니다. 두 번째로, NER는 인식된 엔티티와 관련된 키 값에 초점을 맞추고 있지만, 더 복잡하거나 구조화된 데이터 유형에서 데이터 추출에는 적용할 수 없습니다.
무질서한 데이터의 양이 증가함에 따라, 이러한 도전은 추출 방법론에 대한 포괄적이고 확장 가능한 접근 방식의 필요성을 강조합니다.
LLM을 사용한 무질서한 데이터의 잠금
대규모 언어 모델(LLM)을 사용한 무질서한 데이터 추출은 여러 가지 이점을 가진 매력적인 솔루션입니다.
맥락 인식 데이터 추출
LLM은 강력한 맥락 이해를 가지고 있습니다. 광범위한 데이터에 대한 훈련을 통해 다양한 정보 추출 작업을 처리할 수 있습니다. 예를 들어, 날씨 값을 추출할 때, 관련 요소(기후 값)를 고려하여 정보를 캡처합니다. 이러한 고급 수준의 이해력은 데이터 추출 분야에서 동적이고 적응 가능한 선택으로 만듭니다.
병렬 처리 능력 활용
LLM은 병렬 처리를 사용하여 작업을 더 빠르고 효율적으로 만듭니다. 순차적 모델과 달리, LLM은 자원을 최적화하여 데이터 추출 작업을 가속화합니다. 이는 추출 프로세스의 전체 성능에 기여합니다.
다양한 데이터 유형에 대한 적응
일부 모델은 특정 시퀀스에만 국한되지만, LLM은 비 시퀀스 특정 데이터를 처리할 수 있습니다. 이는 다양한 데이터 형식(예: 테이블, 이미지)을 처리할 수 있습니다.
처리 파이프라인 개선
LLM의 사용은 전처리 및 후처리 단계의 자동화를 의미합니다. LLM은 추출 프로세스를 정확하게 자동화하여 무질서한 데이터 처리를 간소화합니다. 다양한 데이터셋에 대한 광범위한 훈련을 통해 패턴과 상관관계를 식별합니다.
출처: 생성적 인공지능에 대한 리뷰
이 생성적 인공지능 파이프라인 그림은 BERT, GPT, OPT와 같은 모델이 데이터 추출에 사용될 수 있음을 보여줍니다. 이러한 LLM은 다양한 NLP 작업을 수행할 수 있습니다. 일반적으로 생성적 인공지능 모델은 원하는 데이터를 설명하는 프롬프트를 제공하고, 응답에는 추출된 데이터가 포함됩니다. 예를 들어, “구매 주문서에서 모든 공급업체 이름 추출”과 같은 프롬프트는 반응에 모든 공급업체 이름을 포함할 수 있습니다. 추출된 데이터는 이후 데이터베이스 테이블이나 플랫 파일로 파싱되어 조직의 워크플로에 무결하게 통합될 수 있습니다.
진화하는 AI 프레임워크: RNN에서 트랜스포머까지
생성적 인공지능은 인코더-디코더 프레임워크를 기반으로 하며, 두 개의 협력 네트워크를 특징으로 합니다. 인코더는 입력 데이터를 처리하여 핵심 특징을 “컨텍스트 벡터”로 압축합니다. 디코더는 이 벡터를 생성 작업(예: 언어 번역)에 사용합니다. 이 아키텍처는 RNN과 트랜스포머를 포함한 신경 네트워크를 특징으로 하며, 다양한 도메인(기계 번역, 이미지 생성, 음성 합성, 데이터 엔티티 추출)에 적용됩니다. 이러한 네트워크는 데이터 시퀀스 내의 복잡한 관계와 의존성을 모델링하는 데 탁월합니다.
순환 신경망 (RNN)
순환 신경망 (RNN)은 시퀀스 작업(번역, 요약)에 적합하도록 설계되었습니다. 그러나 긴 의존성 작업에서 정확도가 낮습니다.
RNN은 문장에서 키-값 쌍을 추출하는 데 탁월하지만, 테이블과 같은 구조에서는 어려움을 겪습니다. 이를 해결하려면 시퀀스와 위치를 신중하게 고려해야 합니다. RNN의 사용은 낮은 ROI와 대부분의 텍스트 처리 작업에서 저조한 성능으로 인해 제한적이었습니다.
장기 단기 메모리 네트워크 (LSTM)
장기 단기 메모리 (LSTM) 네트워크는 RNN의 한계를 해결하는 솔루션으로 등장했습니다. 특히, 선택적 업데이트와忘却 메커니즘을 통해 이를 달성합니다. RNN과 마찬가지로, LSTM은 문장에서 키-값 쌍을 추출하는 데 탁월하지만, 테이블과 같은 구조에서는 어려움을 겪습니다. 이러한 구조에서는 시퀀스와 위치를 신중하게 고려해야 합니다.
2012년, GPU는 처음으로 딥 러닝에 사용되었습니다. 이후 일부 RNN도 GPU를 사용하여 훈련되었습니다. 그러나 좋은 결과를 얻지 못했습니다. 오늘날, 이러한 모델은 주로 사용되지 않으며 트랜스포머 기반의 LLM으로 대체되었습니다.
트랜스포머 – 주의 메커니즘
트랜스포머의 도입은 NLP를 혁신적으로 바꾸어 놓았습니다. ‘트랜스포머’ 아키텍처는 병렬 계산을 가능하게 하며, 긴 의존성을 효과적으로 캡처합니다. LLM인 GPT, BERT, OPT는 트랜스포머 기술을 활용했습니다. 트랜스포머의 핵심에는 ‘주의’ 메커니즘이 있습니다. 이는 시퀀스-시퀀스 데이터 처리에서 성능을 향상시키는 핵심 요소입니다.
트랜스포머의 ‘주의’ 메커니즘은 ‘쿼리'(질문 프롬프트)와 ‘키'(모델의 각 단어에 대한 이해) 간의 호환성을 기준으로 가중 합을 계산합니다. 이는 시퀀스 생성 중에 집중된 주의를 허용하여 정확한 추출을 보장합니다. 트랜스포머 내의 두 가지 핵심 구성 요소는 셀프-주의와 멀티-헤드 주의입니다. 셀프-주의는 입력 시퀀스 내의 단어 간의 중요성을 캡처하며, 멀티-헤드 주의는 특정 관계에 대한 다양한 주의 패턴을 허용합니다.
인보이스 추출의 경우, 셀프-주의는 이전에 언급된 날짜의 관련성을 인식하며, 멀티-헤드 주의는 독립적으로 숫자 값(금액)과 텍스트 패턴(공급업체 이름)에 집중합니다. RNN과 달리, 트랜스포머는 기본적으로 단어의 순서를 이해하지 못합니다. 이를 해결하기 위해, 트랜스포머는 위치 인코딩을 사용하여 각 단어의 위치를 추적합니다. 이는 입력 및 출력 임베딩 모두에 적용되어 문서 내의 키와 값의 식별을 도와줍니다.
주의 메커니즘과 위치 인코딩의 조합은 대규모 언어 모델이 구조를 테이블로 인식하는 데 중요합니다. 이는 내용, 간격, 텍스트 마커를 고려하여 이를 달성합니다. 이는 다른 무질서한 데이터 추출 기술과 구별되는 특징입니다.
현재 트렌드와 개발
인공지능 분야는 무질서한 데이터 추출을 다시 정의하는 트렌드와 개발로 가득 차 있습니다. 이 분야의 미래를 형성하는 핵심 요소를 살펴보겠습니다.
대규모 언어 모델의 발전
생성적 인공지능은 대규모 언어 모델(LLM)의 발전으로 새로운 단계에 접어들었습니다. 무질서한 데이터 추출을 위한 두 가지 주요 전략이 있습니다.
- 다중 모달 학습: LLM은 텍스트, 이미지, 오디오와 같은 다양한 유형의 데이터를 동시에 처리할 수 있습니다. 이는 다양한 소스에서 가치 있는 정보를 추출하는 능력을 향상시키며, 무질서한 데이터 추출에서 더 유용하게 만듭니다. 연구자들은이 모델을 효율적으로 사용하는 방법을 탐구하고 있으며, GPU와 같은 가속기가 없는 경우에도 대규모 모델을 운영할 수 있도록 하는 전략을 모색하고 있습니다.
- RAG 애플리케이션: 검색 보강 생성 (RAG)은 대규모 사전 훈련 언어 모델과 외부 검색 메커니즘을 결합하여 능력을 향상시키는 새로운 트렌드입니다. 생성 과정 중에大量의 문서에 접근함으로써, RAG는 기본 언어 모델을 동적이고 비즈니스 및 소비자 애플리케이션을 위한 맞춤형 도구로 변환합니다.
LLM 성능 평가
LLM의 성능 평가에 대한 도전은 전략적인 접근 방식과 혁신적인 평가 방법론을 통해 해결됩니다. 주요 개발은 다음과 같습니다.
- 세분화된 메트릭: 정보 추출 작업의 품질을 평가하기 위한 맞춤형 평가 메트릭이 등장하고 있습니다. 정확도, 재현율, F1 점수와 같은 메트릭은 특히 엔티티 추출과 같은 작업에서 효과적입니다.
- 인간 평가: 자동화된 메트릭과 함께 인간의 평가가 중요합니다. 이는 추출된 정보의 맥락적 정확성과 관련성을 포괄적으로 평가하는 데 도움이 됩니다.
이미지 및 문서 처리
다중 모달 LLM은 OCR을 완전히 대체했습니다. 사용자는 이미지를 스캔한 텍스트를 기계가 읽을 수 있는 텍스트로 변환할 수 있으며, 비전 기반 모듈을 사용하여 시각적 콘텐츠에서 직접 정보를 식별하고 추출할 수 있습니다.
링크 및 웹사이트에서 데이터 추출
LLM은 웹 링크와 웹사이트에서 데이터를 추출하는 데 점점 더 능숙해지고 있습니다. 이러한 모델은 웹 스크래핑에 능숙하며, 웹 페이지의 데이터를 구조화된 형식으로 변환하는 데 가치 있습니다. 이는 뉴스 집계, 전자 상거래 데이터 수집, 경쟁 지능과 같은 작업에 매우 유용합니다.
생성적 인공지능의 작은 거인
2023년 상반기에는巨대 언어 모델의 개발에 중점이 맞춰졌습니다. 그러나 최근 결과는 3억 개 미만의 매개변수를 가진 작은 모델인 TinyLlama와 Dolly-v2-3B가 이유와 요약과 같은 작업에서 탁월한 성능을 보인다는 것을 보여주었습니다. 이러한 모델은 컴퓨팅 파워와 저장소가 적게 필요하여, 비싼 GPU가 없는 작은 회사에서도 인공지능을 더 쉽게 사용할 수 있게 합니다.
결론
초기 생성적 인공지능 모델, 즉 생성적 적대적 네트워크(GAN)와 변분 오토인코더(VAE)는 이미지 기반 데이터를 처리하는 새로운 접근 방식을 도입했습니다. 그러나真正한 돌파구는 트랜스포머 기반의 대규모 언어 모델의 등장으로 이루어졌습니다. 이러한 모델은 이전의 모든 기술을 능가하는 성능을 보여주었습니다. 인코더-디코더 구조, 셀프-주의, 멀티-헤드 주의 메커니즘을 통해 언어에 대한 깊은 이해와 인간과 같은 추론 능력을 가지게 되었습니다.
생성적 인공지능은 보고서의 텍스트 데이터를 채굴하는 데 좋은 시작점을 제공하지만, 이러한 접근 방식의 확장성은 제한적입니다. 초기 단계는 종종 OCR 처리를 포함하며, 보고서 내의 이미지에서 텍스트를 추출하는 데 어려움이 있습니다.
또한, 보고서 내의 이미지에서 텍스트를 추출하는 것은 또 다른 도전입니다. GPT-4, Claud3, Gemini와 같은 다중 모달 데이터 처리 및 토큰 제한 확장을 사용하는 솔루션은 앞으로 나아가는 길을 제공합니다. 그러나 이러한 모델은 API를 통해만 접근할 수 있습니다. 문서에서 데이터를 추출하는 데 API를 사용하는 것은 효과적이고 비용 효율적이지만, 지연, 제한된 제어, 보안 위험과 같은 제한이 있습니다.
보다 안전하고 사용자 지정 가능한 솔루션은 문서 레이아웃 이해와 맥락에 따라 텍스트의 의미를 이해하는 데 미세 조정된 내부 LLM을 의미합니다. 제로샷 및 페어샷 학습을 활용하여 미세 조정된 모델은 다양한 문서 레이아웃에 적응하여 여러 도메인에서 효율적이고 정확한 무질서한 데이터 추출을 보장합니다.
