AI 기초
딥러닝에서 RNN과 LSTM은 무엇인가요?
Unite.AI를 Google의 선호 소스에 추가
Recurrent neural networks (RNNs) 은 시퀀스를 시간에 따라 은닉 상태를 업데이트하면서 처리합니다. Long short-term memory (LSTM) 은 기본 순환 유닛보다 정보를 더 효과적으로 보존하고 제어하도록 설계된 게이트가 있는 RNN입니다.
RNN과 LSTM은 한때 많은 언어 작업을 지배했지만, 현대의 대형 챗봇은 주로 transformers를 기반으로 합니다. 순환 모델은 스트리밍, 시계열, 음성, 제어 및 증분 상태와 낮은 지연 시간이 중요한 리소스 제한 시스템에서 여전히 유용합니다.
핵심 요점
- RNN은 각 시퀀스 단계마다 동일한 매개변수를 재사용하고 은닉 상태를 전달합니다.
- 시간을 통한 학습은 소실 또는 폭발하는 그래디언트를 초래할 수 있습니다.
- LSTM은 셀 상태와 입력, 망각, 출력 게이트를 추가합니다.
- Transformer는 장거리 관계와 병렬 학습을 다르게 처리하며, 어느 아키텍처도 모든 배포에 최적은 아닙니다.
기본 RNN 작동 방식
단계 t에서, 간단한 순환 유닛은 현재 입력 xₜ와 이전 은닉 상태 hₜ₋₁을 결합합니다:
hₜ = activation(Wₓxₜ + Wₕhₜ₋₁ + b)
은닉 상태는 다음 단계에 사용되는 학습된 요약이며, 작업에 따라 출력이 될 수도 있습니다. “언롤된” 다이어그램은 각 시간 단계마다 하나의 복사본을 그리지만, 모든 복사본은 매개변수를 공유합니다. 출력이 단순히 새로운 원시 입력으로 복사되는 것이 아니라, 순환은 은닉 상태를 정의된 변환을 통해 전달합니다.
시간을 통한 역전파
RNN은 backpropagation through time (BPTT) 로 학습됩니다. 언롤된 시퀀스는 깊은 계산 그래프를 형성하며, 및 backpropagation 은 손실이 공유된 순환 매개변수에 어떻게 의존하는지를 계산합니다.
반복적인 곱셈은 그래디언트를 0에 가까워지게 하거나 무한히 커지게 만들 수 있습니다. 소실되는 그래디언트는 긴 의존성을 학습하는 것을 방해하고, 폭발하는 그래디언트는 불안정한 업데이트를 초래합니다. 그래디언트 클리핑은 폭발하는 그래디언트를 해결하며, 게이트, 초기화, 정규화 및 짧은 학습 윈도우가 도움이 될 수 있습니다.
LSTM 셀 내부
LSTM은 은닉 상태 hₜ 외에 셀 상태 cₜ 를 유지합니다. 그 게이트들은 학습된 데이터 의존 제어입니다:
- The forget gate 은 이전 셀 상태가 얼마나 유지되는지를 제어합니다.
- The input gate 은 후보 정보가 얼마나 기록되는지를 제어합니다.
- The output gate 은 셀 정보가 은닉 상태에 얼마나 기여하는지를 제어합니다.
시그모이드 출력은 0과 1 사이에서 부드러운 게이트 역할을 하며, tanh 변환된 후보는 새로운 내용을 제공합니다. 가산적인 셀 상태 경로는 그래디언트가 지속되도록 돕지만, LSTM이 무한한 메모리를 보장하거나 모든 최적화 문제를 제거하는 것은 아닙니다.
GRU와 양방향 순환
게이트가 있는 순환 유닛(GRU)은 별도의 LSTM 스타일 셀 상태 없이 게이팅 메커니즘을 더 간단한 순환 셀에 결합합니다. GRU는 일부 작업에서 더 빠르게 학습하고 유사한 성능을 보일 수 있습니다.
양방향 RNN은 완전한 시퀀스를 양쪽 방향으로 처리하고 상태를 결합합니다. 이는 태깅이나 인코딩에 미래 컨텍스트를 사용할 수 있지만, 미래 입력이 아직 제공되지 않은 인과 스트리밍에는 부적합합니다.
시퀀스-투-시퀀스 모델
Encoder-decoder RNN은 한 시퀀스를 다른 시퀀스로 매핑합니다. 어텐션은 디코더가 하나의 고정 벡터에 의존하는 대신 다양한 인코더 상태를 참조하도록 도입되었습니다. 이 연구 흐름은 순환을 어텐션 기반 블록으로 대체한 transformer 아키텍처로 이어졌습니다.
RNN과 transformer 비교
Transformer는 학습 위치를 병렬로 처리하고 먼 토큰 사이에 짧은 어텐션 경로를 생성합니다. RNN은 상태를 순차적으로 처리하여 병렬성을 제한하지만 스트리밍 중에 일정 크기의 순환 상태를 제공합니다. Transformer 추론은 증가하는 키-값 캐시가 필요할 수 있는 반면, RNN은 역사를 은닉 상태에 압축하고 세부 정보를 잃을 수 있습니다.
시퀀스 길이, 데이터 규모, 하드웨어, 지연 시간, 메모리, 그리고 작업이 오프라인인지 스트리밍인지에 따라 선택하십시오. 하이브리드 및 상태공간 아키텍처는 추가적인 트레이드오프를 제공합니다.
현재 활용 사례
RNN과 LSTM은 예측, 이상 탐지, 센서 처리, 음성 구성 요소, 필기, 임베디드 제어 및 저지연 시퀀스 모델링에 여전히 관련이 있습니다. 현재의 대형 언어 모델이나 AI 챗봇에 대한 기본 설명은 아닙니다.
순환, 게이트 및 시퀀스 메모리
순환 신경망은 현재 입력을 이전 단계에서 전달된 은닉 상태와 결합하여 시퀀스를 처리합니다. 공유된 가중치는 가변 길이 시퀀스를 가능하게 하고, 언롤링은 학습을 위해 시간에 따른 계산을 드러냅니다. 기본 RNN은 시간적 의존성을 표현할 수 있지만, 긴 시퀀스에서 반복적으로 곱해지는 그래디언트는 소실되거나 폭발하는 경향이 있습니다. 잘라낸 역전파는 메모리와 계산을 제한하고, 그래디언트 클리핑은 극단적인 업데이트를 제어합니다. 은닉 상태는 학습된 요약이며, 모든 이전 토큰을 충실히 저장하는 것은 아닙니다.
Long short-term memory 네트워크는 쓰기, 유지, 노출을 조절하는 셀 상태와 입력, 망각, 출력 게이트를 추가합니다. 게이트가 있는 순환 유닛은 더 간단한 리셋 및 업데이트 구조를 사용합니다. 양방향 변형은 미래 컨텍스트를 사용하므로 지연 없이 인과 스트리밍을 할 수 없습니다. 스택형, 잔차형, 어텐션 강화 순환 모델은 용량을 늘립니다. 패딩과 마스크는 인공적인 시퀀스 요소가 상태나 손실에 영향을 주지 않도록 해야 하며, 상태는 예시 간 누수를 방지하기 위해 실제 시퀀스 경계에서 리셋되어야 합니다.
학습, 비교 및 상태 유지 서빙
RNN과 LSTM은 스트리밍, 온디바이스 소형 모델, 시계열 및 순차 상태가 효율적인 워크로드에 여전히 유용합니다. Transformer는 학습을 병렬화하고 장거리 상호작용을 다르게 모델링하지만 더 큰 메모리와 캐시가 필요할 수 있습니다. 시퀀스 길이가 변함에 따라 정확도, 지연, 처리량, 메모리, 전력 및 성능을 기준으로 아키텍처를 비교하십시오. 롤링 타임 스플릿을 이용한 예측, 시퀀스 인식 메트릭을 이용한 언어 평가, 이벤트 수준 측정을 이용한 이상 탐지를 평가합니다. 긴 간격, 레짐 변화, 누락 샘플, 급격한 시퀀스 경계 후의 실패를 점검하십시오.
상태 유지 배포는 은닉 상태를 올바른 세션에 연결하고, 만료시키며, 민감한 경우 암호화하고, 오류나 모델 변경 후 리셋해야 합니다. 순서가 뒤섞이거나 중복된 이벤트는 상태를 손상시킬 수 있으므로 타임스탬프, 시퀀스 번호 및 멱등성을 포함하십시오. 상태 연령, 시퀀스 길이, 누락, 출력 드리프트 및 지연을 모니터링하십시오. 양자화는 작은 수치 변화가 시간이 지남에 따라 누적될 수 있기 때문에 게이트 민감 검증이 필요합니다. RNN 메모리는 컨텍스트를 제공하지만 개인 정보나 오래된 정보를 보존할 수도 있어, 보존 정책 및 사용자 제어가 설계에 포함되어야 합니다.
실제 예시: 스트리밍 센서 시퀀스를 위한 LSTM
한 유틸리티는 최근 측정값, 캘린더 및 날씨를 기반으로 단기 부하를 예측하기 위해 LSTM을 사용합니다. 시퀀스는 엄격한 시간 순서로 구성되며, 피더 경계에서 은닉 상태가 리셋되고 패딩은 마스크됩니다. 계절적 나이브 및 그래디언트 부스팅 기준선이 롤링 윈도우 전반에 걸쳐 LSTM과 비교됩니다. 테스트는 누락 구간, 지연된 날씨, 휴일, 정전 및 일반적인 학습보다 긴 시퀀스 길이를 포함합니다.
스트리밍 서비스는 상태를 하나의 피더에 연결하고, 순서가 뒤섞인 중복을 거부하며, 긴 간격이나 모델 업데이트 후 상태를 만료시킵니다. 센서나 상태가 유효하지 않을 때 안전한 통계적 예측이 출력을 대체합니다. 양자화된 추론은 누적 드리프트를 확인하기 위해 긴 시퀀스에서 검사됩니다. 모니터링은 상태 연령, 누락, 지연, 편향 및 구간 오류를 추적합니다. 모델은 그리드 변경 후에만 재학습되며, 검토 결과는 학습된 시간 관계가 더 이상 일반화되지 않음을 보여줍니다.
구현 증거 및 운영 준비성
프로덕션 결정은 성공적인 시연 이상을 필요로 합니다. 의도된 사용자, 운영 환경, 입력, 출력, 의존성, 소유자 및 각 중요한 실패의 결과를 정의하십시오. 튜닝 전에 재현 가능한 베이스라인과 버전 관리된 평가 세트를 설정하십시오. 일반적인 경우, 경계 조건, 형식이 잘못되었거나 누락된 입력, 분포 이동, 의존성 중단, 오용 및 소외될 가능성이 높은 그룹이나 환경을 테스트하십시오. 작업 품질을 보정 또는 불확실성, 지연, 처리량, 자원 비용, 접근성, 프라이버시 및 보안과 함께 측정하십시오. 모든 변환 및 임계값을 기록하여 독립적인 검토자가 결과를 재현하고 매력적인 프로토타입과 증거를 구분할 수 있게 하십시오.
출시 전에 릴리스, 예외, 변경, 롤백 및 폐기에 대한 권한을 할당하십시오. 단계적 롤아웃을 사용하고 안전한 폴백을 유지하며 고의적으로 삽입된 실패를 통해 모니터링을 검증하십시오. 운영 텔레메트리는 불필요한 민감 데이터를 수집하지 않으면서 입력 품질, 출력 동작, 모델 또는 규칙 버전, 의존성 상태, 인간 개입 및 확인된 결과를 보여야 합니다. 알림 임계값과 대응 담당자를 정의한 뒤, 오프라인 성능이 지속될 것이라고 가정하지 말고 배포 후 실제 증거를 검토하십시오. 데이터 소스, 사용자, 모델, 공급업체, 정책, 하드웨어 또는 목표가 변경될 때마다 재평가하십시오. 유지되는 시스템은 문서화된 복구, 사고 학습, 삭제 및 보존 절차, 그리고 비활성화 또는 교체 시점을 명확히 해야 합니다.
자주 묻는 질문
LSTM이 항상 기본 RNN보다 더 좋나요?
No. 게이트는 많은 장기 의존성 문제를 돕지만 계산 및 매개변수를 추가합니다. 기본 RNN은 짧고 간단한 시퀀스에 충분할 수 있으며, 매우 긴 컨텍스트에는 다른 아키텍처가 더 나을 수 있습니다.
LSTM이 무제한 히스토리를 처리할 수 있나요?
No. 상태는 유한한 용량을 가지고 있으며, 그래디언트와 학습 데이터가 제한을 가하고, 관련 세부 사항이 덮어쓰여질 수 있습니다. 장기 컨텍스트 성능은 아키텍처 이름만으로 추론하기보다 측정해야 합니다.
주요 참고문헌
