Perplexity, 텍스트 구간 추출 기능을 갖춘 Decider V1.3 모델 출시

Perplexity가 출시한 Decider v1.3 및 Decider Flash v1.3은 2026년 11월 12일 공개됐다. 이번 출시에는 텍스트 구간을 원문 그대로 추출하는 기능과 다운로드 가능한 Apache-2.0 라이선스 가중치가 포함됐다. 회사는 최첨단 LLM이 참조 라벨을 독립적으로 다시 지정한 63개 쿼리 분류 작업에서 대형 모델의 평균 정확도가 91.6%라고 밝혔다. 이는 프로덕션 분류기보다 6.54%포인트 높은 수치다.

새로운 Locate 기능은 개체명 인식, 개인정보 탐지, 추출형 질의응답을 위해 정확히 일치하는 텍스트와 시작 및 끝 문자 위치를 반환하며, 일치하는 항목이 없으면 빈 목록을 반환한다. 두 모델은 OpenRouter와 Perplexity의 Decisions API를 통해서도 이용할 수 있다.

Decider는 문장을 생성하는 대신 예·아니요 질문, 사용자 지정 선택지 또는 순서가 있는 점수에 대한 확률을 반환한다. 애플리케이션은 동일한 텍스트, JSON 또는 이미지에 대해 여러 질문을 던지고, 그 결과로 나온 수치를 분류, 요청 라우팅, 콘텐츠 검토, 필터링, 출력 평가 및 재순위 지정에 활용할 수 있다. 이런 작업에는 자유 형식 생성보다 의사결정 임계값이 필요한 경우가 많다.

아키텍처 및 학습 방식 변경

Decider는 다음 토큰 출력을 마커 토큰에서 읽는 의사결정 헤드로 대체해 생성형 백본을 조정한다. 이 헤드는 답변 선택지 토큰에 해당하는 기본 모델의 행만 사용해 시작한다. v1.3에서는 Perplexity가 전체 어텐션 계층을 양방향으로 만들고 질문끼리 직접 어텐션을 주고받지 못하도록 분리하는 한편, 공유 입력 상태는 질문에 어텐션을 적용할 수 있게 한다. 이는 다른 질문이 함께 제시됐는지에 따라 답변이 달라질 수 있었던 v1.2의 방식을 대체하며, 답변의 안정성을 높이도록 설계됐다.

학습 과정에서는 수백 개의 공개 데이터 세트를 공통 상태, 질문, 선택지 및 정답 형식으로 변환한다. 범용 미세 조정에서는 벤치마크 학습 분할을 제외하며, Perplexity는 평가 데이터와 겹칠 가능성이 있는 샘플도 제거한다고 밝혔다. 이후 도메인 및 비전 분야에 특화할 때는 사전 학습된 가중치를 고정하고 삽입한 랭크 분해 행렬을 학습하는 방식인 LoRA를 사용한다. Perplexity는 가중 어댑터 병합으로 드리프트를 제어하고, 텍스트 단계에서는 세 번의 학습 실행에서 얻은 가중치를 평균한다.

이후 Flash는 대형 모델에서 증류된다. 이때 정답 라벨만으로 학습하는 대신 KL 발산을 사용해 Flash의 출력 확률과 교사 모델의 출력 확률 사이의 차이를 줄인다. Decider v1.3 모델 카드에는 Qwen3.8-27B 백본과 약 49 GiB의 BF16 가중치가 명시돼 있으며, Decider Flash v1.3 모델 카드에는 Qwen3.5-4B와 약 8.5 GiB가 명시돼 있다. 두 모델 중 어느 하나를 자체 호스팅하려면 CUDA GPU와 가중치 외에도 추가 메모리가 필요하므로, Flash는 하드웨어 부담이 더 작다.

Locate의 제공 한도

Locate는 텍스트만 처리하며 요청당 Locate 질문을 최대 128개까지 허용한다. Locate 질문과 의사결정 질문을 함께 포함하는 요청은 유형별로 별도의 순전파가 필요하므로, 한 가지 유형만 포함된 요청보다 지연 시간이 길어진다.

Locate 어댑터를 병합하면 일반적인 의사결정 요청에서 성능 저하가 발생했기 때문에 Perplexity는 이를 병합하지 않고, Locate 요청에만 활성화한다. 이 설계는 기존 의사결정 동작을 유지하지만, 여러 유형이 섞인 작업 부하는 연산을 완전히 공유할 수 없다.

평가 및 프로덕션 활용

Perplexity의 내부 평가 스위트에는 200개가 넘는 작업이 포함되며, 작업별 미세 조정 없이 제로샷 방식으로 실행된다. 익숙한 평가 스위트에 국한되지 않는 일반화 능력을 확인하기 위해 공개 리더보드에 비공개 프로덕션 작업과 공개 비벤치마크 데이터 세트에서 따로 확보한 평가 데이터를 더해 평가한다.

72개 검색 작업에서 회사가 보고한 제로샷 점별 재순위 지정 평균 nDCG@10은 83.99다. 이 방식은 각 쿼리와 문서의 쌍을 독립적으로 점수화하며, Qwen3-Reranker-8B보다 1.81점 높은 결과를 냈다.

프로덕션 환경에서의 점검을 위해 Perplexity는 API를 이용할 수 있었던 첫 18일 동안의 요청 가운데 개인정보를 마스킹하고 중복을 제거한 100만 건을 표본으로 추출했다. 이 표본에는 개별 질문 2,318,887개가 포함됐으며, 모든 질문은 연구 목적의 명시적 사용자 동의를 받아 수집됐다. 프로덕션 요청에는 정답 라벨이 없기 때문에 최첨단 LLM 심사 모델이 참조 답변을 제공했다.

Perplexity에 따르면 v1.3은 해당 심사 모델과 93.98%의 일치율을 보였고, v1.2의 일치율은 93.68%였다. 차이는 크지 않으며, 이 지표는 정답 라벨에 대한 정확도가 아니라 모델이 생성한 참조 답변과의 일치도를 나타낸다.

같은 요청 표본을 기준으로 Perplexity가 보고한 비용은 Decider v1.3이 26.47달러, Flash가 13.24달러다. Decider는 로컬에서 실행됐다. 비교 자료에는 로컬 하드웨어 비용 산정 방식이 명시돼 있지 않고 동일 조건에서 측정한 지연 시간도 제시되지 않았으므로, 이 수치는 보편적인 비용 또는 속도상의 이점이 아니라 해당 작업 부하에 대한 결과를 보여준다.

Perplexity는 에이전트 보안 로그에서 놓친 문제와 오탐을 검토하는 오프라인 작업에도 Decider를 사용한다. 회사가 보고한 하루 동안 Decider는 에이전트 세션 7,000개에서 토큰 10억 개를 처리하고, 규칙 수정안 14건을 제안하게 한 결함을 찾아냈다. 이 중 6건은 승인돼 이틀 안에 배포됐다. 수정 사항을 적용해 일주일치 로그를 다시 실행한 결과, 가장 바쁜 규칙의 처리량은 52% 줄었고, 범위를 넓힌 규칙은 조사할 가치가 있는 정당한 작업을 약 40% 더 포착했다.

두 번째 내부 시스템은 강화학습 실패와 에이전트의 해석에 관한 확률을 저장하므로 Decider에 새로 질의하지 않고도 임계값을 변경할 수 있습니다. 이 시스템은 관찰하고 진단하기만 하며, 보상을 변경하거나 실행을 중단하지는 않습니다. Decider는 저품질 크롤링 페이지를 필터링하는 동시에 한 번의 처리 과정에서 대상 독자, 도메인, 유해하거나 불법적인 콘텐츠, 개인정보도 평가합니다.

Perplexity는 애플리케이션마다 라벨 빈도와 위양성·위음성의 비용이 다르므로, 대표성 있는 라벨 지정 예시를 바탕으로 판단 임계값을 보정할 것을 권장합니다. 전체 모델은 오류 비용이 큰 상황에서 세밀한 판단을 내리는 용도로, Flash는 지연 시간과 비용의 제약을 받는 대량 작업용으로 제시합니다.

따라서 Decider의 폭넓은 활용성에는 배포상의 부담이 따릅니다. 여러 작업에서 재사용할 수 있게 해 주는 동일한 확률값을 애플리케이션별 임계값으로 조정해야 하며, Locate가 추가한 추출 기능은 여러 요청이 혼합된 경우 연산량을 늘립니다.