히만수 고엘은 생물의학, 금융, 및 규제 문서 워크플로우를 포함하는 고위험 도메인에서 검색 증강 생성을 전문으로 하는 AI/ML 연구자입니다.
동일한 2비트 정밀도에서 축을 Quantize하는 한 가지 결정이 벤치마크 점수를 2.88에서 63.53으로 변경합니다. 키와 값은 반대되는 처리가 필요합니다. 이유는 하드웨어가 아니라 주의 방정식에 있습니다.
표준 의료용 RAG는 약 4분의 3의 쿼리에서 충돌하는 증거를 조용히 해결합니다. 해결책은 구조적이며 정보적이지 않습니다. 업스트림 복잡성을 추가하는 대부분의 팀은 도움이 되지 않습니다.
