ヒマンシュ・ゴエルは、バイオメディカル、金融、規制文書ワークフローなどのハイステークス・ドメイン向けのリトリーバル増強生成を専門とするAI/ML研究者です。
同じ2ビットの精度で、量子化軸を選択する1つの決定は、ベンチマークスコアを2.88から63.53まで変化させる。キーと値は反対の処理が必要であり、その理由はハードウェアではなく、注意の式にある。
標準的なバイオメディカルRAGは、約4分の3のクエリで矛盾する証拠を黙って解決します。解決策は構造的なものであり、ほとんどのアップストリームの複雑さは役に立たないです。
