Anderson ááá±á¬áá·áº
Image Realism á¡áá²ááŒááºááẠAI Hallucinations ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážá
áá¯ááŸá¬ážááá¯ááºáá¶á០áá¯áá±ááá¡áá áºááẠáááºááœá±á·ááá»áá±á¬ AI ááŸáá¯ááºáá¯ááºáá¬ážáá±á¬ áá¯á¶áá»á¬ážááá¯ááŸá¬ááœá±ááẠááá¬ážááá¯ážáá»ááá¯ááºáá±á¬áááºážáááºážááᯠá¡ááá¯ááŒá¯ááẠ- ááŒá®ážáá¬ážáá±á¬ Vision-language model (LVLMs) áá»á¬ážá áááá»ááŸá¯ááᯠááŒáŸáá·áºáááºáá±ážááŒááºážááá¯ááºáá² áááºážááá¯á·á áááºááœááºáá»ááºááŸáááŸá á¡áá¯á¶ážáá»ááŒááºážááŒáá·áºá á¡ááŒááºááŸá¬ážááẠááá±á¬áá¬áž.
ááá¹áá¯áá»ááºážáááºááŸá¯ááœáẠLVLMs á¡áá¯á¶ážááŒá¯áá¬ážáá±á¬ áá¯á¶áá áºáá¯á¶ááŸáá·áºáááºáááºááá·áº 'á¡áá¯ááŒá°á¡áá»ááºá¡áááº' á¡áá»á¬ážá¡ááŒá¬ážááᯠáá±á¬ááºáá¯ááºááŒá®áž á¡áá»á¯á¶ážáááºáááºá ááá¬ááá¬áá¬á áá¬áž á¡áá¯á¡ááá·áº (NLI) á€áá¯ááºááŒááºáá»ááºáá»á¬ážááŒá¬ážááœáẠááœá²ááœá²ááŸá¯áá»á¬ážááᯠá áá áºááá»ááá¯ááºážáá¬ááẠ- áá±á¬áºáááºááá»áá¯á·ááœááºážáá»ááºáá»á¬ážááᯠá¡á¬áá¯á¶áá¶á á¬ážááŸá¯ááᯠááá·áºáá»ááºáá±á¬áá¯á¶áá»á¬ážááᯠááŸá¬ááœá±áá±á¬áºáá¯ááºáááºá¡ááœáẠáá±á¬áá«ááŸá¬ááœá±áá±ážáááááá¬á¡ááŒá Ạáááá±á¬ááºá áœá¬ááŒá±á¬ááºážáá²áá±ážáá«áááºá
WHOOPS á០áá¯á¶ááŸá áºáá¯á¶á LVLM áá±á¬áºáááºá០á¡ááá¯á¡áá»á±á¬ááºáá¯ááºáá±ážáá±á¬ áá¯ááºááŒááºáá»ááºáá»á¬ážááŸáá·áº ááœá²áá»áẠdatasetá áááºáááºáá¯ááºáá¯á¶ááẠáááºááœá±á·áá»ááŒá®áž áááááºáááºážáá±á¬áºááŒáá»ááºáá»á¬ážááᯠááŒá áºáá±á«áºá á±ááŒá®áž áá¯á¶ááŸááºááá¯ááºáá±á¬ áá¬áááºáá¯á¶ááẠáá±á¬áºáááºááᯠá¡ááŒááºááŸá¬ážá á±áᬠááá·áºáá»ááºááẠááá¯á·ááá¯áẠááŸá¬ážááœááºážáá±á¬áá¯ááºááŒááºáá»ááºáá»á¬ážááᯠáá¯ááºáá±ážáá«áááºá á¡áááºážá¡ááŒá áº- https://arxiv.org/pdf/2503.15948
áá¯ááááá¯á¶á áááºááœá±á·áááºááŸá¯ááᯠá¡áá²ááŒááºááẠLVLM á០áá±á¬ááºážááá¯áá²á·áááºá áá á¯á¶ááᯠáá¯á¶ááœááºáá±á¬áºááŒáá¬ážáá±á¬áá¯áá¬ážá¡á¯ááºááœáẠá¡áá¯áá¯á¶ážáá¯á¶ážáá«áá±á¬ááŒá±á¬áá·áº ááœá²áá»á±á¬áºáá±áá«áááºá ááá¬áááœááºááá.
ááá¯á·áá±á¬áºá LVLM ááẠá¡á ááá¯ááºážááœáẠááŸá¯ááºááœá±ážáááºá > á áᯠááŸáá·áº > áááá á¹áá¬áẠá áá±á¬ááº'áá¯áá¬ážá¡á¯ááºáá¯á¶' áá áºáá¯áááºážááœáẠáááºáá¯á¶ážáá±á¬ááºááᯠáááºááŒááºááá¯ááºáá±á¬ááŒá±á¬áá·áº á€áááºážááẠáá áºáá¯áááºážáá±á¬áááºážáááºážááŒá áºáááºá ááá¯á·áá±á¬áẠáá±á«ááºážááŸá áºáá¯á¶áž (á¥ááᬠ'áá±á«ááºážááŸá áºáá¯á¶áž') ááẠááá¯á áááŒá áºááá¯ááºáá±á¬á¡áá¬ááᯠáááºáá±á¬ááºáááºááŸá¬áž ááŒá áºá á±áᬠáááºážá áá¶áááá»á¬ážááᯠá¡á áá»áá¯ážáá²á·áá¯á¶áá±á«áºááá·áº á¡áá¬á¡á¬áž á¡áá±ážá ááẠáááºáá±á¬á·á០á¡áá±ážá ááẠáááŒá±á¬ááá¯ááºáá±á¬á·áá±á
á¡áá¯ááºáá áºá áá¯áá±áá®áá»á¬ážááẠLVLM áá±á¬áºáááºáá»á¬ážááẠá€á¡áá²ááŒááºááŸá¯áá»áá¯ážááᯠáá°áááºážá¡ááá¯ááºáž áá¯ááºáá±á¬ááºááá¯ááºááŒá®áž ááŒá áºáá²á·ááá·áº (ááá¯á·ááá¯ááº) ááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ áá±á¬áºáááºáá»á¬ážááŸáá·áº áááºážáá°áá¯ááºáá±á¬ááºááá¯ááºááŒá±á¬ááºáž ááœá±á·ááŸááá²á·áááºá ááŸááá±ážáááºá áá®ááá¯áá»áá¯áž á¡áá¯ááºáá áºáá¯á¡ááœááºá áá»áááºááŸáááŒááºážáá»á¬ážááẠááŸá¯ááºááœá±ážáá±á¬á á á»á±ážááŒá®ážááŒá®áž áá±á¡á±á¬ááºááá¯ááºážá¡áá¯á¶ážááŒá¯ááá¯ááºááŸá¯ááá¯ááºáᬠáááºááŸááºáá»ááºáá»á¬ážááœáẠáááºáááºááááá¶áá±á¬ááŒá±á¬áá·áºá á¡áááºááŸáá áºáá¯á¡ááœáẠáá°áá¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááŸá¬ááœá±ááœá±á·ááŸáááŒááºážááŒá áºáááºá á¡ááŒá®ážáá¬ážáá¯á¶ážáá±á¬ áááºážááááºááá¯á·ááŸá¯áá»á¬áž áááºááŸá AI áá±á¬áºááŸááºáá±ážááœáẠá á¬áá±á áá±áá¯áá»áá±ááºáá±á á®ážááŒá±á¬ááºážá¡áá±á«áº ááŒááºáááºáááºážáá áºáá±á¬ ááŸáá·áºááœááºáá áºáá¯ááŒá áºáááºá
á¡áá²ááŒááºááŒááºážááᯠááœáá·áºáá«á
áá»ááºážáááºááŸá¯á á¡áá±ážáá«ááŸá¯ááŸá¬ áááºážááᯠá¡áá¯á¶ážáá»ááá¯ááºáááºáᯠá á¬áá±ážáá°á á¡ááá¯ááºá¡áá¬ááá¯áááºá open source ááŒá áºááŒá®áž áá°áá±á¬ááºáá»á¬ážá ChatGPT áá²á·ááá¯á·áá±á¬ á¡ááá·áºááŒáá·áºááŒá®áž áááºážááŸá®ážááŒá¯ááºááŸá¶ááŸá¯áá¯á¶á á¶áá áºáá¯ááẠá€áá¯ááºáááºážá¡ááœáẠááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ááááºáá»á¬ážááᯠáá±ážá áœááºážááá¯ááºáá±á¬áºáááºážá áá»áœááºá¯ááºááá¯á·á¡áá»á¬ážá á¯á¡ááœáẠ(á¡áá°ážáááŒáá·áº áá«ááá¬ááŸááºááŸáá·áº VFX á¡ááá¯ááºážá¡ááá¯ááºážáá»á¬ážá¡ááœááº) á á¬áá±ááááºááá¯ážááẠáá±áááœááºáž á¡áá±á¬ááºá¡áááºáá±á¬áºááŸá¯áá»á¬ážááœáẠá¡á±á¬ááºááŒááºááŸá¯á¡áá áºáá»á¬ážááᯠáá±á«ááºážá ááºááá·áºááœááºážááŒá®áž ááœá¶á·ááŒáá¯ážááá¯ážáááºááá¯ááºááŒá±ááŸááááºá á¡ááŒááºá¡ááŸááºá¡á¬ážááŒáá·áº áá áºáŠážáááºážááá¯áẠá á®ážááœá¬ážááŒá ẠAPI á áá áºá¡ááœáẠáááºááŸááºážáá¬ážááá·áºá¡áá¬á¡á¬ážáá¯á¶ážááẠáá¯á¶ážá áœá²áá°áááá¯á¡ááºáá»ááºááŸáá·áº áá¬áááºáá»á¬ážááẠáá¯áá¹ááá®áá áºáá¯á áá±á¬áºááá¯ááááºááá¯ááºáᬠá áá¯ážááááºáá°áááºááŸá¯áá»á¬ážááᯠáááºáááºá á±ááá·áº áá¯ááºááœááºááŒááºážá áááá¬ážáá±á¬á á»á±ážááŸá¯ááºážáá»á¬áž ááŒáá·áºáááºááŒááºážááŸáá·áº áááºáá¬ááŒááºáá±á¬ááºááŒááºážááá¯ááºáᬠáá°áá«ááá»á¬ážáá±á«áºááœáẠáá°áááºáá«áááºá
á¡ááá¯áá« á¡áá áºáá±á¬á áá¹áá° áá±á«ááºážá ááºááŒá áºáá«ááẠHallucinations áá»á¬ážááᯠáááá¯ááºááá¯ááºáá«ááŸáá·áºá áááºážááá¯á·ááᯠá¡áá¯á¶ážááŒá¯áá«- Atomic Facts á¡ááŒá±á¬ááºáž NLI ááᯠá¡áá¯á¶ážááŒá¯á Image Realism ááᯠááá·áºááŸááºážááŒááºážááŸáá·áº Skolkovo Institute of Science and Technology (Skoltech)á Moscow Institute of Physics and Technology ááŸáá·áº áá¯ááŸá¬ážáá¯áá¹ááá®áá»á¬áž MTS AI ááŸáá·áº AIRI ááá¯á·á០áá¯áá±áá®áá«ážáŠážá០áá¬áá«áááºá á¡áá¯ááºáá áºáá¯ááŸááááºá áá«ááŸááá±á¬ GitHub á á¬áá»ááºááŸá¬.
áááºážáááºáž
á á¬áá±ážáá°ááẠá¡á á¹á áá±áž/á¡áá±áááááºááᯠá¡áá¯á¶ážááŒá¯áááºá áá±á·áá±á¬ááºá áá±áá¬á¡á á¯á¶ ááá±á¬áá»ááºá¡ááœááº-
WHOOPS á០áááŒá áºááá¯ááºáá±á¬áá¯á¶áá»á¬áž ááá°áá¬áá»á¬ážá áá±áá¬á¡á á¯á¶á á€áá¯ááºáá¯á¶áá»á¬ážááẠááŒá áºááá¯ááºááŒá±ááŸááá±á¬ ááŒááºá ááºáá»á¬áž áá±á«ááºážá ááºáá¯á¶ááŸáá·áº ááá¯ááºáá®ááŸá¯áááŸááá±á¬ á¡ááœááºá¡ááŒááºáá»á¬áž áá±á«ááºážá ááºááŸá¯á¡áá±á«áº á¡ááŒá±áá¶á áááºážááá¯á·ááááŒá áºááá¯ááºááŒá±ááᯠááœááºáá»ááºááááºááŒá áºááŒá±á¬ááºáž ááŸááºáá¬ážááœááºáá±á¬ááºážáááºá á¡áááºážá¡ááŒá áº- https://whoops-benchmark.github.io/
áá±áá¬á¡ááœá²ááœáẠAI áá±á¬áºáááºááºáá»á¬ážá áááºááŒááºáá¯á¶ááá¬ážááŸáá·áº áá±á«ááºážá ááºáá¬ážáááºááŸá¯ááᯠá ááºážáááºáááºá¡ááœáẠá¡áá°ážáá¯ááºáá¯ááºáá¬ážááá·áº áá±á«ááºážá ááºáá¯ááºáá¯á¶ 500 ááŸáá·áº ááŸááºáá»ááºáá±á«ááºáž 10,874 áá»á±á¬áºáá«áááºáááºá áááºážááᯠá á¬áá¬ážááŸáá¯á¶ááááºá áá áºáá»á¬ážáá²á·ááá¯á·áá±á¬ á áááºáá±á«áºááŸá¯áá¯á¶áá»á¬ážááᯠáááºáá®ážáá±ážááá·áº áá®ááá¯ááºáá¬áá»á¬ážááŸáá·áº áá°ážáá±á«ááºážáááºáá®ážáá¬ážáááºá áááºážááẠááŸáá·áº DALL-E á á®ážáá®áž - ááá¬ááá»áá» ááá¯ááºáá°ážááẠáááºáá²áá±á¬ ááá¯á·ááá¯áẠáááŒá áºááá¯ááºáá±á¬ ááŒááºááœááºážáá»á¬ážááᯠáá¯ááºáá¯ááºáááº-
WHOOPS á០áá±á¬ááºáááºá¥ááá¬áá»á¬ážá áá±áá¬á¡á á¯á¶á á¡áááºážá¡ááŒá áº- https://huggingface.co/datasets/nlphuji/whoops
áá»ááºážáááºááŸá¯á¡áá áºááẠá¡ááá·áºáá¯á¶ážááá·áºááŒáá·áº áá¯ááºáá±á¬ááºáááº- áááá LVLM (á¡áá°ážáááŒáá·áº LLaVA-v1.6-mistral-7báá¯á¶áá áºáá¯á¶ááᯠáá±á¬áºááŒááá·áº 'atomic facts' áá¯áá±á«áºáá±á¬ ááá¯ážááŸááºážáá±á¬áá¯ááºááŒááºáá»ááºá¡áá»á¬ážá¡ááŒá¬ážááᯠáá¯ááºáá±ážáááº) á ááááá±ážáá¬ážáááºá á€áá¯ááºááŒááºáá»ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á áá¯ááºáá±ážáá«áááºá ááœá²ááŒá¬ážáá±á¬á¡áááºážáááºážááŸá¬ááœá±ááŸá¯output áá»á¬ážááœáẠááœá²ááœá²ááŸá¯ááŸáá á±áááºá
Diverse Beam Search ááẠááá°ááœá²ááŒá¬ážááŸá¯-ááá¯ážááŒáŸáá·áºáá¬ážáá±á¬ áááºááŸááºážáá»ááºá¡ááœáẠá¡áá±á¬ááºážáá¯á¶ážááŒá áºá¡á±á¬ááºááŒá¯áá¯ááºááŒááºážááŒáá·áº ááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ á á¬áááºážááœá±ážáá»ááºá áá¬áá»á¬ážááᯠá¡áá»áá¯ážáá»áá¯ážáá¯ááºáá¯ááºáá±ážáá«áááºá á¡áááºážá¡ááŒá áº- https://arxiv.org/pdf/1610.02424
áá±á¬ááºáá áºáá¯á áá¯ááºááŒááºáá»ááºáá áºáá¯á á®ááẠááá¬ááá¬áá¬á áá¬áž á¡áá¯á¡ááá·áºáá¯á¶á á¶ááᯠá¡áá¯á¶ážááŒá¯á á¡ááŒá¬ážáá¯ááºááŒááºáá»ááºáá áºáá¯á á®ááŸáá·áº á áá áºááá» ááŸáá¯ááºážááŸááºáá¬ážáááºá á¡ááá¯áá«áá±á¬áºááŒáá»ááºá¡ááœá²áá»á¬ážááẠáááºá ááºááŸá¯á ááá·áºáá»ááºáááºááŒá áºá á± ááá¯á·ááá¯áẠáá áºáá¯ááŸáá·áºáá áºáá¯ááŒá¬ážááŒá¬ážáá±ááŸá¯ááŸááááŸáááᯠáááºáááºá á±ááá·áº áááŸááºáá»á¬ážááᯠáááºááŸááºáá±ážáááºá
ááá·áºáá»ááºááœá²ááœá²ááŸá¯áá»á¬ážááẠáá¯ááºáá¯á¶á¡ááœááºážá០á¡á¶á·á©ááŒááºáž ááá¯á·ááá¯áẠáááºááœá±á·ááá»áá±á¬ á¡á áááºá¡ááá¯ááºážáá»á¬ážááᯠáá±á¬áºááŒáááº-
áá±á¬ááºááŸááºážááŸá¯ ááá¯ááºááá¯ááºážá¡ááœáẠáá¯á¶á á¶á
áá±á¬ááºáá¯á¶ážááœááºá á€áááºážáááºážááẠဠpairwise NLI áááŸááºáá»á¬ážááᯠáá áºáá¯áááºážáá±á¬ 'áááºááœá±á·áááŸááº' á¡ááŒá Ạá á¯á ááºážááŒá®áž áá¯ááºáá±ážáá¬ážáá±á¬ áá¯ááºááŒááºáá»ááºáá»á¬ážá á¡áá¯á¶ážá á¯á¶áá±á«ááºážá ááºááŸá¯ááᯠááá¯ááºážáá¬áááºá
áá¯áá±áá®áá»á¬ážááẠá¡á á¯ááá¯ááºá¡ááŒá¯á¶ááá¯áẠáá»ááºážáááºáááºážááŒáá·áº ááœá²ááŒá¬ážáá±á¬ á á¯á ááºážááŸá¯áááºážáááºážáá»á¬ážááᯠá á°ážá ááºážáá±á·áá¬áá²á·ááŒáááºá á á¬áá±ážááá¬áá»á¬ážá ááá¯ááºáá¬áá»áá·áºáá¯á¶ážááŒáááºá k-á¡á á¯á¡áá±ážááᯠááá¯ááá¯áááºá áá áºáŠážáá»ááºážá á® NLI áááŸááºáá»á¬ážááᯠá¡á á¯á¡áá±ážááŸá áºáá¯á¡ááŒá Ạááœá²ááŒá¬ážááẠá¡ááºáááá¯áá®áááºá á¡áááºáááᯠááá¯á·áá±á¬áẠáááºááá¯ážáááºážá¡á á¯á¡áá±ážá áá±á¬ááºáá¯á¶ážáááºááá áºá¡ááŒá Ạááœá±ážáá»ááºáá²á·áááºá
á¡á á¯á¡áá±ážááŸá áºáá¯ááᯠá¡áá¯á¶ážááŒá¯ááŒááºážááẠá¡áá»áá¯ážá¡á á¬ážááœá²ááŒááºážáá¯ááºáááºážá ááœáááá±á¬ááá¬áááŸáá·áº ááá¯ááºááá¯ááºááá¯ááºáá®áááºá ááá¯ááá¯áááºááŸá¬á áááºááœá±á·áááºáá±á¬áá¯ááºáá¯á¶áá»á¬ážááŸáá·áº áááºááœá±á·ááá»áá±á¬áá¯á¶áá»á¬ážááᯠááá¯ááºážááŒá¬ážááŒááºážá áá¯áá¹áááá±áááẠá¡áááá·áºáá¯á¶ážáááŸááºááᯠááŒá¯á¶áá¯á¶ááŒá®áž ááœá±ážááŒááºážááŸáá·áº áááºáá°áááºá ááá¯á·áá±á¬áºá á¡á á¯ááá¯ááºááœá²á·ááŒááºážá áááºááá áºá¡á¬áž áá áºáá¯áááºážááᯠá¡á¬ážááá¯ážááŒááºážááẠáá»á¬ážá áœá¬áá±á¬á¡áá»ááºáá»á¬ážáá áºáá»áŸá±á¬áẠáá»ááºážáá»áŸááœá²ááœá²ááŸá¯ááᯠááá¯ááºá á¬ážááŒá¯ááá¯ááºá á±áááºá ááŒááºá.
áá±áá¬ááŸáá·áº á ááºážáááºááŸá¯áá»á¬áž
áá¯áá±áá®áá»á¬ážááẠWHOOPS ááœáẠáááºážááá¯á·áá áá áºá¡á¬áž á ááºážáááºáá²á·ááŒáááºá rotating ááᯠá¡áá¯á¶ážááŒá¯á á¡ááŒá±áᶠá á¶ááœáŸááºážá á ááºážáááºááŸá¯ááœá²áá»á¬áž (ááá¯ááá¯áááºááŸá¬, Cross-validation ááá¯) áá±á¬áºáááºáá»á¬ážááᯠá ááºážáááºáá²á·áááºá BLIP2 FlanT5-XL ááŸáá·áº BLIP2 FlanT5-XXL ááœá²ááŒááºážáá»á¬ážááŸáá·áº BLIP2 FlanT5-XXL áá¯á-ááá¯ááºáá»ááºáá¯á¶á á¶ááŒáá·áº (ááá¯ááá¯áááºááŸá¬ á¡ááá¯áá±á·áá»áá·áºááŸá¯ááá«áá²)á
ááœáŸááºááŒá¬ážáá»ááºááᯠááá¯ááºáá¬áááá·áº á¡ááŒá±áá¶á¡áá»ááºá¡ááœááºá á á¬áá±ážáá°áá»á¬ážááẠLVLMs áá»á¬ážááᯠá áá¬ážá á¯ááŒáá·áº á¡áá»ááºááŒáá²á·áááºá 'áá«á á¡áá°ážá¡áááºážáá²áá¬ážá á á¬ááŒá±á¬ááºážááá¯áá±ážááŒáá·áº á¡ááá¯áá»á¯á¶ážááŸááºážááŒáá«, á¡áᬠááŒáá¯áááºáá¯áá±áá áááºááœá±á·ááá»áá±á¬ áá¯á¶áá»á¬ážááᯠáá±á¬ááºááŸááºážáá¬ááœáẠáááá±á¬ááºááŸá¯ááŸááááºá
áá±á¬áºáááºáá»á¬ážááᯠá¡áá²ááŒááºáá²á·ááŒáá«áááºá LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13BááŸáá·áº á¡ááœááºá¡á á¬áž ááŸá áºáᯠ(7/13 áá®áá®áᶠáá±á¬ááºáá±á¬ááºáá»á¬áž) InstructBLIP.
á ááºážáááºááŸá¯áá¯ááºáááºážá ááºááẠáááºááœá±á·áááºááŒá®áž áááºááœá±á·ááá»áá±á¬ ('áá°ážáááºážáá±á¬') áá¯á¶ ááá ááœá²ááᯠáááá¯ááŒá¯áá¬ážáááºá á¡ááœá²áá áºááœá²á á®ááœáẠáá¬áááºáá¯ááºáá¯á¶áá áºáá¯á¶ááŸáá·áº áá¬áááºá¡á¬áá¯á¶ááᯠá¡á¶áá¯ááá¯ááºáá±á¬ á¡ááœá²áá áºáá¯ááá¯á· áá«áááºáááºá
'áá°ážáááºážááŒááºáž' áá°áá±á¬ ááá¯ááºáá¬áá±á¬ áá°áá¬ážááá±á¬áá°áá®áá»ááºááᯠááœáŸááºááŒáá±á¬ 92% á ááá±á¬áá°áá®ááŸá¯ááᯠáááŸááá¬ážáá±á¬ áá°áá¬áž ááŸááºáá»ááºáá±ážáá° XNUMX áŠážááẠáá¯ááºáá¯á¶áá»á¬ážááᯠáá¶ááááºáááºáá²á·áááºá á¡áá²ááŒááºáááºážáá»á¬ážá áááá»ááŸá¯ááᯠáááºááœá±á·ááŸáá·áº áááºááœá±á·ááá»áá±á¬ áá¯á¶áá»á¬ážááŒá¬ážááœáẠááŸááºáááºá áœá¬ ááá¯ááºážááŒá¬ážááá¯ááºááŸá¯ááŒáá·áº ááá¯ááºážáá¬áááºá
á áá áºá¡á¬áž áá¯á¶áá±áá»áá¯ážá á±á·ááŒáá·áº áá±áá¬áá»á¬ážááᯠáá»áááºážááœááºá áá¯á¶ážá á¡ááŒááºá¡ááŸáẠááŸááºáááºááŒá±á¬ááºážáá¯á¶ážá á¡áá²ááŒááºáá²á·áááºá á á¬áá±ážááá¬áá»á¬ážááẠáá±á·áá»áá·áºáá±ážá¡ááœááºáž áá«áááºááŸá¯áááŸááºáá»á¬áž (áá¯áá¹áááááºá áœá¬ááá±á¬áá°áá±á¬áá±á¬áºááŒáá»ááºáá»á¬áž) ááŸáá·áº ááá·áºáá»ááºáááºáááŸááºáá»á¬áž (áá¯áá¹áááááºážáá»ááœá²ááœá²áá±áá±á¬áá±á¬áºááŒáá»ááºáá»á¬áž) á¡ááœáẠá¡áá±ážáá»áááºáá»á¬ážááᯠáá»áááºááŸááá¬ážááŒá®áž 'ááŒá¬ážáá±' áááŸááºáá»á¬ážááᯠáá¯áááœááºáááºááŸááºáá¬ážáááºá áá±á¬ááºáá¯á¶áž áááá»ááŸá¯ááᯠá ááºážáááºááŸá¯ á¡ááá¯ááºážááá¯ááºážá¡á¬ážáá¯á¶ážááœáẠáá»ááºážáá»áŸá¡ááŒá Ạááœááºáá»ááºáá¬ážáááºá
áááá»ááŸá¯ááŒáá·áº ááá¯ááºážáá¬áá±á¬ áá¯ááºáá¯ááºáá¬ážáá±á¬ á¡áá»ááºá¡áááºáá«ážáá¯á á¡ááá¯ááºážááœá²áá áºáá¯ááŸá ááá°áá®áá±á¬ NLI áá±á¬áºáááºáá»á¬ážááŸáá·áº áá±á«ááºážá ááºáááºážáááºážáá»á¬ážááᯠááŸáá¯ááºážááŸááºááŒááºážá
á¡áááºáá±á¬áºááŒáá« áááŠážááááºáá»á¬ážááŸáá·áº áááºáááºá á á¬áááºážááœáẠáá±á¬áºááŒáá¬ážáááºá
'['á¡á á¯á¡áá±áž'] áááºážáááºážááẠá¡áá±á¬ááºážáá¯á¶ážáá¯ááºáá±á¬ááºááŸá¯áá áºáá¯á¡ááŒá ẠáááºááŸá¬ážáááºá áááºážá ááœááºáá²áá±á¬áááºááá¯ážáá»á¬ážááá¯áᬠá¡á¬áá¯á¶á áá¯ááºááŒááºážááẠááá·áºáá»ááºáááºáááŸááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠáá±á«ááºážá ááºážááŒááºážááẠá¡áá±ážááŒá®ážááŒá±á¬ááºáž ááá¯ááá¯áááºá ááá¯á·á¡ááŒááºá á¡ááŒá®ážáá¯á¶áž NLI áá±á¬áºááẠ(nli-deberta-v3-large) ááẠáá±á«ááºážá ááºážááŸá¯áááºážáááºážá¡á¬ážáá¯á¶ážá¡ááœáẠá¡ááŒá¬ážáá°áá»á¬ážá¡á¬ážáá¯á¶ážááᯠá áœááºážáá±á¬ááºáááºááẠáá¬ááœááºá á±ááŒá®áž ááŒá¿áá¬á á¡ááŸá áºáá¬áááᯠááá¯ááá¯áááá±á¬ááºá áœá¬ áááºážáá°ááá¯ááºáááºáᯠá¡ááŒá¶ááŒá¯áá¬ážáááºá'
á¡ááá·áºáá±á¬áºáá¯á¶ážá¡áá±ážáá»á¬ážááẠáááºá ááºááŸá¯á¡áá±á«áº ááá·áºáá»ááºáááºáá»á¬ážááᯠáááááºáááºážááŒá áºá á±ááŒá±á¬ááºáž á á¬áá±ážáá°ááœá±á·ááŸááá²á·áááºá ááá·áºáá»ááºááœá²ááœá²ááŸá¯áá»á¬ážááẠáááºááœá±á·ááá»áá±á¬áá¯ááºáá¯á¶áá»á¬ážááᯠááœá²ááŒá¬ážááááŒááºááá¯ááºá á±áááºá¡ááœáẠááá¯áá¡ááá¥á¬ááºáá±á¬ááºážááŒá±á¬ááºáž ááœáŸááºááŒáááºá áááºážááá¯á·ááááºážáááºážááẠá ááºážáááºáá¬ážááá·áº áá¯áááá¯ááºáá»ááºáááºážáááºážá¡á¬ážáá¯á¶ážááẠáá¬ááœááºáá±á¬ááºážááœááºááŒá®áž áá»áááºááŸááá¬ážááá·áº BLIP2 áá±á¬áºáááºá á áœááºážáá±á¬ááºáááºááᯠáá®ážáááºá áœá¬ áá»ááºážáááºááá¯ááºáááº-
WHOOPS ááœáẠá¡áá»áá¯ážáá»áá¯ážáá±á¬áá»ááºážáááºááŸá¯áá»á¬ážáá áœááºážáá±á¬ááºáááºá á á¶ááŸá¯ááºáž Fine-tuned (ft) áááºážáááºážáá»á¬áž ááááºááœáẠáá±á«áºáá¬ááŒá®áž zero-shot (zs) áááºážáááºážáá»á¬ážááᯠá¡á±á¬ááºááœáẠáá±á¬áºááŒáá¬ážáá«áááºá áá±á¬áºáááºá¡ááœááºá¡á á¬ážááẠááá·áºáááºáá¶áá«ááºáá»á¬ážááᯠááœáŸááºááŒááŒá®áž áááá»ááŸá¯ááᯠá¡áá²ááŒááºáááºááá áºá¡ááŒá Ạá¡áá¯á¶ážááŒá¯áááºá
InstructBLIP ááẠáá°áá®áá±á¬á¡áá»ááºááŒáá±ážáá¬ážááá·áº ááŸáá¯ááºážááŸááºááá¯ááºáá±á¬ LLaVA áá±á¬áºáááºáá»á¬ážááẠááá¯ááá¯áá±á¬ááºážááœááºááŒá±á¬ááºáž áááºážááá¯á·ááẠááá»áŸá±á¬áºááá·áºáá² ááŸááºáá¬ážáá²á·áááºá GPT-4o á áá¬ááœááºáá±á¬áááá»ááŸá¯ááᯠá¡ááá¡ááŸááºááŒá¯áá±á ááºááœááºá á á¬áááºážááẠáááºááœá±á·áá»áá±á¬á ááœáá·áºáááºážáá±á¬á¡áááºážá¡ááŒá áºááŒá±ááŸááºážáá»ááºáá»á¬ážááᯠááá¯ááºááŒáááºá¡ááœáẠá á¬áá±ážáá°ááŠážá á¬ážáá±ážááŸá¯ááᯠá¡áá±ážáá±ážáá±á¬áºááŒááŒá®ážá áááºážááẠáááºážáá áºáá±á¬á¡ááŒááºááŸá¬ážááŸá¯áá»á¬ážááᯠáá±á¬áá«ááŸá¬ááœá±áá±ážáááááá¬áá áºáá¯á¡ááŒá ẠááŒááºáá¬ážá áœá¬á¡áá¯á¶ážáá»áᬠá¡áá áºá¡áááºážááᯠáá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºá áœá¬ áá±á¬ááºážááá¯ááá¯ááºáááºá
áá±á¬ááºáá»ááº
ááá¯á·áá±á¬áºáááºáž á á¬áá±ážáá°ááá¯á·ááẠ2024 áá¯ááŸá áºá¡ááœáẠáááºážááá¯á·á ááá±á¬áá»ááºáááŒáœá±ážááŒá®áá»á¬ážááᯠá¡ááá¡ááŸááºááŒá¯áá«áááºá FaithScore á¡ááŒááºááœááºááŒááºážá Dallas ááŸá Texas ááá¹áááá¯ááºááŸáá·áº Johns Hopkins ááá¹áááá¯ááºááá¯á·á¡ááŒá¬áž áá°ážáá±á«ááºážáá±á¬ááºááœááºááŒááºážá
FaithScore á¡áá²ááŒááºááŒááºáž áá¯ááºáá±á¬ááºáá¯á¶ ááá¯ááºáá±á¬áºáá¯á¶á ááááŠážá áœá¬ LVLM ááŸáá¯ááºáá±ážáá±á¬á¡ááŒá±áá áºáá¯á¡ááœááºáž áá±á¬áºááŒáá»ááºáá¯ááºááŒááºáá»ááºáá»á¬ážááᯠááœá²ááŒá¬ážáááºááŸááºáá¬ážáááºá ááá¯á·áá±á¬áẠá€áá¯ááºááŒááºáá»ááºáá»á¬ážááᯠáá áºáŠážáá»ááºáž á¡áá¯ááŒá°áá¯á¶ážá¡ááŒá Ạááœá²áá¯ááºáááºá áá±á¬ááºáá¯á¶ážááœááºá áááºážááá¯á·á áááá»ááŸá¯ááᯠá¡áááºááŒá¯ááẠá¡áá¯ááŒá°áá¯á¶ážááá¯ááºáᬠá¡áá»ááºá¡áááºáá»á¬ážááᯠááá·áºááœááºážáá¯á¶ááŸáá·áº ááŸáá¯ááºážááŸááºáá«áááºá áá»ááºážáá¬ážáá¬ážáá±á¬ á á¬áá¬ážááẠááá¹ááááá¹áá¬ááºáá»áá±á¬ ááá¯ááºáá±á¬áºá¡ááŒá±á¬ááºážá¡áá¬ááᯠáá®ážáá±á¬ááºážááá¯ážááŒááŒá®áž á¡ááŒá¬áá±á¬ááºá á¬áá¬ážááẠáááºáá±á¬ááºáááºááŸá¬ážááŒá áºá á±áá±á¬ áá¯ááºááŒááºáá»ááºáá»á¬ážááᯠááœáŸááºááŒáá±áá»áááºááœáẠFaithScore ááẠá¡áááá¹áá¬ááºááœáá·áºááá¯ááá¯ááºáá±á¬ ááááºážááá¬ááºážááŸááºáááºááŸá¯ááᯠáá±ážá áœááºážááá¯ááºáááºá á¡áááºážá¡ááŒá áº- https://arxiv.org/pdf/2311.01477
FaithScore ááẠáá¯á¶á¡ááŒá±á¬ááºážá¡áá¬ááŸáá·áº ááá¯ááºáá®ááŸá¯ááŸááááŸá á á áºáá±ážááŒááºážááŒáá·áº LVLM ááŸáá¯ááºáá¯ááºáá¬ážáá±á¬ áá±á¬áºááŒáá»ááºáá»á¬ážá áá á¹á á¬ááŸáááŸá¯ááᯠááá¯ááºážáá¬ááŒá®áž Natural Language Inference ááᯠá¡áá¯á¶ážááŒá¯á áá¯ááºáá¯ááºáá¬ážáá±á¬ á¡áá»ááºá¡áááºáá»á¬ážááœáẠááœá²ááœá²ááŸá¯áá»á¬ážááŸáá áºááá·áº áááºááœá±á·ááá»áá±á¬áá¯á¶áá»á¬ážááᯠááŸá¬ááœá±ááẠá á¬áááºážá¡áá áºááááºážáááºážá¡áá áºáá»á¬ážááẠLVLM áá±á¬ááºáá±á¬ááºáá»á±á¬ááºáá»á¬ážááŸá¯áá»á¬ážááᯠááŒááºáá¬ážá áœá¬á¡áá¯á¶ážáá»áááºá
á¡áá¯ááºá¡áá áºááẠáááºááŸááá¬áá¬á áá¬ážáá¯á¶á á¶áá»á¬ážá áááºážááŒááºááŸá¯áá»á¬ážááŸáá·áº á¡ááŒááºááŸá¬ážá á±ááẠáááºážááá¯á·á á áááºáá±ááá±á¬áá¬ážáá±á«áºááœáẠáá°áááºáá«áááºá á¡áááºá áá±á¬áºáááºááœá¶á·ááŒáá¯ážááá¯ážáááºááŸá¯ááẠáá¯á¶ážáááᯠá¡á¬áá¯á¶áá á°ážá áá¯ááºááá¯ááºáá±á¬ áá±á¬áºáááºáá áºáᯠáá±á«áºáá±á«ááºáá¬áá«áá á¡áá¯ááºá¡áá áºá áá±áá°áá»á¡ááŒá±áá¶áá°áá»á¬ážááẠá¡áá¯á¶ážááŒá¯ááá¯ááºáá±á¬á·áááºááá¯ááºáá«á áá«áá±ááá·áº áá«á áá áºáá¯áá»ááºáá«áá±ážáááºá á áááºáá±á«áºááŸá¯á¡áá¬ážá¡áá¬.
áááºá 25 ááẠ2025 á¡ááºá¹áá«áá±á·ááœáẠááááá¯á¶áž áá¯ááºáá±áá²á·áááºá
