Een uitgebreid onderzoek naar alignment in multimodale LLM's

Voorkeursafstemming is een cruciaal onderdeel geworden van het verbeteren van Large Language Models (LLMs), maar de impact ervan bij Multimodale Large Language Models (MLLMs) blijft relatief onderbelicht. Net als bij taalmodellen kampen MLLMs voor beeldbegripstaken met problemen zoals hallucinatie. Bij MLLMs kan hallucinatie niet alleen bestaan uit het vermelden van onjuiste feiten, maar ook uit het produceren van antwoorden die niet stroken met de inhoud van de afbeelding. Een hoofddoel van afstemming voor