Original size 960x1568

Анализ зависимости уровня лингвистически-специфичных галлюцинаций LLM

PROTECT STATUS: not protected

Анализ зависимости уровня лингвистически-специфичных галлюцинаций LLM от соотношения мультиязычных данных

Основная суть проекта

В этом проекте мы рассмотрим галлюцинации LLM на разных языках в зависимости от соотношения мультиязычных данных при обучении модели, а также от специфичности обсуждаемой информации для языка генерации

Суть в том, чтобы оценить уровень галлюцинаций для каждого языка на данных, специфичных для этого языка.

big
Original size 1132x542

Различные LLM укомплектованы данными на разных языках в разном соотношении. Обычно в большой языковой модели преобладает один язык, являющийся основным. Это нужно чтобы модель могла успешно производить генерализацию знаний на одном языке средствами другого языка.

Однако, у такого подхода есть свои минусы. И один из них — это то, что знания генерализируются не идеально.

В частности, было замечено, что большие языковые модели испытывают сложности с ответами на литературные вопросы…

big
Original size 910x701

Но помимо запросов, заведомо нелогичных, существуют совершенно нормальные вопросы, на которые модели с трудом отвечают.

Это может касаться не только литературных произведений, но и в целом культурно-обусловленных знаний, которые могут содержаться в данных на одном языке, но отсутствовать в другом.

Галлюцинации, которые возникают в результате такой асимметрии, как и в целом способность отвечать на вопросы, содержащие культурно-специфичные знания, это фокус исследования нашей команды в рамках практики.

Фокус проекта

Цель исследования — оценить при помощи методов NLP степень галлюцинированности LLM при работе с данными, специфичными для конкретного языка.

Предполагаемый метод оценки: сопоставление правильных онтологических данных с неправильными (оценка правильности знания в соотношении верно — не верно).

Original size 1904x730

Предполагается, что в рамках нашего исследования мы рассмотрим и сравним работу LLM, отобранных по принципу их мультиязычности (способности понимать вопросы на различных языках и отвечать на них).

Конкретно моя часть работы будет заключаться в оценке галлюцинаций моделей. Мы предполагаем, что чем больше языков присутствует в модели, тем более сильными будут галлюцинации. Мы также предполагаем, что дело может быть в «культурно-языковой дистанции» между данными, загруженными в языковую модель на разных языках

Основные сложности, с которыми можно столкнуться в рамках моего исследования: — Классификация верных и неверных ответов LLM по отношению к индивидуальным знаниям — Количественная оценка галлюцинаций модели — Разработка универсального пайплайна для разных оцениваемых моделей

Основные задачи: - Сбор данных о знаниях, специфичных для языка/культуры - Разработка пайплайна для работы с оцениваемыми LLM - Оценка степени «галлюцинированности» LLM - Анализ количественных оценок и выводы

Анализ зависимости уровня лингвистически-специфичных галлюцинаций LLM
Project created at 05.12.2024
adcr.dafes
The Art Directors Club of Russia sets the benchmark for creative excellence in design and advertising, serving as a central hub where industry professionals connect. Since 2004, the Club has hosted the ADCR Awards—a premier national competition celebrating creativity, design, and advertising. The core mission of the awards is to champion agencies and independent creators making their mark in the local market. By presenting this honor on behalf of the professional community, the Club reaffirms its endur... Show more
adcr advertising
adcr design
adcr students and young creators