Ограничения ChatGPT: галлюцинации и проверка фактов

Галлюцинации нейросетей — один из главных рисков при работе с ИИ. Это не баг, а особенность архитектуры: языковая модель предсказывает следующий токен по вероятности, не "зная" правды о мире.

Иногда самый вероятный токен — неправильный. Модель может уверенно назвать несуществующий закон, выдуманную цитату знаменитости или несуществующую статью. При этом текст звучит убедительно и не содержит предупреждений.