Что такое языковая модель и как она генерирует текст

Представьте: вы набираете в телефоне "С днём" — и он предлагает "рождения". Языковая модель работает по тому же принципу, только в миллиарды раз сложнее.

GPT-3, ChatGPT, Claude — все они предсказывают следующий токен (часть слова или символ) на основе всего предыдущего текста. Модель никогда не "знает" правильного ответа заранее — она вычисляет вероятности.