Как работает нейросеть

Коротко

Нейросеть — программа из множества простых вычислительных элементов, искусственных нейронов, связанных между собой числами — весами. Ее не программируют правилами вида «если — то», а учат на примерах. Идея старая: математическую модель нейрона описали в 1943 году, первую обучаемую сеть — перцептрон — в 1958-м.

Обучение — это много повторений одного круга: показать пример, сравнить ответ сети с правильным, чуть поправить веса, чтобы ошибка уменьшилась. После миллиардов таких поправок сеть улавливает закономерности, которые человек не смог бы записать правилами: как выглядит кошка на фото или как обычно продолжается фраза.

Языковые модели — ChatGPT, Claude, GigaChat, YandexGPT — учатся одному: угадывать следующий кусочек текста, токен. Когда вы задаете вопрос, модель считает шансы для каждого возможного следующего токена, выбирает один, дописывает его и повторяет. Из этого простого действия, повторенного тысячи раз, получаются ответы, переводы и программный код.

Отсюда сильные и слабые стороны. Модель хорошо пишет, пересказывает и объясняет, но не «знает», а продолжает текст правдоподобно — и иногда уверенно ошибается. Ее знания заканчиваются на дате обучения, если не подключить поиск. Поэтому важные факты стоит проверять, а лучше всего нейросеть работает там, где результат легко проверить.

Вопросы и ответы

Что такое нейросеть простыми словами?

Программа, которую не пишут правилами, а учат на примерах. Внутри — множество простых формул-нейронов, связанных числами-весами. Во время обучения веса подстраивают так, чтобы сеть отвечала правильно, а потом она применяет найденные закономерности к новым данным.

Как нейросеть учится?

Ей показывают пример, она отвечает, ответ сравнивают с правильным и считают ошибку. Потом каждый вес немного сдвигают, чтобы ошибка стала меньше. Этот круг повторяют миллиарды раз — так веса постепенно настраиваются.

Как ChatGPT или Claude пишут ответ?

По одному токену. Модель читает ваш вопрос, считает шансы для каждого возможного следующего кусочка текста, выбирает один и дописывает. Потом повторяет все снова, уже с новым токеном. Поэтому ответ появляется на экране постепенно.

Почему нейросеть выдумывает факты?

Она не ищет ответ в базе, а продолжает текст так, как это выглядит правдоподобно. Если в данных было мало сведений или они противоречили друг другу, модель может уверенно написать неправду. Это называют галлюцинациями — поэтому важные факты стоит проверять.

Понимает ли нейросеть, что пишет?

Ученые спорят. Технически модель вычисляет, какое продолжение текста вероятнее, по закономерностям из обучающих данных. При этом она умеет рассуждать по шагам и решать задачи, которых не было в примерах. Похоже ли это на человеческое понимание — открытый вопрос.

Что такое токен?

Кусочек текста, с которым работает модель: слово, часть слова, цифра или знак препинания. Одно слово может быть одним токеном или несколькими. В токенах считают, сколько текста модель может прочитать за раз и сколько стоит работа с ней.

Откуда нейросеть знает новости?

Сама по себе — ниоткуда: ее знания заканчиваются на дате, когда собрали данные для обучения. Если чат-бот рассказывает о свежих событиях, значит, к нему подключен поиск или ему дали документы.

Чем нейросеть отличается от обычной программы?

Обычную программу пишет человек: каждое правило задано заранее. Нейросеть получает правила сама из примеров, и записаны они не словами, а миллионами чисел. Поэтому она справляется с задачами, где правила сложно сформулировать, — речь, картинки, текст, — но ее решения труднее объяснить.