Нейро – недавно появившийся сервис для поиска информации в интернете. Разработчик – Яндекс. Новый сервис – это больше не список ссылок, а ответ, сгенерированный в режиме реального времени при помощи LLM YandexGPT 3. В отличие от других нейросетей, Нейро берет информацию не из датасетов, а из актуальной выдачи ПС. В теории это означает, что информация в ответах нейросети будет актуальнее. Например, там будут последние новости. Обещают, что совсем скоро сервис начнет показывать ссылки и на источники найденной информации. Но, обо всем по порядку.
Краткий обзор возможностей Нейро
Что это такое Нейро
Это сервис, который генерирует ответ на поисковый запрос пользователя, агрегируя информацию из множества сайтов в интернете.
Раньше страница результата представляла из себя список обычных URL (привычного синего цвета). И это было удобно! Не было рекламы, не было переизбытка сервисов в SERP. Но время идет, и поиск меняется. Яндекс «подсмотрел» у Google расширенные результаты поиска – это большие сниппеты, быстрые ответы и так далее. В итоге страница результатов поиска стала неудобной, она усеяна рекламой и ненужной информацией. Вот что показывает Яндекс Поиск при первом открытии страницы:
Нейро – новый сервис. Он очень похож на ответ нейросети в результатах поиска, который мы видим на странице результатов поиска сейчас:
Нейро работает похоже: он анализирует запрос, находит релевантные ссылки, извлекает из чужих сайтов информацию и предоставляет готовый ответ – в обезличенном виде.
Представители Яндекса заверяют: Нейро гораздо лучше своих конкурентов. Ведь он настроен на контекстуальный поиск (понимает естественный язык и учитывает контекст предыдущих вопросов).
Что еще можно в Нейро:
- уточнять ответы;
- задавать дополнительные вопросы;
- добавлять информацию;
- вести беседу в диалоговом режиме;
- добавить картинки, если не хватает слов.
В ближайшее время также планируется добавление контекстной рекламы в Яндекс Нейро: рекламодатели смогут размещать ее через Директ. Это позволит рекламодателям охватывая большую аудиторию, которая использует новый сервис для поиска информации.
Интеграция контекстной рекламы с Яндекс Нейро даст рекламодателям новые возможности для продвижения любых товаров.
Где найти Нейро
Если попытаться найти новую функцию на сайте Яндекса через Google Chrome, она не отобразится. Получить доступ к ней можно только в Яндекс Браузере. Пользоваться Нейро можно одним из двух способов:
- зайти на сайт Нейро, задать вопрос и отправить его;
- нажать на кнопку Нейро в левой части поисковой строки – откроется окно для ввода запроса. Далее нужно ввести вопрос и кликнуть Enter или на стрелку внизу справа. Вы попадёте в сервис.
Также можно пользоваться сервисом в мобильной версии: установить и запустить Яндекс Браузер, перейти в режим Нейро, задать вопрос и получить ответ.
Краткий обзор возможностей Нейро
- Получение ответа на вопрос. Но если в промте будет стоп-слово, то Яндекс ответил что-то типа «Есть темы, в которых глупость недопустима, а я еще учусь и могу случайно ошибиться. Когда-нибудь я научусь, а пока промолчу». К сожалению, таких стоп-слов очень много и далеко не всегда удается определить, что не понравилось нейросети.
- Ведение диалога с пользователем. Сервис запоминает предыдущие запросы и позволяет уточнять информацию без повторного написания запроса.
- Работа с изображением – можно загружать его и задавать вопросы о том, что за объект находится на нем.
Как работает Нейро
Сперва мы задаем обычный поисковый запрос (ПЗ). Далее ПС (сокр. От поисковая система), как обычно, находит наиболее близкие (релевантные по содержимому) документы по такому ПЗ, из которых выбираются пять источников – для создания наиболее точного текстового ответа. Затем собственная LLM анализирует диалог, проверяет запрос пользователя и, наконец, устанавливает соответствие кусочков текста из выбранных документов.
«Революции в поиске», как нам обещают многие СМИ, на самом деле, нет: в основе лежит все та же хорошо знакомая нам большая языковая модель или LLM (только в этот раз не GPT-4, а YandexGPT 3). И, тем не менее, все несколько сложнее, чем может показаться в начале. Давайте посмотрим, как устроен Нейро изнутри.
Как устроены разметки
Без них сервис не смог бы работать в том виде, в котором он есть сейчас. Разметка – важнейшее понятие в устройстве Нейро. Простыми словами, разметка – это процесс, когда данные делят на группы по определенным критериям. В нашем случае, это оценка качества и достоверности текстовых ответов.
Разметка помогает систематизировать требования, превратить их в конкретные инструкции и выделить основные моменты.
Подтверждение
Начнем с разметки подтвержденности – это свойство ответов, которое гарантирует их достоверность и проверяемость. В ходе разработки Нейро асессоры собирали информацию о каждом кусочке ответа, различая прямое цитирование, логические выводы и правильность информации. Это сложный процесс, который занял около полугода и, по словам представителей ПС, потребовал участия около 500 асессоров.
Асессор Яндекса – это сотрудник, который вручную проверяет релевантность страницы и выставляет оценку. Он оценивает, насколько контент соответствует ожиданиям пользователей, и дает характеристику странице. Асессоры помогают улучшить качество поиска в Яндексе, основываясь на конкретных факторах (соответствие контента запросу, дизайн, удобство использования сайта и достоверность информации).
Качество ответа
Чтобы ответы LLM были корректными разработчики внедрили разметку качества. Простыми словами, это процесс оценки ответов по четырем критериям: полезность, безопасность, подтвержденность и компетентность. Здесь важно отметить, что каждый критерий оценивается по 5-бальной шкале, и асессор выбирает лучший вариант на основе этих оценок.
- Если оценки 1 и 2 балла – качество ответа низкое.
- Если все оценки от 3 до 5 баллов – итоговая оценка выставляется самим асессором (см. выше).
Эта схема позволяет собирать данные, анализировать хорошие и плохие ответы и улучшать модель обучения на долгосрочной дистанции.
Как устроено рефразирование
Рефразирование – это процесс преобразования исходного текста в новую форму с сохранением основного содержания. Оно помогает улучшить понимание текста и сделать его более удобным для восприятия.
Исходный текст: «Автомобиль проехал 100 километров со скоростью 100 километров в час».
Рефраз: «Автомобиль преодолел расстояние в 100 километров, двигаясь со скоростью 100 километров в час».
И вот как рефразирование было реализовано в «Нейро».
- Сперва была создана инструкция. Если упрощать, она сводилась к паттерну «Написать поисковый запрос для ответа на вопрос».
- AI-тренеры предоставили поисковые запросы для нескольких тысяч диалогов.
- Затем происходило непосредственное обучение SFT-модели (только на ответах AI-тренеров).
- Далее проводились циклы активного обучения, в ходе которых выявлялись неудачные рефразы и собирались правильные, после чего модель переучивалась.
В итоге: было собрано более 10 тысяч удачных рефразов.
Как получить идеальный ответ
Вопрос с подковыркой. Ведь чтобы создать идеальную модель, нужно собрать много качественных ответов на разные вопросы.
Главная проблема: на подготовку даже одного хорошего ответа уходит много времени, а таких ответов нужно много. Даже так – ОЧЕНЬ МНОГО.
Поэтому Яндекс уже много лет использует асессоров (это не машины или алгоритмы, а живые люди, которые вручную проверяют выдачу и качество сайтов). Да, асессоры дают больше ответов, но ответы эти далеко не всегда качественнее
Чтобы решить эту проблему, разработчики пошли трудоемким, но эффективным путем: они пропустили все ответы через систему разметки, оставляя хорошие и отправляя плохие на доработку (о AI-тренерах мы уже сказали выше). Так удалось увеличить скорость работы и получить тысячи качественных ответов для обучения модели.
Как Нейро ищет источники
Здесь тоже довольно нестандартный подход. Так, на первом этапе Яндекс использует обычный поиск (собственный, не поиск Google). При помощи него находятся релевантные документы, связанные с запросом пользователя.
На втором этапе из каждого найденного документа выделяется текстовый фрагмент, который содержит наиболее важную информацию, относящуюся к запросу. Этот процесс позволяет сократить объем текста и сосредоточиться на ключевых моментах.
На третьем – в игру вступает модель-предиктор. Это такая модель, которая определяет наиболее подходящие документы (для формирования ответа на основе их качества и релевантности).
В итоге Нейро выбирает пять лучших документов, которые будут использоваться для генерации ответа.
Сложные запросы, на которые текущий поиск отвечает недостаточно хорошо, и диалоги – два основных направления, на которых сосредоточились разработчики Яндекса.
- Датасет запросов помогает модели Нейро понимать, как нужно отвечать на вопрос пользователя.
- Потоки задач определяют, на какие вопросы нужно отвечать хорошо, а какие менее важны.
Что такое диалоги
Диалоги – это серия вопросов и ответов, где модель должна уметь поддерживать диалог и адаптироваться к уточнению запроса пользователем.
Диалоги должны быть основаны на реальных разговорах с пользователями, чтобы модель могла учиться на практике.
В чем главная проблема
Основная идея Нейро – использование генеративной модели для создания хорошего ответа на вопрос пользователя. Все просто и одновременно сложно. Ведь для решения конкретной задачи модель должна обладать определенными свойствами (это и сохранение формата ответа, и указание источников информации, и отсутствие использования фактов из памяти модели). Решение – максимально подробное описание задачи, но качество ответа все равно может быть недостаточным.
Необходимо обучать специализированную модель, которая будет лучше подходить для решения задачи.
Как обучается модель Нейро
Итак, итоговое обучение модели состоит из нескольких этапов:
- Составление идеальных ответов для нескольких тысяч запросов – с помощью AI-тренеров и обучения SFT-модели на этих ответах;
- Генерация множества пар ответов – для десятков тысяч запросов с использованием модели + разметка асессорами лучших и худших ответов;
- Разметка подтвержденности некоторых ответов (а также обучение reward-модели) на вышеуказанных разметках;
- Формирование вариантов ответов для десятков тысяч диалогов – с использованием различных версий LLM (+ последующее семплирование);
- Скоринг ответов – с помощью тех же reward-моделей. После – запуск rejection sampling (SFT на лучший по reward ответ). Все это делается для обучения новой модели с хорошими ответами;
- Запуск нескольких стадий DPO. Запускаются они поверх модели из предыдущего шага. Цель – улучшить генерации хороших ответов и прекратить генерации плохих.
Теперь, когда архитектура Нейро перестала находится под завесой тайны, стоит поговорить о конкретных минусах для конечных пользователей.
Недостатки для пользователя
Сервис работает с ошибками. Он часто дает некорректные ответы на вопросы любого типа.
Ответы Нейро нужно тщательно перепроверять, так как информация может быть неполной, некорректной и очень часто – устаревшей.
Яндекс также указывает на возможные неточности в ответах Нейро: внизу каждого ответа есть предупреждение о том, что он создан с использованием YandexGPT на основе информации с выбранных сайтов.
Недостатки для вебмастера
Падение трафика у всех информационных сайтов. Ведь пользователи теперь ищут по-другому. Например, тот же ответ YandexGPT 3 на нулевой позиции в Поиске – уже минимизировал объем трафика огромного количества информационных сайтов (пользователи редко переходят вниз страницы результатов поиска, обычно они нажимают на то, что находится на самом верху). Хотя директор бизнес-группы Поиска и рекламных технологий Яндекса, Дмитрий Масюк, подчеркнул, что компания не заинтересована в уменьшении трафика на внешние ресурсы. Но в реальности ситуация развивается кардинально противоположно.
Будет ли реклама в Нейро
Дмитрий Масюк говорит о том, что важно сделать сервис доступным для всех, поэтому планируется монетизировать его с помощью рекламы. По его словам, рекламная монетизация должна появиться в течение нескольких месяцев или максимум кварталов.
Масюк добавил, что команда постарается сохранить доступность продукта и привычную многим вебмастерам рекламную монетизацию.
Коротко о главном
Для пользователя
- Нейро получает данные не из памяти, а из интернета, поэтому в его ответах чуть более свежая информация, чем в ответах Алисы.
- Сервис использует YandexGPT 3 для обработки вопросов и поиска информации в интернете.
- Сначала пользователь формулирует вопрос, затем нейросеть преобразует его в поисковый запрос, который передает в поисковую систему.
- Система находит пять наиболее релевантных источников, а нейросеть на основе этих источников создает ответ.
Для вебмастера
- Яндекс делает контент обезличенным, даже если он четко принадлежал одному, конкретному сайту.
- Тысячи вебмастеров не хотят, чтобы краулеры Яндекса и YandexGPT 3 использовали чужой контент в своих ответах.
- Для решения этой проблемы есть решение: можно запретить доступ к robots.txt, сайт не будет использоваться как источник информации для Нейро и быстрых ответов в Поиске.
User-agent: YandexAdditionalBot
Disallow: /cats/mycat.html # ограничивает отображение контента страницы в быстрых ответах с YandexGPT
Однако это лишь рекомендательная директива для краулера (как и все остальное, что прописано в robots.txt). И совсем необязательно, что он будет ее соблюдать.
Для разработчика
- С помощью LLM-моделей действительно можно отвечать на любой вопрос.
- Модель находит страницу с ответом в интернете и суммирует информацию из текста. Но важно, чтобы модель не добавляла отсебятину.
- Хорошо: ответ подтвержден источником и его легко перепроверить.
- Плохо: если прямого ответа не нашлось, модель не сможет ничего ответить, и полнота фактов пострадает.
- Есть большие проблемы с достоверностью и актуальностью информации. Решение – корректная формулировка промта (+в подача подходящих источников на вход модели).
- LLM не использует свои собственные знания, а только информацию из интернета.
- LLM может делать обоснованные выводы и избегать выдуманных фактов, а пользователи могут легко проверить достоверность ответа.
