Проект совместно создали Центр технологий для общества Yandex Cloud, Государственный Эрмитаж и НИУ ВШЭ — Санкт-Петербург.
Наш проект вовлекает пользователей через современный мессенджер и помогает им спланировать виртуальный или офлайн-маршрут по музею.
Бот помогает найти картины по описанию, предоставляет информацию об экспонатах и отвечает на вопросы о посещении музея.
О проекте
Кот Эрсик — ваш гид по экспозиции Эрмитажа и незаменимый помощник при подготовке к посещению музея
Что умеет чат-бот
Поиск картин по текстовому описанию
Видели в Эрмитаже картину, но забыли название и автора? Опишите её своими словами, и наш цифровой помощник Эрсик найдёт несколько наиболее подходящих по описанию полотен. Для каждого из них Эрсик даст ссылку, по которой вы легко окажетесь на сайте цифровой коллекции Эрмитажа и сможете узнать о картине/произведении подробнее.
Ответы на вопросы о музее
Планируете визит, но не знаете, когда закрывается Эрмитаж? Сомневаетесь, сколько стоит билет и где можно купить сувениры? Задайте все вопросы Эрсику, и он найдёт ответы: расскажет о правилах посещения, об истории основания музея и о часах его работы.
Чтобы реализовать функции чат-бота, мы использовали передовые решения платформы Yandex Cloud
Наши технологии
Для поиска картин
VLM Yandex Foundation Models
Большая мультимодальная генеративная модель, отвечающая за создание эталонных текстовых описаний картин по изображениям. Такие описания хранятся в нашей системе, и с ними сравнивается каждый запрос пользователя.
Для поиска картин
YandexGPTEmbeddings
Универсальный инструмент для векторизации текстов, например, эталонных описаний картин и описаний, поступающих в систему от пользователя.
Для поиска картин
Managed Service for OpenSearch
Инструмент, отвечающий за хранение векторных данных и быстрый поиск похожих на пользовательское описание картин из коллекции Эрмитажа по параметру косинусной близости.
Для ответов на вопросы
AI Assistant API
Инструмент создаёт AI-ассистента, который поддерживает контекст общения в диалоге бота с пользователем и обращается за проверенной информацией к собранной нами базе знаний об Эрмитаже.
Для ответов на вопросы
YandexGPT Pro
Большая языковая модель, созданная специально для работы на русском языке, отвечает за понимание и генерацию реплик и развёрнутых ответов, адресованных пользователю.
Для ответов на вопросы
Managed Service for ClickHouse
Отвечает за хранение логов и аналитику взаимодействий с пользователями. Инструмент помогает увидеть, сколько и каких взаимодействий пользователя с системой произошло, и оценить их качество.
Чтобы реализовать функции чат-бота, мы использовали передовые решения платформы Yandex Cloud
Наши технологии
Для поиска картин
VLM Yandex Foundation Models
Большая мультимодальная генеративная модель, отвечающая за создание эталонных текстовых описаний картин по изображениям. Такие описания хранятся в нашей системе, и с ними сравнивается каждый запрос пользователя.
Для поиска картин
YandexGPTEmbeddings
Универсальный инструмент для векторизации текстов, например, эталонных описаний картин и описаний, поступающих в систему от пользователя.
Для поиска картин
Managed Service for OpenSearch
Инструмент, отвечающий за хранение векторных данных и быстрый поиск похожих на пользовательское описание картин из коллекции Эрмитажа по параметру косинусной близости.
Для ответов на вопросы
AI Assistant API
Инструмент создаёт AI-ассистента, который поддерживает контекст общения в диалоге бота с пользователем и обращается за проверенной информацией к собранной нами базе знаний об Эрмитаже.
Для ответов на вопросы
YandexGPT Pro
Большая языковая модель, созданная специально для работы на русском языке, отвечает за понимание и генерацию реплик и развёрнутых ответов, адресованных пользователю.
Для ответов на вопросы
Managed Service for ClickHouse
Отвечает за хранение логов и аналитику взаимодействий с пользователями. Инструмент помогает увидеть, сколько и каких взаимодействий пользователя с системой произошло, и оценить их качество.
Как пользоваться чат-ботом
Если хотите найти картину
Перейдите по ссылке и нажмите кнопку Старт. Если вы уже запускали бота раньше, то нажмите кнопку Меню и выберите команду /start (или введите её сами).
Нажмите кнопку Найти картину и своими словами опишите картину, которую хотите найти.
Бот предложит 10 картин. Пользуясь кнопками Вперёд и Назад, найдите свою и нажмите кнопку Это та самая картина, чтобы узнать о ней информацию.
Если вы не нашли свою картину, попробуйте ещё раз. Постарайтесь вспомнить больше деталей и уточните свой запрос. А если вариант, который предложил бот, вас заинтересовал, нажмите кнопку Это не та картина, но хочу узнать о ней больше.
Нажав кнопку Оставить отзыв, вы можете оценить бота по 5-балльной шкале и дать комментарий о его работе. Мы будем очень благодарны за вашу обратную связь и учтём её при улучшении сервиса.
Если хотите спросить об Эрмитаже
Перейдите по ссылке и нажмите кнопку Старт. Если вы уже запускали бота раньше, то нажмите кнопку Меню и выберите команду /start (или введите её сами).
Нажмите кнопку Задать вопрос об Эрмитаже и спросите всё, что вас интересует. Через несколько секунд бот пришлёт ответ.
Нажав кнопку Оставить отзыв, вы можете оценить бота по 5-балльной шкале и дать комментарий о его работе. Мы будем очень благодарны за вашу обратную связь и учтём её при улучшении сервиса.
А в благодарность за участие бот пришлет вам стикерпак с Эрсиком в Telegram — просто поделитесь своими впечатлениями, нажав кнопку Оставить отзыв
Сейчас чат-бот на этапе тестирования, и нам очень важно мнение пользователей. Попробуйте себя в роли AI-тренера: пообщайтесь с котом Эрсиком, откройте для себя новые факты о культурном наследии и загляните на нашу «кухню» подготовки проекта к релизу. Это лёгкий и увлекательный опыт, а ваша обратная связь поможет сделать бота ещё лучше.
Поучаствуйте в развитии проекта
Как с нами связаться
