Гадалка‑бот: измерение процента ошибок и ключевые метрики качества

Гадалка‑бот – это чат‑бот, который имитирует работу «гадалки», отвечая на вопросы пользователей о любви, карьере, здоровье и т.п. Как и любой другой ИИ‑сервис, такой бот может давать неверные, неполные или неуместные ответы. Чтобы поддерживать высокий уровень доверия и удерживать аудиторию, необходимо регулярно измерять процент ошибок и принимать меры по их снижению.

Что такое «гадалка» в контексте чат‑ботов?

Гадалка‑бот – это специализированный диалоговый агент, построенный на базе больших языковых моделей (LLM) или правил‑ориентированных сценариев, который:

• Принимает свободный ввод от пользователя (вопросы, желания, описания ситуации).
• Генерирует предсказания, «пророчества» или рекомендации.
• Часто использует стилистически «мистический» язык: метафоры, карты Таро, нумерологию и т.п.

Такие боты популярны в мессенджерах (Telegram, Viber, VK) и часто монетизируются через подписки или платные «прогнозы». Ошибки в их работе могут привести к оттоку пользователей и падению репутации.

Почему важно измерять процент ошибок?

Контроль качества отвечает за несколько ключевых целей:

1. Улучшение пользовательского опыта – пользователи получают точные и релевантные ответы.
2. Снижение оттока – каждый неверный ответ повышает риск, что пользователь уйдёт к конкуренту.
3. Оптимизация расходов – точные метрики позволяют планировать A/B‑тесты и инвестиции в доработку модели.
4. Соответствие требованиям – в некоторых юрисдикциях требуется фиксировать количество «неправильных» рекомендаций (например, в сфере здоровья).

Ключевые метрики аналитики гадалки‑бота

Для расчёта процента ошибок удобно использовать набор базовых и продвинутых метрик.

3.1 Базовые метрики

• Общее количество сообщений (N) – все входящие запросы от пользователей за выбранный период.
• Количество ошибочных ответов (E) – ответы, признанные неверными (см. раздел 4).
• Процент ошибок (Error Rate) – E / N × 100 %.

3.2 Продвинутые метрики

• Precision (Точность) – доля правильных ответов среди всех, которые бот считает «правильными».
• Recall (Полнота) – доля всех корректных ответов, которые бот действительно выдал.
• F1‑score – гармоническое среднее Precision и Recall.
• Среднее время отклика (Latency) – влияет на восприятие качества;
• Уровень отката (Rollback Rate) – процент диалогов, где пользователь попросил повторить или уточнить ответ.

Как собрать данные для расчёта ошибок?

Сбор данных делится на три этапа: логирование, маркировка и агрегирование.

1. Логирование диалогов
   • Подключите Combot или аналогичный сервис к вашему Telegram‑боту – он будет сохранять каждый входящий и исходящий сообщение.
   • Для Telegram можно использовать TGStat_Bot – он собирает статистику по сообщениям, времени ответа и т.д.
   • Если бот работает в CRM (Bitrix24, JAICP), включите экспорт чатов в CSV/JSON.
2. Маркировка (разметка) ошибок
   • Автоматический способ: использовать классификатор «правильный/неправильный», обученный на небольшом наборе размеченных примеров.
   • Ручной способ: команда модераторов просматривает случайную выборку (например, 5 % всех диалогов) и отмечает ошибки.
   • Соберите фидбэк от пользователей – кнопки «Ответ полезен», «Ответ неверен», «Пожалуйста, уточните».
3. Агрегирование и расчёт
   • Импортируйте данные в аналитическую платформу (Google Data Studio, Power BI, Metabase).
   • Сформируйте запрос, считающий E и N за нужный период.
   • Вычислите Error Rate = (E / N) * 100 и отобразите в виде графика.

Формула расчёта процента ошибок

Самая простая формула выглядит так:

ErrorRate (%) = (Number_of_Errors / Total_Number_of_Requests) * 100

Где:

• Number_of_Errors (E) – количество ответов, признанных ошибочными (по разметке или фидбэку).
• Total_Number_of_Requests (N) – общее количество запросов, полученных ботом за выбранный интервал.

Пример расчёта:

В данном случае за июнь‑июль процент ошибок упал с 5 % до 3 % – это хороший индикатор улучшения модели.

Инструменты и сервисы для аналитики гадалки‑бота

• Combot – собирает сообщения из Telegram, формирует статистику по пользователям, времени ответа и т.д.
• TGStat_Bot – готовые отчёты по активности, проценту ошибок и другим KPI.
• JAICP – платформа для построения и мониторинга чат‑ботов, включает модуль аналитики (ошибки, откаты, сценарные метрики).
• Bitrix24 CRM – хранит переписку менеджеров с клиентами, позволяет выгрузить данные в Excel/SQL для дальнейшего анализа.
• Google BigQuery + Looker Studio – масштабируемый склад данных и визуализация.
• Python + Pandas – для кастомных расчётов, построения моделей классификации ошибок.

Практический пример: от сбора данных до снижения процента ошибок

Шаг 1. Сбор логов

Подключили Combot к Telegram‑каналу бота. За месяц получено 25 000 сообщений.

Шаг 2. Маркировка

С помощью простого скрипта на Python автоматически пометили 3 000 сообщений, где пользователь нажал кнопку «Ответ неверен». Добавили ручную проверку 500 случайных диалогов – обнаружили ещё 150 ошибок.

Шаг 3. Вычисление базовой метрики

N = 25 000
E = 3 150
ErrorRate = (3 150 / 25 000) * 100 = 12.6 %

Шаг 4. Анализ причин

• 30 % ошибок – неверный контекст (бот не учитывал предыдущее сообщение).
• 25 % – «слишком общие» ответы («Все будет хорошо»).
• 20 % – технические сбои (тайм‑ауты, недоступные API).
• 25 % – пользователь ввёл запрос, выходящий за границы сценария.

Шаг 5. Улучшения

1. Обновили контекстный слой – теперь бот хранит последние 3 сообщения.
2. Добавили набор «конкретных» ответов (10‑20 вариантов) для часто задаваемых вопросов.
3. Внедрили fallback‑модуль, который предлагает пользователю уточнить запрос.
4. Оптимизировали инфраструктуру, уменьшив тайм‑ауты до 1 сек.

Шаг 6. Повторный расчёт (через месяц)

N = 27 500
E = 1 650
ErrorRate = (1 650 / 27 500) * 100 ≈ 6.0 %

Процент ошибок упал почти вдвое – эффективность улучшений подтверждена данными.

Как снизить процент ошибок: практические рекомендации

• Регулярный A/B‑тестинг – сравнивайте новые сценарии с текущими, измеряя ErrorRate.
• Контекстный менеджер – храните историю диалога, чтобы ответы учитывали предыдущее сообщение.
• Фильтрация запросов – если запрос выходит за рамки компетенции бота, перенаправляйте к живому оператору.
• Обучение модели на реальных диалогах – собирайте «трудные» запросы и дообучайте LLM.
• Обратная связь от пользователей – используйте кнопки «Полезно/Не полезно», собирайте комментарии.
• Мониторинг технических метрик – latency, количество падений соединения, ошибки API.
• Документирование сценариев – каждый ветвящийся путь должен иметь проверенный набор ответов.

Часто задаваемые вопросы (FAQ)

9.1 Как отличить «ошибку» от «неправильного предсказания»?

Ошибка – это ответ, который явно противоречит фактам (например, «Твоя работа будет уволена», когда пользователь уже уволен) или нарушает правила платформы. Неправильный предсказание – субъективно‑мягкий ответ, который может быть воспринят как «неполный», но не является фактической ошибкой.

9.2 Сколько данных нужно собрать, чтобы получить достоверный процент ошибок?

Минимум – 1 000 размеченных запросов. При этом рекомендуется, чтобы выборка покрывала все основные категории запросов (любовь, работа, здоровье, финансы).

9.3 Можно ли автоматизировать разметку ошибок?

Да. С помощью моделей классификации (например, BERT) можно обучить детектор «неправильный ответ», используя небольшую размеченную выборку. Однако ручная проверка всё равно нужна для контроля качества.

9.4 Как часто следует пересчитывать процент ошибок?

Для активных ботов – минимум раз в неделю. Для менее загруженных – раз в месяц. При вводе новых функций – сразу после релиза.

Определение процента ошибок гадалки‑бота – это сочетание технического сбора данных, качественной разметки и правильных формул расчёта. Используя инструменты вроде Combot, TGStat_Bot, JAICP и аналитические платформы (BigQuery, Power BI), можно получить прозрачную картину качества работы бота, быстро находить проблемные места и систематически снижать уровень ошибок. Регулярный мониторинг, A/B‑тесты и обратная связь от пользователей станут надёжным фундаментом для роста доверия к вашему «мистическому» сервису.

Дата публикации: 19 августа 2026 г.