120 миллионов чатов проанализировали исследователи, чтобы понять, почему показатели присутствия брендов в генеративных поисковых системах скачут без видимых причин.
Когда дашборд показывает падение или рост видимости бренда в AI-ответах за сутки, первая реакция маркетологов — искать сбои в кампаниях или активность конкурентов. Однако, как показывают данные платформы Peec AI, большинство таких колебаний — обычный случайный шум, присущий вероятностной природе больших языковых моделей.
Почему показатели видимости в AI постоянно колеблются
Работа LLM напоминает подбрасывание несбалансированной монеты. Каждый запуск конкретного промпта — это один бросок. Если запрос не брендированный, например, когда пользователь ищет лучшее решение в вертикали без упоминания конкретной компании, движок каждый раз заново формирует ответ из обучающих данных или результатов реального времени. В таких условиях вероятность появления бренда колеблется ближе к 50/50.
Одиночный промпт даёт высокую погрешность. Чтобы снизить уровень неопределённости до минимума, недостаточно бомбардировать модель одним и тем же запросом сотни раз в день. Увеличение количества запусков одного и того же запроса почти не влияет на точность общей картины. Ключевым фактором становится расширение пула уникальных запросов, которые охватывают реальный путь пользователя.
Как работает математика доверия к данным
Для оценки погрешности показателей используется классический статистический инструментарий, в частности интервал доверия Вальда:
Объём выборки против частоты. Чтобы уменьшить погрешность измерения вдвое для конкретного запроса со средней видимостью, потребуется вчетверо больше прогонов.
Брендированные против небрендированных запросов. Промпты, содержащие название бренда, демонстрируют чрезвычайно стабильные результаты. В то время как небрендированные запросы являются высококонкурентными, поэтому именно они формируют основную дисперсию.
Временные рамки вместо ежедневного микроменеджмента. Суточные колебания видимости на несколько процентов часто являются следствием случайности выборки. Достоверные изменения становятся заметны только на недельных и месячных агрегированных данных.
Пять правил настройки дашбордов видимости
Анализ массива чатов позволил сформировать практический подход к мониторингу присутствия в генеративном поиске:
Сегментируйте запросы. Никогда не смешивайте брендированные и общие небрендированные запросы в один общий показатель, так как они функционируют по абсолютно разным алгоритмам.
Анализируйте портфель, а не отдельные фразы. Одиночный промпт слишком нестабилен и может дать ложное представление о позициях продукта из-за сбоя или случайного успеха.
Увеличивайте количество промптов, а не частоту запусков. Охват большего количества разнообразных запросов даёт гораздо более точный сигнал о реальной видимости на рынке, чем многократный прогон одной фразы.
Оценивайте динамику на дистанции. Фильтруйте шум, опираясь на месячные тренды, вместо того чтобы реагировать на ежедневные микроколебания графиков.
Фиксируйте базовый набор запросов. Не меняйте конфигурацию трекера на ходу, если планируете корректно сравнивать показатели между отчётными периодами.
Сбор таких данных позволяет медиабаерам и продуктовым командам чётко понимать, когда позиции бренда действительно улучшаются благодаря оптимизации контента, а когда рынок просто реагирует на внутреннюю вариативность алгоритмов.