Почему мониторинг видимости врёт на брендах с обычными названиями

Если бренд называется «Столица», «Стимул», «Эволюция» или другим обычным словом, с мониторингом его упоминаний в нейросетях довольно быстро начинаются проблемы. Простая проверка по названию может показать упоминание там, где компании вообще нет. А если сделать алгоритм умнее и учитывать словоформы, появляется обратная проблема — он начинает находить лишнее.

Я столкнулся с этим не во время чтения исследований по GEO, а на практике, когда начал работать с мониторингом брендов в SEOdyssey. И чем больше реальных названий проходило через проверки, тем очевиднее становилось: найти название бренда в ответе и доказать, что нейросеть говорит именно об этой компании, — две совершенно разные задачи.

Как получить 35% видимости практически из воздуха

Возьмём условную строительную компанию «Столица». Мы проверили 20 запросов и в семи ответах нашли слово «столица». Самый простой мониторинг покажет: бренд присутствует в 7 из 20 ответов, видимость — 35%.

Теперь открываем ответы вручную. В пяти нейросеть говорит о Москве как о столице России, ещё в одном — о столице региона. И только один ответ действительно содержит строительную компанию «Столица».

Вместо 35% получаем 5%.

Цифры в этом примере вымышлены специально для демонстрации механики ошибки, это не данные клиента. Но сама проблема вполне реальная: совпадение строки ещё не означает совпадение сущности.

В NLP эта задача относится к entity linking и entity disambiguation. В большом обзоре исследований по Entity Linking хорошо показана проблема на примере Ford: одно название может относиться к Ford Motor Company, Генри Форду, Ford Foundation и другим сущностям. Понять, о какой именно идёт речь, можно только через контекст.

В GEO происходит примерно то же самое. Только для русского языка есть дополнительная проблема, которая возникает ещё раньше.

Падежи ломают даже правильные упоминания

Допустим, компания называется «Столица». Нейросеть отвечает: «Я бы обратился в Столицу».

Человек без проблем понимает, что компания упомянута. Алгоритм, который ищет точное совпадение со строкой столица, уже может его пропустить.

То же самое происходит с формулировками «работал со Стимулом», «пользовался услугами Альфы», «обратился к Эволюции». Чем больше название бренда похоже на обычное русское слово, тем интереснее становится задача.

На практике я пробовал решать это более дешёвой эвристикой вместо полноценного морфологического анализа: взять основу названия и разрешить небольшой изменяемый хвост. Например, отрезать последнюю букву и допустить после основы до трёх символов окончания. Такой подход позволяет поймать часть словоформ и при этом не тащить полноценную морфологию туда, где её стоимость и сложность могут не окупиться.

Но тут начинается следующая проблема.

Лечим недосчёт — получаем пересчёт

Чем мягче matcher, тем больше настоящих упоминаний он находит. И одновременно тем больше появляется false positives.

Например, стем от бренда «Дантистъ» может начать цеплять название «Дантистофф». А если основа бренда совпадает с распространённым словом, можно начать засчитывать вообще посторонние фрагменты. Условный стем от «Зубнов» способен приблизиться к конструкциям вокруг слова «зубной».

И получается не выбор между плохим и хорошим алгоритмом, а выбор между двумя типами ошибок:

• строгий matcher даёт больше false negatives и недосчитывает реальные упоминания;
• мягкий matcher уменьшает недосчёт, но увеличивает false positives и начинает приписывать бренду чужие упоминания.

Это хорошо видно даже на текущей реализации SEOdyssey. В GEO-аудите пока используется достаточно прямолинейный поиск вхождения, а в анализе конкурентов применяется другой matcher со стеммингом. То есть один бренд теоретически может получить разные результаты в двух проверках. Это не задуманная особенность продукта, а технический долг, который я как раз обнаружил, разбираясь с этой проблемой.

И нет, я пока не решил её красивым AI-классификатором. Но пришёл к пониманию, как такая система должна работать дальше.

А если «Столица» действительно компания — только не ваша?

Это следующий уровень проблемы. Представим, что нейросеть пишет: «Компания „Эволюция“ предлагает услуги…»

Кажется, всё хорошо: перед названием стоит слово «компания», значит обычное значение слова мы исключили.

Но компаний «Эволюция» может быть несколько.

И здесь начинается уже настоящее entity disambiguation. Нам мало определить, что слово является названием организации. Нужно понять, является ли эта организация именно тем брендом, который мы отслеживаем.

Город помогает. Отрасль помогает. Продукты и услуги помогают. Официальный домен — ещё более сильный сигнал. Но какого-то одного универсального признака нет. Особенно если существуют две одноимённые компании из одной отрасли.

Поэтому для таких брендов я бы строил отдельный entity profile: полное и юридическое название, официальный домен, отрасль, географию, продукты, связанных персон, варианты написания и другие признаки, отличающие компанию от тёзок.

Отдельно сюда стоит добавить aliases. Bobrov Clinic и «Бобров Клиник» для человека практически одно название, а для строкового matcher — совершенно разные последовательности символов. Если не завести варианты заранее, часть реальных упоминаний просто потеряется.

Как я теперь считаю правильным искать такие бренды

Сразу оговорюсь: в SEOdyssey эта схема пока полностью не реализована. Сейчас проверки используют более простые алгоритмы. Это скорее архитектура, к которой я пришёл после работы с реальными названиями.

Первый этап должен быть максимально дешёвым: ищем само название, его словоформы, известные aliases, кириллические и латинские варианты. На этом этапе нам не нужно доказывать наличие бренда — мы только собираем кандидатов.

Второй этап — контекстная классификация. Вопрос должен звучать уже не «есть ли в ответе слово „Столица“?», а примерно так: «Упоминается ли здесь компания „Столица“, работающая в такой-то отрасли, в таком-то регионе и имеющая официальный сайт example.ru?»

Причём результат я бы не ограничивал обычным true/false. Нужен хотя бы третий статус — ambiguous. Иногда данных действительно недостаточно, чтобы определить компанию, и лучше честно сказать “не знаю”, чем нарисовать ещё один красивый процент AI Visibility.

Mention и citation — тоже не одно и то же

На практике мне попался ещё один хороший пример с брендом «Зуб.ру».

Представим, что в источниках ответа появляется официальный домен zub.ru. Если логика мониторинга слишком прямолинейная, название бренда и домен практически сливаются, и система начинает смешивать два разных события.

Нейросеть может написать: «Среди стоматологических клиник можно рассмотреть „Зуб.ру“». Это mention — компания названа непосредственно в ответе.

Она может вообще не назвать компанию, но использовать zub.ru среди источников. Это уже citation.

А может сделать и то и другое одновременно.

Поэтому в GEO-аналитике я считаю принципиальным хранить упоминания и цитирования отдельно. Иначе один удачно названный домен способен сделать отчёт заметно красивее реальной видимости бренда.

Что может сделать сам бренд

Техническая точность мониторинга — задача сервиса. Но на то, насколько легко нейросетям идентифицировать компанию, может влиять и сам бренд.

Если компания называется просто «Эволюция», я бы старался последовательно формировать вокруг неё одинаковый контекст: например, «Эволюция — производитель медицинского оборудования из Екатеринбурга». И повторять эту связку не только на главной странице, но и в профилях компании, публикациях, справочниках и других внешних источниках.

Не стоит сегодня называться «Эволюцией», завтра Evolution, а послезавтра «ГК Эволюция», если нигде явно не показано, что всё это одна сущность.

Здесь же имеет смысл привести в порядок structured data. В документации Google по Organization structured data есть name, alternateName, legalName, url, sameAs и другие свойства, которые помогают явно описать организацию. В Schema.org существует даже отдельное свойство disambiguatingDescription — описание, которое помогает отличать одну сущность от других похожих.

Но я бы не превращал это в очередной GEO-совет «поставьте Schema.org, и ChatGPT вас поймёт». Structured data — ещё один машиночитаемый сигнал идентичности, а не способ зарегистрировать компанию внутри нейросети.

Кстати, проверить базовые технические сигналы сайта можно через бесплатный GEO-аудит SEOdyssey. А если хочется сначала разобраться с самой логикой AI Visibility, у меня есть отдельный материал о том, как проверить видимость бренда в нейросетях.

Красивого одного процента здесь недостаточно

После работы с такими брендами я всё меньше доверяю метрике вида «Ваша AI Visibility — 37%», если сервис не может объяснить, откуда эти 37% появились.

Для неоднозначного бренда я бы разделял как минимум несколько состояний:

Именно поэтому проблема «Столицы» оказалась для меня намного интереснее, чем просто написание ещё одного matcher.

Сначала кажется, что нужно ответить на вопрос: «Есть ли название компании в ответе нейросети?»

Потом выясняется, что настоящий вопрос звучит иначе:

«Есть ли у нас достаточно доказательств, что нейросеть говорит именно об этой компании?»

И вот это уже совсем другая задача.