MentionizerBot

Это краулер сервиса Mentionizer. Он проверяет сайт перед аудитом SEO и видимости бренда в ответах ИИ-ассистентов.

Когда он приходит

Только когда для сайта запущен аудит. Бот обходит страницы этого сайта и смотрит то же, что видит поисковый робот: заголовки, разметку, ссылки, robots.txt и sitemap. Формы он не отправляет, в личные кабинеты не входит, ничего не покупает.

Как он себя ведёт

• Соблюдает robots.txt.
• Делает не больше одного запроса в секунду к одному сайту, запросы идут по очереди.
• Ходит только по HTTP и HTTPS (порты 80 и 443).
• За один аудит обходит ограниченное число страниц и останавливается при повторяющихся ошибках сервера.

Строка User-Agent:

MentionizerBot/0.1 (+https://mentionizer.com/bot)

Как ограничить или запретить

Добавьте правило в robots.txt вашего сайта. Запретить всё:

User-agent: MentionizerBot
Disallow: /

Закрыть только часть сайта:

User-agent: MentionizerBot
Disallow: /private/

Связаться

Вопросы и жалобы: bot@mentionizer.com.