Четыре рабочих способа убрать сайт на 1С-Битрикс из индекса поисковиков

Когда нужен «стоп» индексаторам

Стейдж перед релизом, клон с обезличенными данными или временный домен проекта часто случайно оказываются в выдаче. Задача — не просто добавить текст в роботса, а понять, какой метод реально ограничит обход без поломки рабочих сценариев пользователей и что поиск системы могут делать всё равно.

Классика: полный запрет в robots.txt

Проще всего положить в корень файл robots.txt директивы «закрыть всё»: это делают и через FTP, и через редактор в административной панели Bitrix (удобнее открывать как текстовый/PHP-блок без лишней разметки, чтобы файл не исказило форматирование).

User-agent: *
Disallow: /

Проверка — открыть /robots.txt в браузере. Важное ограничение: файл — это именно указание роботам, а не технический лок на сервере. Google может по-прежнему показывать URL с пометкой, что текст страницы не получен (официальные пояснения по robots и crawling). Плюс, если файл лежит в репозитории, его легко нечаянно стянуть на прод вместе с веткой — держите отдельную версию роботса под окружение.

Через Bitrix и meta robots без шаблонов

Второй путь про то, чтобы в разметке появился сигнал noindex для поискового HTML-бота. Для чистых «дев-сайтов» логично опираться на опцию главного модуля «Установка для разработки»: при включении признака update_devsrv имеет смысл автоматически проставить свойство страницы, которое затем попадёт в блок метаданных.

if (\Bitrix\Main\Config\Option::get('main', 'update_devsrv') === 'Y') {
    global $APPLICATION;
    $APPLICATION->SetPageProperty('robots', 'noindex');
}

Фрагмент обычно подключают из /local/php_interface/init.php либо, если локальной обвязки нет, из /bitrix/php_interface/init.php. Для временного перевода уже боевого сайта можно убрать условие с опцией, но помните: если параллельно остаётся глухой Disallow: / у поискового бота при наличии внешних ссылок, рекомендуется смягчить правила роботса, иначе сигналы будут противоречивы.

Сетевой уровень Apache: режем известные User-Agent

Третий и четвёртый аппаратные способы чаще всего описывают в одном .htaccess в двух секциях: сначала отсев по подписи бота через mod_setenvif и mod_authz_core под Apache 2.4, затем альтернативой служит простая авторизация по паролю. Перед включением сохраните копию файла.

# Отсечение известных user-agent роботов Google/Яндекса и смежных сборщиков
<IfModule mod_setenvif.c>
    SetEnvIfNoCase User-Agent Googlebot ix_noindex_gate
    SetEnvIfNoCase User-Agent YandexBot ix_noindex_gate
    SetEnvIfNoCase User-Agent "yandex.com/bots" ix_noindex_gate
    SetEnvIfNoCase User-Agent Slurp ix_noindex_gate
</IfModule>
<IfModule mod_authz_core.c>
    <RequireAll>
        Require all granted
        Require not env ix_noindex_gate
    </RequireAll>
</IfModule>

# Либо поставьте HTTP Basic перед отдачей сайта любому клиенту
# AuthType Basic
# AuthName "Restricted"
# AuthUserFile /var/www/example/.htpasswd
# Require valid-user

В первом блоке строка с доменом ботов важна: у роботов Яндекса строка может выглядеть как «Mozilla», но содержать http://yandex.com/bots (справочник роботов Яндекса). Проверку удобно повторять расширением с заменой user-agent или отдельным сервисом контроля UA. Помните: подпись агента легко имитируют, метод не является криптографической изоляцией. Для Basic-авторизации сгенерируйте .htpasswd утилитой htpasswd или надёжным генератором, укажите реальный абсолютный путь, доступный вашему vhost.

Специальные задачи после общего решения

Постраничная разбивка

Если нужно не глушить сайт целиком, а убрать лишний шум параметров вида PAGEN_, в robots.txt добавьте узкие запреты внутри уже объявленного User-agent: *:

Disallow: ?PAGEN_* и при необходимости Disallow: &PAGEN_* — вторую строку оставляют, когда параметр может идти не первым в query.

Отдельный URL без индекса

Есть два простых режима: точечное Disallow в роботса для нужного каталога вида /razdel/statichnaya-stranitsa/ либо поле свойства страницы robots со значением noindex в форме свойств в редакторе («Заголовок и свойства» → дополнительные свойства).

Итого

Для временного окружения удобно сочетать явный режим разработки в модуле main, метаполе robots и роботсу без жёсткого Disallow. Для действительной изоляции тестового контура добавляют либо авторизацию веб-сервера, либо строго выверенную сетевую политику, помня о хрупкости фильтров по строке User-Agent.