Четыре рабочих способа убрать сайт на 1С-Битрикс из индекса поисковиков
Тестовый контур часто нужно закрыть от Яндекса и Google: через robots.txt, метатег noindex из init.php при флаге разработки, запрет входа роботам на уровне веб-сервера и простую Basic-авторизацию. Разберём ограничения каждого варианта и типовые исключения вроде пагинации и отдельных URL.