Стартовый robots.txt под WordPress: карта сайта, запрет техразделов и явный crawl-delay не нужен
Минимальные директивы без дубля с виртуальным файлом через rewrite и ссылкой на живой sitemap index.
Поиск по блогу
Найдите нужную статью о модулях 1С-Битрикс,
настройке и оптимизации
Все статьи
BitrixVM виртуальная машина Битрикс
Ускорение Битрикс
SEO Битрикс
Битрикс
Обновления модулей для Битрикс
Unix
Теги:
robots ×
Найдено результатов: 3 по тегам robots
SEO заметки в 1С-Битрикс: поиск по сайту, robots, заголовки и цепочка навигации
Как исключить раздел или страницу из внутреннего поиска по маскам, добавить мета robots через ядро, отдать уникальный H1 и название вкладки, а также добавить пункт в традиционную навигационную цепочку и вывести её в шаблоне.
Четыре рабочих способа убрать сайт на 1С-Битрикс из индекса поисковиков
Тестовый контур часто нужно закрыть от Яндекса и Google: через robots.txt, метатег noindex из init.php при флаге разработки, запрет входа роботам на уровне веб-сервера и простую Basic-авторизацию. Разберём ограничения каждого варианта и типовые исключения вроде пагинации и отдельных URL.