Файл robots.txt даёт поисковым роботам указания о том, какие разделы сайта следует индексировать, а какие — игнорировать, помогая контролировать поведение краулеров.
Как закрыть служебные страницы (админку, корзину) от индексации?
Укажите адрес сайта и в поле «Правила» добавьте директиву `Disallow: /admin` (или нужный путь) — генератор соберёт корректный robots.txt с этими правилами и ссылкой на sitemap.
Удаляет ли robots.txt страницы из уже существующей выдачи Google?
Нет, robots.txt только запрещает роботам сканировать указанные разделы — если страница уже проиндексирована, для её удаления из поиска нужно использовать noindex или инструмент удаления в Google Search Console.
Обязательно ли указывать ссылку на sitemap.xml в robots.txt?
Не обязательно, но рекомендуется — директива `Sitemap: https://example.com/sitemap.xml` помогает поисковым роботам быстрее найти карту сайта со всеми страницами для индексации.
Частые директивы robots.txt
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | К какому роботу применяются правила | User-agent: * |
| Disallow | Запретить сканирование раздела | Disallow: /admin |
| Allow | Разрешить сканирование внутри запрещённого раздела | Allow: /admin/public |
| Sitemap | Указать путь к карте сайта | Sitemap: https://example.com/sitemap.xml |