Файл robots.txt необходим для корректного сканирования и, как следствие, индексации вашего сайта. Он содержит правила для роботов поисковых систем и разных сервисов. В видео разберем самое главное про robots.txt, рассмотрим рекомендации Яндекса и Google по его составлению и расскажем, как проверить файл на ошибки.
Тест к лекции - https://forms.gle/9RjbCbdjBB9yfgrb6
Наш telegram канал: https://t.me/seoantteam
Наш сайт: https://Ant-Team.ru
Яндекс Справка: https://yandex.ru/support/webmaster/c...
Google Справка: https://developers.google.com/search/...
Валидатор Яндекса для robots.txt: https://webmaster.yandex.ru/tools/rob...
Таймкоды:
00:00 - Вступление
00:54 - Организация W3C
02:21 - Что за файл robots.txt
03:09 - Требования к файлу
04:17 - Важные уточнения
05:21 - Действие robots.txt
06:53 - Директивы
10:02 - Примеры применяемых правил
11:58 - User-агенты
12:43 - Приоритеты юзер-агентов
13:59 - Примеры
14:35 - Директива Sitemap
15:17 - Директива Clean-param
15:55 - Crawl-delay
16:18 - Как проверить robots.txt
18:10 - Итоги
#seoобучение #базовыйкурсseo #robotstxt #seoпродвижение