Файл robots.txt или как его ещё иногда называют – индексный файл, является базовым с точки зрения SEO. На этой странице вы не только узнаете, что такое файл robots.txt, какую роль он выполняет при индексировании сайта, но и научитесь его правильно настраивать, а также проверять.

Что такое файл Robots.txt

Robots.txt, как можно догадаться из названия и формата, текстовый файл для поисковых роботов. И именно к этому файлу роботы обращаются, чтобы получить инструкцию по индексированию сайта. Именно поэтому файл иногда называют “Индексным”. Пример Robots.txt:

В индексном файле прописаны все инструкции, которые Яндекс, Google и большинство других поисковых систем используют для индексации. 

Например, одной строчкой в этом файле вы можете запретить индексацию конкретных страниц или некоторых категорий. Всего различают три базовых возможности:

• Индексация открыта полностью – нет никаких запретов;
• Индексация открыта частично – некоторые элементы закрыты от индексирования;
• Индексация закрыта полностью – индексация всего сайта под запретом.

В отличие от карты сайта, которая может располагаться по любому адресу, файл Robots.txt располагается строго в корне сайта и всегда имеет одно и то же название. Например: https://gvozd.info/robots.txt. На вашем сайте файл должен быть размещен аналогичным образом: vashdomen.ru/robots.txt.

Помимо расположения файла и его названия, есть и другие требования. Файл должен весить не более 500 Кб, а также быть в кодировке UTF-8. Рекомендуется не превышать размер файла 32 Кб, а также убедиться, что сервер при обращении к файлу отдаёт корректный ответ – 200. 

Как создать настроить индексный файл

Есть 4 основных способа, как создать индексный файл:

• Скопировать готовый – нерекомендуемый, так как у другого сайта могут быть не соответствующие для вас политики индексирования.
• Создать вручную – допустимый способ, так как индексный файл короткий и в ручную его можно без проблем создать.
• Сгенерировать с помощью онлайн инструментов – простой вариант, однако, обязательно перепроверьте полученный результат.
• Создать автоматически с помощью плагинов для CMS – простой и наглядный способ, подходит для WordPress, Drupal и некоторых других.

Вы можете выбрать любой вариант, если в итоге перепроверите файл и убедитесь, что всё настроено корректно. Мы остановимся на ручном создании, так как это позволит вам также понять саму логику создания и настройки индексного файла, что можно применить для всех способов.

Что прописать в Robots.txt

Перед тем, как вы приступите к составлению правил для поисковых систем, важно понять, в чем писать. Вы можете использовать любой текстовый редактор, позволяющий сохранить файл в формате .txt в кодировке UTF-8, например:

• Блокнот
• Notepad++
• WordPad
• И любой другой

Хорошая новость в том, что вам не придется придумывать самому, что прописать в индексном файле. Вам лишь нужно понять, что именно вы хотите сообщить поисковикам – что закрыть от индекса, а что разрешить. Остальное прописывается по строго регламентированным правилам, которые можно свести к базовому синтаксису

• User-agent: указание поискового робота, для которого прописано правило. Например, Googlebot или Yandex. Если оставить звездочку (*), то правило будет универсально. У одной поисковой системы может быть несколько ботов, также боты есть и у других платформ. Вы можете найти интересующие, например, с полным списком ботов Яндекса вы можете ознакомиться в официальной справке. 
• Disallow: закрывающий от индексации параметр, после него указывается категория или страница, которую нельзя индексировать. Указывается только часть после доменной зоны, например /category-name/. 
• Allow: указание, что необходимо проиндексировать. Аналогично закрывающему параметру, указывается всё после доменной зоны. Этот параметр не нужно отдельно заполнять для каждой страницы, он используется для точечной настройки индексации URL адресов в скрытых от индексации директориях. 
• Sitemap: параметр указывает на расположение карты сайта, заполняется точным соответствием URL адреса, например Sitemap: https://gvozd.info/sitemap_index.xml.
• Clean-param – директива, сообщающая поисковым роботам о наличии меток (например UTM меток для рекламы), позволяющая не размножать в выдаче дубликаты страниц с метками. 

Разберем некоторые базовые настройки на примерах.

Примеры настройки

• User-agent: * – правило действует для всех ботов.
• User-agent: Googlebot – правило действует только для поискового робота Google.
• User-agent: Yandex – правило действует только для поискового робота Яндекса.
• Disallow: / – такое оформление закроет весь сайт от индексации, так как вы прямо указываете, что не нужно индексировать ничего начиная с корня сайта.
• Disallow: /category/ – такое оформление закроет саму категорию и все вложенные страницы. Например, страница  /category/primer.html с такой настройкой индексироваться также не будет.

Если вы используете сайт на одной из популярных систем управления, например, на WordPress, то вы можете создать индексный файл с помощью SEO плагинов. Например, YOAST или All in One SEO позволяют из админки WordPress настроить индексный файл, и вам не придётся руками вносить изменения. 

Что необходимо закрыть от индексирования

То, что нужно закрывать некоторые страницы и категории, интуитивно понятно, и теперь вы знаете, как это сделать. Но у вас может остаться вопрос – какие страницы нужно скрыть из индекса? 

Вы можете руководствоваться простым правилом – в индексе поисковых систем не должно быть страниц, которые не несут пользы людям, переходящим из поисковых систем. И даже если все страницы на вашем сайте ценные на ваш взгляд, подумайте, так ли это для человека, кто переходит из Яндекса или Гугла?

К распространенным страницам, скрываемым из индекса относятся:

• Результаты поиска на вашем сайте
• Страницы пагинации внутри категорий
• Страницы сортировки товаров (если имеют уникальный URL для идентичного содержания)
• Страницы личного кабинета, недоступные для неавторизованного пользователя
• Любые системные файлы
• Пустые страницы

Этот список можно продолжать, следуя логике – всё, что не пригодится человеку, перешедшему на ваш сайт из поиска. Например, вряд ли человеку сразу нужна “версия для печати” или внутренняя страница пагинации одной из ваших категорий. Это не только бесполезно, но иногда и создает путаницу для поисковых роботов.

Как проверить файл Robots.txt

Неправильная настройка файла Robots.txt может повлечь за собой печальные последствия для вашего сайта, вплоть до того, что некоторые страницы не будут индексироваться. Для проверки вы можете использовать, например, любой из следующих сервисов:

• Анализ robots.txt — Яндекс Вебмастер
• Robots.txt Validator и Testing Tool
• SERanking

Проверка индексного файла осуществляется в связке со страницей, возможность индексации которая вас интересует. Разберем на примере https://gvozd.info/ и официального инструмента Яндекса. Первый шаг проверки – задать URL проекта:

После обнаружения robots.txt, у вас появится возможность проверить любой адрес на домене. И в результате получить ответ – доступна ли страница для индексирования:

Вы можете проверять таким образом не только сайты, добавленные в ваш аккаунт Яндекс Вебмастера, инструмент доступен для любого сайта. В случае, если нужная вам в индексе страница недоступна для индексирования согласно инструменту проверки, внесите изменения в индексный файл. В некоторых случаях файл проще создать заново, прописав параметры с нуля, чем искать ошибку в актуальных параметрах. 

Стоит ли добавлять robots.txt на сайт?

Даже если вы согласны с тем, чтобы любые поисковые роботы индексировали ваш сайт, это не повод не добавлять robots.txt. Индексный файл указывает поисковикам, что вы хотите, чтобы ваш сайт был проиндексирован тем или иным образом, в том числе, если сайт нужно индексировать полностью.

Создать и настроить robots.txt очень просто, причин не создавать его нет. А с тем учетом, что зачастую на сайтах есть страницы и категории, требующие запрета от индексации, наличие этого файла обязательно.