Robots.txt

Robots.txt — это файл, который сообщает поисковым роботам, к каким страницам или разделам веб-сайта они имеют доступ, а к каким — нет. Файл находится в корневом директории веб-сайта и имеет стандартный формат. Основные поисковые системы, такие как Google, Bing и Yahoo, распознают директивы, указанные в файле Robots.txt, и соблюдают их.

Иметь такой файл необязательно. Однако, Robots.txt позволит вам управлять как поисковые системы взаимодействуют с вашим сайтом.

Файл состоит из двух основных частей: пользовательских агентов и директив.

• Пользовательские агенты: в этой строке указывается, к каким веб-роботам относится файл. Например,

User agent: Googlebot

Это означает, что файл применим только к веб-роботу Googlebot. Символ * может использоваться для представления всех веб-роботов.

• Директивы: в этой строке указывается, к каким частям веб-сайта веб-роботом запрещен доступ.

Вы можете проверить Центр Google Поиска, чтобы узнать больше о том, как создать файл Robots.txt. 

После того как вы создали файл, перейдите к следующему разделу, чтобы добавить.

• Перейдите на вкладку Настройки на панели управления.
• Перейдите на подвкладку Общие настройки.

Прокрутите страницу вниз, чтобы увидеть файлу Robots.txt.

Вставьте в поле ниже и нажмите кнопку Сохранить.

Если у вас есть какие-либо вопросы, отправьте нам электронное письмо по адресу [email protected] или нажмите на синюю иконку ниже, чтобы пообщаться в чате