Поисковые системы считывают yourserver.com/ файл robots.txt, чтобы получить информацию о том, что они должны и не должны искать, и где. Указав, где поисковые машины должны смотреть, можно повысить рейтинг во всех поисковых систем.
Пример создания с сайта WordPress robots.txt файл: