Не найден файл robots.txt

Когда на вашем сайте не найден файл robots.txt, то робот может индексировать все подряд, что тоже не очень хорошо.

Это возникает из за того. что робот не смог получить доступ к файлу robots.txt при последнем обращении.

Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.

Просто добавьте файл robots.txt. Создайте пустой текстовой файл, заполните его согласно правилам и сохраните в кодировке UTF-8.