1 Topic by Xakker

Topic: В файле robots.txt не задана директива Host

Если в файле robots.txt не задана директива Host, то робот Яндекса обязательно обратит на это внимание. Для Яндекса это очень важно.

Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.

Добавьте директиву Host в файл robots.txt.

Причем нужно это только Яндексу. Поэтому так и укажите:

User-Agent: *
Disallow:

User-Agent: Yandex
Disallow:
Host: www.myhost.ru

Xakker's Website

2 Reply by alesha-antipov

Re: В файле robots.txt не задана директива Host

Вы говорите , что это указать нужно для Яндекса :

User-Agent: Yandex
Disallow:
Host: www/myhost/ru

ВОПРОС - А для GOOGLE  такую запись в файле  robots.txt указывать ???

Пример :
User-Agent: GOOGLE
Disallow:
Host: вввсайтру

3 Reply by PunBB

Re: В файле robots.txt не задана директива Host

alesha-antipov wrote:

User-Agent: GOOGLE
Disallow:
Host: вввсайтру

гугл не понимает этот параметр. Если у вас подключен ВебМастер Гугла, то можно легко в этом убедиться проверив robots.txt

Для Яши - это обязательное требование