1 Topic by Xakker

Topic: Настройка файла robots txt для WordRress

Для сайта на WordRress, да и вообще для каждой CMS файл robots.txt нужно настраивать индивидуально. Нужно учесть структуру сайта, запретить не нужные каталоги, что то наоборот разрешить, настроить хост, частоту индексирования и т.п.

Ниже я приведу пример файла robots.txt, сразу хочу предупредить, не стоит копировать его и вставлять к себе на сайт или форум. Вначале просканируйте с помощью какого либо сервиса все доступные для индексации, то есть открытые страницы, а затем просмотрите, какие страницы не несут полезной информации, какие страницы дублируются, страницы профилей пользователей и т.п. Такие страницы лучше запретить от сканирования.

Xakker's Website

2 Reply by Xakker

Re: Настройка файла robots txt для WordRress

Вот пример файла для сайта на Вордпресс. Хочу обратить внимание на некоторые моменты.
Вначале прописаны правила запрещающие директории, но на самом деле очередность не имеет значения.


User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Crawl-delay: 4

User-agent: GoogleBot
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Crawl-delay: 2

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Crawl-delay: 2
Host: punbb.info

Sitemap: https://punbb.softplaza.net/sitemap.xml

Вот эта секция:

Disallow: /*?
Disallow: /*?*
Disallow: /*.php

.полезна только если на вашем сайте установлен ЧПУ, эти правила запрещают индексировать все php файлы типа post.php?id=37

Host: punbb.info
Это полезно только для Яндекса

Crawl-delay: 2
Это правило устанавливает тайм аут посещения роботом страниц.

Xakker's Website