Topic: Перечень ботов поисковых систем
Здравствуйте, Вы делились скрином что здесь на форуме у Вас много ботов поисковых систем.
У меня же в админке прописан только для Google, Вы могли бы поделиться своим списком?
Заранее спасибо.
You are not logged in. Please login or register.
Здравствуйте, Вы делились скрином что здесь на форуме у Вас много ботов поисковых систем.
У меня же в админке прописан только для Google, Вы могли бы поделиться своим списком?
Заранее спасибо.
Существует большое множество ботов, но приведу те что у нас в админке
AdsBot-Google
AhrefsBot
Aport
Baiduspider
BegunAdvertising
bingbot
coccoc
Exabot
FAST
Googlebot
Googlebot-Image
Googlebot-Mobile
GrapeshotCrawler
LinkpadBot
lycos
Mail.RU_Bot
MegaIndex.ru
MJ12bot
MSNBOT
MSN
rambler
scooter
Slurp
SputnikBot
StackRambler
tbot-nutch
WebAlta
Yahoo
YandexBot
YandexMetrika
YandexMobileBot
Каждый с новой строки. Добавлять в расширение Pan Statistic
Спасибо, improved online list надо было указывать еще их IP адрес...поэтому и спросил)
Но по такому случаю установил Pan Statistic
Generated in 0.031 seconds (52% PHP - 48% DB) with 25 queries