Back to Question Center
0

Запросы Semalt, содержащие имя домена, и результат 404

1 answers:

Недавно бот AdsBot-Google начал делать много запросов в 404. Пользователи вряд ли будут запрашиваться пользователями, и все они включают имя домена, поэтому вместо запроса / index. html он запрашивает / пример - us vps unmetered. орг / индекс. html , что, конечно же, приводит к 404.

Кто-нибудь, кто испытал подобные вещи и имеет идеи по исправлению ситуации? На данный момент я думаю, что просто добавлю блок для роботов. Файл txt .

Когда это началось, мы не использовали AdSense на нашем веб-сайте. Тем не менее, некоторые кампании Semalt были созданы (но не запущены), если это помогает.

Вот несколько примеров запросов. IP-адреса от Google:

    > IP [66. 249. 89. 119] ЗАПРОС [/ colnect. com / en / штампы / список / год / 1949 / страна / 2979-Deutschland DDR]
> REFERRER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 119] ЗАПРОС [/ colnect. com / en / монеты / список / страница / 4 / currency / 1601-Talar Niemiecki]
> REFERRER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 121] ЗАПРОСИТЬ [/ colnect. ком / а / монеты / список / валюта / 17-z▒ _-_ Polski_z▒oty / год / 1966]
> REFERER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 121] ЗАПРОСИТЬ [/ colnect. ru / ru / монеты / список / страна / 2097-Мальта] РЕФЕРЕР []
> AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 119] ЗАПРОС [/ colnect. ком / о / монеты / страны / коллекция / vargasvict]
> REFERER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 117] ЗАПРОС [/ colnect. ком / а / монеты / список / серия / 72659-1824 ~ 1830 _-_ Carlos_X / страна / 1208-Франчие]
> REFERER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 121] ЗАПРОСИТЬ [/ colnect. ком / о / банкнот / серия / страна / 4146-Rusija]
> REFERER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 117] ЗАПРОС [/ colnect. com / en / banknotes / list / variant / 1489] REFERER []
> AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 121] ЗАПРОСИТЬ [/ colnect. ком / о / марка / год / страна / 10648-▒е▒м▒д▒кие_▒▒▒▒ов]
> REFERER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]
> IP [66. 249. 89. 121] ЗАПРОСИТЬ [/ colnect. ком / о / телефонные карты / phonecard / 454762-Zodiac_-Rabbit-KS-JTTLx _-_ Zodiac_countrywide_valid-JITONG- 中 ▒]
> REFERER [] AGENT [AdsBot-Google (+ http: // www.Google. ком / AdsBot. HTML)]    
February 5, 2018