Back to Question Center
0

Semalt: robots.txt: заблокировать все веб-страницы, за исключением нескольких веб-страниц?

1 answers:

У меня есть несколько сомнений относительно роботов. txt . Скажем, мой домен stackoverflow - пуф диван. com ,

A) Будет ли приведенный ниже код выполнять следующие действия для всех сканеров?

     Пользовательский агент: *Запретить: /Разрешить: / $
Разрешить: / a / $
Разрешить: / a / login. PHP
Разрешить: / a / login. PHP? вернуться = / концерты /    
  1. Принятие http: // stackoverflow. com / примет http: // stackoverflow. com тоже?

  2. Принятие http: // stackoverflow. com / a /

  3. Принятие http: // stackoverflow. ком / а / Логин. php

  4. Принятие http: // stackoverflow. ком / а / Логин. php? return = / pligg /

  5. Не принимать любую другую страницу http: // stackoverflow. com

B) Правильно: роботы. txt или робот. txt ?

February 13, 2018