Автор Тема: robots.txt для PHPBB  (Прочитано 1828 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн starcev

  • Новичок
  • *
  • Сообщений: 14
  • Карма: +0/-0
  • Рефералов: 0
    • Просмотр профиля
robots.txt для PHPBB
« : 13 Января 2015, 11:29:23 »
Какой должен быть правильный роботс для phpBB подскажите если не трудно. Для примера вот мой robots:
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /faq.php
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mcp.php
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /xmlrpc/
Disallow: /tmp/
Host: ddddddd.biz
Но дело в том, что вчера я увидел на другом форуме такой роботс, который совсем непохож на мой, ну просто вообще не похож. Теперь вот сижу сомневаюсь. :-[ Развейте мои сомнения :-\
 

Оффлайн ex_plorer

  • Новичок
  • *
  • Сообщений: 13
  • Карма: +0/-0
  • Рефералов: 0
    • Просмотр профиля
robots.txt для PHPBB
« Ответ #1 : 13 Января 2015, 16:40:55 »
Не знаю, глянул сейчас свой, у меня он совсем другой почему-то, вот так выглядит, может это не совсем верно, но что есть, то есть. (у меня еще вордпресс установлен).
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /?feed=*
Disallow: /?*comment*
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/toplist.php
Disallow: /forum/thankslist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /feed
Disallow: /comments
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/toplist.php
Disallow: /forum/thankslist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: ddddd.ru
 

Оффлайн ex_plorer

  • Новичок
  • *
  • Сообщений: 13
  • Карма: +0/-0
  • Рефералов: 0
    • Просмотр профиля
А вообще меня уже начинаю терзать сомнения, какой robots.txt должен быть, если форум находится в папке домена, то есть не вынесен на отдельный домен?
Вот у меня сайт - это сайт на вордпрессе, к нему привязан форум phpbb. Правильный ли у меня robots.txt, который я выкладывал сообщением выше или нет? То есть он должен быть общий и для форума и для сайта или же правильнее было бы сделать два роботса - один кинуть в корень сайта, а второй в папку с форумом? ???
 

Оффлайн ex_plorer

  • Новичок
  • *
  • Сообщений: 13
  • Карма: +0/-0
  • Рефералов: 0
    • Просмотр профиля
robots.txt для PHPBB
« Ответ #3 : 13 Января 2015, 17:31:15 »
И тут же возникает такой вопрос, как сделать robots.txt при переносе подфорума на новый домен? То есть сейчас форум у меня расположен на поддомене сайта, я хочу вынести его на отдельный домен, естественно со сменой доменного имени. Но что тогда писать в файле роботс?!
Ведь если robots общий и для форума и для сайта, как у меня указано выше, то как будет работать директива
Host: ddddd.ru (в старом роботсе)? В новом пусть она будет Host: nnnnnn.ru.
Размышляю вслух:
Сейчас эти директива действует и для сайта и для форума и поисковики считают их за один сайт (и это правильно). Вынеся же форум отдельно и прописав Host: nnnnnn.ru на новом домене, я должен буду прописать такой же хост и на старом, то есть место ddddd.ru написать nnnnnn.ru. Но это же неправильно, сам сайт то остается на старом месте, т.е. как ddddd.ru!
А если оставить как есть, то nnnnnn.ru попадет под фильтры ПС (Яндекса так точно), ведь это будет в их глазах выглядеть как дублирование контента (что тоже верно). И вот как быть в такой ситуации? ???
Как считаете, правильно ли я рассуждаю или где-то в своих расуждениях допустил ошибку?
 

Оффлайн saper

  • Пользователь
  • **
  • Сообщений: 34
  • Карма: +10/-0
  • Рефералов: 0
    • Просмотр профиля
robots.txt для PHPBB
« Ответ #4 : 13 Января 2015, 21:23:24 »
Как то путанно написано, но в целом смысл ясен.
Если бы можно было так написать:
Host1: ddddd.ru
Host2: nnnnnn.ru
Но так делать нельзя, поэтому думаю лучше этот вопрос уточнить в техподдержке Яндекса. 
 

Оффлайн saper

  • Пользователь
  • **
  • Сообщений: 34
  • Карма: +10/-0
  • Рефералов: 0
    • Просмотр профиля
robots.txt для PHPBB
« Ответ #5 : 13 Января 2015, 21:34:30 »
Цитировать
какой robots.txt должен быть, если форум находится в папке домена
Нужно объединить указания для сайта и для форума в одном файле robots.txt и положить в корень сайта. Второй такой же файл для форума не нужен, поскольку роботы его всё равно проигнорируют. 
 

 

В быстром ответе можно использовать BB-теги и смайлы.

Имя: E-mail: