Да конечно бред!
Любой сайт объявлений гляньте, любой! Хоть тот же
olx возьмите. Миллионы объявлений и то там в robots.txt всё лишнее отсекают. Иначе в выдаче будет столько соплей, мама не горюй!
А на ваших досках с тремя униками в сутки сам Всевышний велел правильный robots писать.
Ради интереса глянул бегло пару досок на
osclass, которые нашел, так там
robots.txt такой, как во втором посте либо вообще нет! Я в ахуе если честно.

И вроде люди неглупые, и вроде делают сайты, сами пишут код, но такого нубства как в osclass я нигде не видел, чесслово.
Как будто все нубы сначала идут в osclass, а потом набравшись опыта уже куда подальше.
Лично для себя я накопал такой robots, не знаю, насколько он сейчас актуальный, его постили лет 6 назад

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /oc-admin/
Disallow: /*oc-admin
Disallow: /*printpdf
Disallow: /*print_ad
Disallow: /*sPattern
Disallow: /*sCategory
Disallow: /*sRegion
Disallow: /*sPriceMin
Disallow: /*sPriceMax
Disallow: /*buysell_type
Disallow: /*sOrder
Disallow: /*iOrderType
Disallow: /*search
Sitemap: http://www.домен.ру/sitemap.xml
Sitemap: http://www.домен.ру/sitemap.xml.gz
Непонятно что делают эти директивы
sPattern, sCategory, sRegion,sOrder и так далее, а вот поиск закрыли - согласен, как и говорил выше.