Обещанного неделями ждут :) А я все же закончу тему, начатую в посте про избежание дублирования материалов в WordPress.
Итак, вот типовое содержимое моего файла robots.txt для WordPress, который позволяет:
- пресечь индексирование поисковиками служебных файлов и папок вордпресса
- предохраниться от дублирования содержимого (ну не люблю я эту кальку “контент” ;) )
User-agent: *
Allow: /*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Пределов совершенству нет, о чем, я не сомневаюсь, вы поведаете в комментариях :)
С праздником крещения Христова!
постоянный адрес prodvinutyj-robotstxt-dlya-wordpress
Янв 19, 2008 в 12:20
кстати совсем недавно узнал, что по правильному файл robots.txt должен быть один на сайт и располагаться только в его корне. это так - заметка на полях.
Янв 19, 2008 в 17:23
http://robotstxt.org.ru/ пишет что параметра Allow в роботсе быть не может, так как роботс.тхт ничего не может разрешать, он может только запрещать
Янв 21, 2008 в 1:32
mekal
ну вообще-то так и есть, а чт овас удивляет? Наверное автор специально выделил параметром Allow то что должен индексить бот, хоть это и не обязательно :)
Янв 22, 2008 в 10:40
А как тогда правильно?
Янв 22, 2008 в 13:37
Совершенно верно: Allow в robots.txt не нужен. Вместо этого просто ничего не ставится, или идет пустая строка с
Disallow:Всем спасибо - вот она сила коллективного веб авторства ака разума! :)
а тут генератор robots.txt на EN
Янв 29, 2008 в 4:25
вот блин, а я постоянно allow’s прописывал :)))
Фев 8, 2008 в 11:52
Как можно легко управлять robots.txt в wordpress написанно здесь
Фев 10, 2008 в 19:01
Всегда пожалуйста, если нужна кака-нибудь информация по Wordpress ищите на моем сайте, или задавайте вопросы через форму обратной связи (там же) …. вот какая самореклама вышла …
Апр 28, 2008 в 5:24
Поставил себе вот этот плагин KB Robots.txt
С ним можно редактировать robots.txt из админки :)
мая 28, 2008 в 17:39
А что значат последние строки со знаками вопроса?
мая 29, 2008 в 16:53
Это результаты поиска.
мая 29, 2008 в 16:58
поиска по блогу? спасибо за ответ!
мая 29, 2008 в 17:08
Да, по блогу.
мая 29, 2008 в 20:21
спасибо)
а ещё я видел такие строчки
Disallow: /wp-register.php
Disallow: /xmlrpc.php
как думаете надо?
мая 29, 2008 в 21:47
я не использую.
июня 4, 2008 в 16:53
Кстати, по аналогии с роботс по умолчанию друпала можно и эти файлы закрыть.