Архив рубрики 'Искать и Найти'
Обещанного неделями ждут :) А я все же закончу тему, начатую в посте про избежание дублирования материалов в WordPress.
Итак, вот типовое содержимое моего файла robots.txt для WordPress, который позволяет:
пресечь индексирование поисковиками служебных файлов и папок вордпресса
предохраниться от дублирования содержимого (ну не люблю я эту кальку “контент” ;) )
User-agent: *
Allow: /*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: […]
Вдруг кто еще не знает этот простой и быстрый метод для того, чтобы RSS-лента вашего сайта на feedburner’e не попадала в индекс поисковиков.
Для чего это нужно? Чтобы поисковик не счел вашу ленту дубликатом ваших материалов, а пользователь, кликнувший на ленту - не напоролся на неформатированную абракадабру вместо желаемой страницы. И тогда он может быть огорчен […]
