Дублирование контента на сайте

День добрый!

Заинтересовала такая тема: как избавиться от дубликатов страниц на сайте, который использует ЧПУ? К стандартному robots.txt:

^{User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /cgi-bin/}

добавил ещё несколько строк:

^{Disallow: /index.php
Disallow: /?
Disallow: /*?}

Но остался вопрос. Т.к. в качестве ’Суффикса для дружественных URL’ я использую слэш (/), то каждая страница вида ’site.ru/doc/’ дублируется страницей вида ’site.ru/doc’ (без ’/’ вконце).

Как этого избежать? У кого-нибудь есть опыт?

Спасибо...

во-первых, достаточно вот такой конструкции:
Disallow: /assets/* -- чтобы запретить индекс всей папки.
во-вторых, вот такой хернёй:
Disallow: /index.php -- ты закрываешь вообще весь сайт для индекса полностью.
и такой тоже:
Disallow: /
Disallow: /*

проблема со слэшами решается либо через .htaccess, либо нужен плугин http://modxcms.com/extras/package/395
по моим впечатлениям, автор плугина не очень активно его поддерживает. может, есть что-то ещё подобное.

А эти записи сайт полностью не закроют?

^{Disallow: /?
Disallow: /*?}

С плагином попробую разобраться.
А где почитать о решении этого вопроса через .htaccess?

вот не знаю, что означают знаки вопроса...

подрбнее здесь:
http://help.yandex.ru/webmaster/?id=996567#996571

и действует правило: если робот директиву не знает, он её игнорит.


насчёт .htaccess не подскажу, сам не варю. один раз почитал документацию, сделал так, как мне нужно было, и забыл. но документации полно. подскажу только, что нужен элементарный 301 редирект.

Благодарю!

Буду искать документацию по .htaccess.
А может быть найдётся ещё один добрый человек на форуме, да подсобит.

И небольшой комментарий по ’Disallow:’ (спасибо за ссылку)

^{Disallow: /?
Disallow: /*?}

Знак вопроса не является спецсимволом, поэтому данные записи просто запрещают к индексации страницы, содержащие ’?’. Например, site.ru/home?id=13 - запрещён.
------------------------------------------------------------

^{User-Agent: Yandex
Disallow: /index.php*}

А вот это правило в моём случае(!) не запрещает индексацию сайта. Проверено через on-line анализатор Яндекса (http://webmaster.yandex.ru/robots.xml).

А не запрещает просто потому, что у меня настроены ЧПУ вида site.ru/document/, site.ru/foto/ и т.д.

могу ошибаться, но поисковик, заполучив index, согласно .htaccess, срастит его с корнем.
+ опять же могу ошибаться, но обработка всех урлов происходит через index.php, значит, через него поисковик получает все станицы! жду, что сообщники думают по этому поводу. может, у меня просто каша в голове.

если есть желание удалить из индекса все урлы с ?, то надо как-то так:
Disallow: /*?* скорее всего, но не уверен.

и если включены дружественные урлы и настроен .htaccess, то поисковик и не будет делать дубли с index.php?id=чего-то-там

Ну, анализатор Яндекса (при User-Agent: Yandex Disallow: /index.php*) выдавал, что остальные адреса он достаёт без проблем. В общем, время покажет.

и если включены дружественные урлы и настроен .htaccess, то поисковик и не будет делать дубли с index.php?id=чего-то-там

Урлы то я настроил, а вот в .htaccess что надо написАть-то? (кроме редиректа с www)

Вообще-то на дубликаты страниц, если все нормально настроено, нет никаких ссылок, и поисковые системы их не индексируют, так что в общем случае это лишняя работа. А добавляя много правил в .htaccess можно случайно что-то пропустить, и не будут индексироваться дополнительные страницы, генерируемые сниппетами (Jot, Ditto и так далее).
Кстати, если не секрет, в чем смысл добавления символа «/» в качестве суффикса? Согласно правилам получается, что на сайте множество папок, в каждой из которых только по одному документу – с точки зрения поисковых систем, структура не слишком удачная.

Кстати, если не секрет, в чем смысл добавления символа «/» в качестве суффикса?

Чисто визуальная сторона. Никаких секретов ))

Согласно правилам получается, что на сайте множество папок, в каждой из которых только по одному документу – с точки зрения поисковых систем, структура не слишком удачная.

Где-нибудь об этом пишется или это личное мнение?