Проблема с ЧПУ и вложенными документами

Суть проблемы такова:

Есть сайт, например http://www.mysite.ru

В MODx в "настройках дружественных URL" стоят галки на следующих опциях:

1) Использовать дружественные URL - да
2) Суффикс для семантических URL - .html
3) Использовать псевдонимы в URL - да
4) Использовать вложенные URL - да
5) Разрешить повторяющиеся псевдонимы - да
6) Автоматически генерировать псевдоним - нет

Соответственно есть дерево документов:

состоящее из трех уровней:

Главная
- Мужская парфюмерия
- Chanel
- Chanel №5

каждый из этих уровней в строке браузера выглядит следующим образом:

1) http://www.mysite.ru
2) http://www.mysite.ru/men
3) http://www.mysite.ru/men/Chanel.html
4) http://www.mysite.ru/men/Chanel/Chanel5.html

А проблема вот в чем, заметил тут, что например Rambler индексирует страницы только до 3 уровня включителньо, т.е. страницы подобной этой http://www.mysite.ru/men/Chanel.html, а дальше не идет, т.е. на 4 уровень http://www.mysite.ru/men/Chanel/Chanel5.html

Решил проверить вручную и воспользовался программкой PagePromoter, которя имеет эмулятор спайдера поисковой машины и точно, не идет паук на 4 уровень, хоть ты тресни.

Стоило мне отключить ЧПУ в админке MODX, когда ссылки стали типа http://www.mysite.ru/index.php?id=548 так спайдер все страницы увидел.

В чем может быть проблема? Это же катастрофа

лема в спайдере

не совсем понял

отключите
4) Использовать вложенные URL
и никаких проблем
лучше уж все проиндексируется, чем что-то потеряется.

если паук не идет дальше 4го уровня вложенности без объяснения причин, то это его проблема, а не ваша. Хотя есть вопрос про необходимость такой глубины вложенности на сайте, но это философия.

Отключить — не выход. У меня тоже иерархия большая, вложеность по 6 уровней, длиннющие местами alias’ы... всё это сваливать в кучу не хочется.


* а где посмотреть в рамблере, что оно проиндексировал, а что нет?

такой вопрос:
а карта сайта есть? да так, чтоб не глубоко?


у рамблера обычно проблема с избыточностью индексирования, то есть он может дублем проиндексить и _http://../page_1.html и и _http://../page_1/, если есть _http://../page1/page_2.html, при этом страницы не склеит и понизит рейтинг.

Quote from: [e

Bu$ter link=topic=14086.msg92380#msg92380 date=1176968781]
* а где посмотреть в рамблере, что оно проиндексировал, а что нет?

http://search.rambler.ru/srch?sort=0&filter=http://site.ru

PoMeO, премного благодарен. Это правда не то что я ожидал увидеть... Но хоть руки дошли посмотреть как там всё проинтексировано. До 4 уровня всё точно есть, т.е. находит, например, такие документы httр://sitе.by/category/blabla/razdel/document/

ещё такая хрень: если хочешь, чтобы рамблер сожрал весь сайт, ставь счётчик рамблера. только хорошо бы располагать его в сниппете и выводить после проверки совпадения реального адреса страницы и алиаса, а то после администрирования сайта, можно скормить рамблеру страницы с адресами типа ...index.php?id=21&z=manprev