Прочитав статью о
дублировании контента в MODx я настроил по аналогии файлы robots.txt и .htaccess на своем сайте
ogon.by. Спустя некоторое время в Яндекс.вебмастер я обнаружил что из индекса пропали все страницы сайта кроме главной. В гугл все в норме. У меня на сайте настроены ЧПУ. Но я не совсем понимаю как устроена эта система. К примеру есть урл
http://ogon.by/production.html
Физически на фтп у меня нет файла production.html в корне сайта. Не перекрыл ли я доступ к данной странице используя dissallow в robots.txt ? В том же яндекс.вебмастер, там где можно проверить файл robots.txt можно проверить разрешен ли к индексу урл. Яндекс говорит что он разрешен, но в индексе его все равно почему то нет, в исключенных страницах тоже нет. В чем же дело, правильно ли я все сделал? Объясните плиз как устроена реализация ЧПУ, файл production.html создается в кэше или как? Привожу текст файлов robots и htaccess. Спасибо!
# Default modx exclusions
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Host: ogon.by
# For sitemaps.xml autodiscovery. Uncomment if you have one:
Sitemap: http://ogon.by/sitemap.xml
.htaccess
# For full documentation and other suggested options, please see
# http://svn.modxcms.com/docs/display/MODx096/Friendly+URL+Solutions
# including for unexpected logouts in multi-server/cloud environments
# and especially for the first three commented out rules
#php_flag register_globals Off
#AddDefaultCharset utf-8
#php_value date.timezone Europe/Moscow
ExpiresActive On
ExpiresDefault A0
# 1 YEAR
<FilesMatch "\.(ico)$">
ExpiresDefault A9030400
</FilesMatch>
# 6 month
<FilesMatch "\.(flv|jpg|jpeg|png|gif|swf)$">
ExpiresDefault A14515200
</FilesMatch>
# 3 HOUR
<FilesMatch "\.(txt|xml|js|css)$">
ExpiresDefault A10800"
</FilesMatch>
Options +FollowSymlinks
RewriteEngine On
RewriteBase /
# Fix Apache internal dummy connections from breaking [(site_url)] cache
RewriteCond %{HTTP_USER_AGENT} ^.*internal\ dummy\ connection.*$ [NC]
RewriteRule .* - [F,L]
# Rewrite domain.com -> www.domain.com -- used with SEO Strict URLs plugin
#RewriteCond %{HTTP_HOST} .
#RewriteCond %{HTTP_HOST} !^www\.ogon\.by [NC]
#RewriteRule (.*) http://www.ogon.by/$1 [R=301,L]
# Exclude /assets and /manager directories and images from rewrite rules
RewriteRule ^(manager|assets)/*$ - [L]
RewriteRule \.(jpg|jpeg|png|gif|ico)$ - [L]
# For Friendly URLs
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]
# Reduce server overhead by enabling output compression if supported.
#php_flag zlib.output_compression On
#php_value zlib.output_compression_level 5
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)\.html[/]+$ $1.html [L,R=301]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)\.xml\.html$ $1.xml [L,R=301]
AddEncoding gzip .gz
RewriteCond %{HTTP:Accept-encoding} gzip
RewriteCond %{HTTP_USER_AGENT} !Safari
RewriteCond %{REQUEST_FILENAME} \.css$ [OR]
RewriteCond %{REQUEST_FILENAME} \.js$
RewriteCond %{REQUEST_FILENAME}.gz -f
RewriteRule ^(.*)\.(css|js)?$ $1.$2.gz [QSA,L]
<IfModule mod_headers.c>
Header append Vary User-Agent
<FilesMatch .*\.js.gz$>
ForceType text/javascript
Header set Content-Encoding: gzip
Header set Cache-control: private
</FilesMatch>
<FilesMatch .*\.css.gz$>
ForceType text/css
Header set Content-Encoding: gzip
Header set Cache-control: private
</FilesMatch>
</IfModule>
