воскресенье, 7 июня 2015 г.

Оптимальный robots.txt для joomla 2.5, joomla 3.0

Ввиду того, что 21 апреля в поисковой системе гугл было большое обновление. Стало необходимо чтобы поисковая система могла сканировать все статические файлы Вашего сайта. Наша команда проработала свой вариант файла robots.txt для сайтов под управлением Joomla:



User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Allow: /components/*.png$
Allow: /components/*.js$
Allow: /components/*.css$
Allow: /components/*.jpg$
Allow: /images/*.png$
Allow: /images/*.jpg$
Allow: /modules/*.png$
Allow: /modules/*.jpg$
Allow: /plugins/*.css$
Allow: /plugins/*.js$
Allow: /templates/*.css$
Allow: /templates/*.js$
Allow: /templates/*.png$
Allow: /templates/*.gif$
Allow: /templates/*.jpg$
Allow: /templates/*.jpeg$
Allow: /templates/*.ttf$
Allow: /templates/*.eot$
Allow: /templates/*.svg$
Allow: /templates/*.woff$
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /media/*.png$
Allow: /media/*.gif$
Allow: /media/*.jpg$
Allow: /media/*.jpeg$
Allow: /media/*.ttf$
Allow: /media/*.eot$
Allow: /media/*.svg$
Allow: /media/*.woff$
Sitemap: путь к карте сайта
Host: основное зеркало (указывается без http://)