| сейчас я расскажу вам,как правильно составить Robots.txt для сайтов на uCoz,ведь наличие на сайте Robots.txt - это верный путь к раскрутке сайта,ведь если его нету,то есть вероятность попасть под фильтры поисковых систем. Рассмотрим теги,которые входят в состав Robots.txt : Disallow: это дистрибутив,который запрещает индексацию определенных страниц.
Allow: это дистрибутив,который разрешает индексацию определенных страниц.
User-agent : Этот тег дает информацию о боте для которого стоят настройки. Исходя из этого,сразу появляется мысль,а как же создать сам Robots.txt и чтобы он был правильный,вот ответ : Нельзя просто создать Robots.txt и вставить в него дистрибутивы,уж так построена система,рассмотрим на примере,например,каталог статей. Запрещаем к индексации : Disallow: /publ/ Разрешаем индексацию : Allow: /publ/ Также,можно вписать не только адреса модулей,можно так же вписать определенные страницы сайта или модулей. Важный момент,дистрибутив Allow должен стоять выше своего оппонента Disallow. Тег User-agent ставится в самом верху,теперь посмотрим,как его настроить.Если вы хотите,что бы информация была открыта только для бота Яндекса,то ставим его так : User-agent: Yandex А если мы хотим,чтобы информация была открыта для просмотра всем роботам,то ставим тег так : User-agent: * Далее указываем путь к карте сайта : Sitemap:http://www.имя.домен/sitemap.xml
Sitemap:http://www.имя.домен/sitemap-forum.xml Если у вас стоит прикрепленный домен (net.ru,com,ru и др),то даем роботам знать об этом,пример : Host: www.vesucoz.ru Именно так,не каких http://. Вот пример готового Robots.txt для uCoz : Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search Host: www.vesucoz.ru
Sitemap:http://www.vesucoz.ru/sitemap.xml
Sitemap:http://www.vesucoz.ru/sitemap-forum.xml В начале создания сайта,у вас автоматически ставится дистрибутив Disallow и обойти его не традиционным методом нельзя,а традиционным можно убрать оплатив базовый пакет,который стоит не более 100 рублей,а после написать в Тех поддержку uCoz с просьбой снять с карантина. Спасибо за внимание.Если у вас есть вопросы или вам помогла моя статья,то прошу оставлять комментарии. Автор : Rusqa
Сайт автора : VesuCoz.Ru Источник: http://vesucoz.ru
| 
