Главное меню

Создаем правильный robots.txt для uCoz

Robots.txt - это текстовый файл в корне сайта со специальными инструкциями для поисковых роботов. В нем вы можете указать поисковикам как индексировать ваш сайт. 

По-умолчанию системой подгружается "стандартная заглушка", в которую добавлено большинство "правильных" команд, но все же их бывает не достаточно.

Напоминаю, что новый сайт на юкозе первый месяц находится на т.н. "карантине", то-бишь он запрещен к индексации. Это испытательный период, который дается вашему сайту, чтобы доказать свою "серьезность". За это время вам стоит продумать структуру сайта, наполнить его уникальным контентом, подчистить шаблон, обзавестись социальными аккаунтами  и т.д. После 30-ти дней испытательного срока карантин будет снят и вы получите свободный доступ к robots.txt

Стоит также отметить что карантин будет снят немедленно если вы закажете любую доп. услугу на сумму >$2. 

Теперь ближе к делу...

Вот так выглядит стандартный файл robots.txt от uCoz:

Код
User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*0-0-

Sitemap: http://blog.ucoz.ru/sitemap.xml  

Если вы хотите внести какие-то правки - вам необходимо создать текстовый файл robots.txt в корне своего сайта и уже в него вносить изменения. В этом случае системой будет отдаваться ваш кастумный robots.txt

В принципе базовый файл настроен правильно - все лишнее от индексирования закрыто. Но как говорится нет предела совершенству и поэтому я немного изменил его содержание "под себя".

Не так давно я уже писал заметку о дублях SSID для главной страницы - поэтому у меня уже есть правило, которое убирает с индекса эти "ляпы" системы. 

Но недавно появились новые "дубли": 

  • http://uguide.ru/news/ucoz_shablon_dlja_detskogo_sada/2012-11-29-31 - правильный урл

  • http://uguide.ru/news/ucoz_shablon_dlja_detskogo_sada/2012-11-29-31&post=-28741529_11198 - дубль

Поисковые системы очень негативно относятся к наличию дублированного контента в индексе. Поэтому подобные урлы нужно закрыть. Устранить саму причину появления невозможно, так что будем бороться с последствиями. В данном случае строкой: 

Код
Disallow: /*&*

Теперь файл robots.txt для моего сайта настроен правильно и должен устранить "ляпы" системы (которые проявили себя на данный момент на модуле Блог).

После всех изменений рекомендую проверить корректность составленного robots в панеле Яндекс.Вебмастер - http://webmaster.yandex.ru/robots.xml.

Делается это вот так:

Проверка файла robots.txt

Как видно на скриншоте результаты проверки подтверждают корректность правил. На этом все, спасибо за внимание :)

P.S:

Если у вас возникли какие-то сложности или остались вопросы - их можно задать через комментарии, или соцсети... Также не лишним будет прочесть официальный мануал от Яндекса: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.

  • Обновлено:
    2012-12-27
  • Автор:
  • Оцените статью:
    9.6/10 из 49

avatar

Комментариев:17

нет аватара
17 uid Sergey Kubarev • 23:06, 2015-12-03
Здравствуйте. Не могу найти в ФМ свой робот.тхт Забиваю кв адресной строке .http://адрес моего сайта.ru/robots.txt и выходит
User-agent: *
Disallow: /
как его исправить подскажите пожалуйста?????!
нет аватара
16 uid Виталик Антонов • 19:18, 2015-07-17


Скажите пожалуйста , что это значит?
нет аватара
15 uid Виталик Антонов • 19:15, 2015-07-17
Скажите пожалуйста , будет ли индексироваться мой сайт?
http://inst-vk.at.ua/robots.txt
нет аватара
13 uid Никита Кузовлёв • 12:24, 2015-06-10
Помогите пожалуйста,фото которые я выкладываю на сайт не показываются в поисковиках,что делать?
Аватар uGuide
Хороший пост0Плохой пост
14 uid Дмитрий Луценко • 14:39, 2015-06-10
Это ваш сайт kolodec-igla.ucoz.ru ? Если да, то нужно открыть сайт для индексации поисковыми системами. Сейчас ваш сайт не индексируется: http://kolodec-igla.ucoz.ru/robots.txt
Аватар didicgami
12 vk Игорь Жуков • 17:24, 2015-04-28
Спасибо тебе большое  respect
нет аватара
9 uid Дмитрий • 21:48, 2015-03-27
ДОбрый день. У меня почему-то в панели Яндекс.Вебмастер,, на главную страницу моего сайта, пишет ошибку "Страница исключена роботом. Причина: HTTP-статус: Внутренняя ошибка сервера (500)."
В чём проблема? Спасибо.
Аватар uGuide
Хороший пост0Плохой пост
10 uid Дмитрий Луценко • 21:59, 2015-03-27
Возможно, на момент обхода поисковиком ваш сайт был временно не доступен. Ждите следующей переиндексации, должно быть все нормально.
Покажите свой сайт
нет аватара
11 uid Дмитрий • 20:40, 2015-03-30
Добрый день. Уже вторую неделю так. Роботс.тхт дефолтный.
К сожалению, не могу скинуть сайт.
нет аватара
8 uid Fuad Tahmazov • 20:57, 2014-12-27
Всем привет,кто знает как запретить индексацию виджетов на cms wordpress ?
Аватар ksuxaz1988
7 vk Ксения Сапрыкина • 10:54, 2014-12-12
Огромное при огромное Спасибо)))сделано
Аватар ksuxaz1988
5 vk Ксения Сапрыкина • 21:08, 2014-12-11
Что вписать понятно, а где этот файл найти , написано везде в корне сайта находится robots , а где этот корень искать ??? Web-программисты не смейтесь сильно с моего вопроса))))
Аватар uGuide
Хороший пост0Плохой пост
6 uid Дмитрий Луценко • 21:58, 2014-12-11
Нужно зайти в "Панель управления" своего сайта (site.ucoz.ru/admin) и перейти в "Файловый менеджер" - это и есть корень сайта. Там должен быть текстовый файл robots.txt. Если роботса там нету, то его можно создать у себя на компьютере с помощью Блокнота и загрузить через Файловый менеджер в корень своего сайта.


Аватар ksuxaz1988
3 vk Ксения Сапрыкина • 15:06, 2014-12-11
А как вообще закрыть индексацию сайта, так как я уже подключила пакет, а сайт не наполнила?
Аватар uGuide
Хороший пост0Плохой пост
4 uid Дмитрий Луценко • 16:46, 2014-12-11
Что бы закрыть сайт от индексации, нужно в файл robots.txt добавить такое правило:

Код
User-agent: *
Disallow: /
Аватар Dmitry
2 Дмитрий • 18:48, 2013-09-16
Чтобы индексировался правильный урл можете добавить код <link rel="canonical" href="$ENTRY_URL$" /> . Тут подробнее об этом написано: http://uguide.ru/news....2-18-47
нет аватара
1 Само Саакян • 18:48, 2013-09-16
У меня вот такие дубли
/load/filmer/no_comment_nerkayacowm/3-1-0-40
/load/filmer/no_comment_nerkayacowm/3-1-0-40/
Скажите пожалуйста а как запретить индексацию вот этого второго варианта с последнем / ?
Добавить комментарий