Блондинка изучает SEO!

Вчера на меня снизошло озарение. Я написала файл robots.txt к SEOблондинке.

Долго думала и собиралась с мыслями. Очевидная необходимость наступила, когда увидела в Панели вебмастера Яндекса, что на SEOблондинке копятся ошибки, которые выдает робот при индексировании сайта.

Где-то прочитала, что если при индексации сайта будет много ошибок, то это тоже может стать причиной бана сайта Яндексом. С той логики, что робот не может корректно проиндексировать сайт.

Правда это или нет, я не знаю, честно говоря не было желания проверять. Да и меня саму бесили эти ошибки. И вот вчера, основательно полазив по той же самой панели Вебмастера Яндекса, нашла там интересный тестер этого самого файла robots.txt.

В верхнее поле вводишь условия, какие планируешь прописать в robots.txt, в нижнее – ставишь ссылочки. Нажимаешь “Проверить” и смотришь, всё ли индексируется так, как тебе нужно.

Я поступила следующим образом. Скопировала ссылки на ошибки индексации, это оказались ссылки типа:

http://www.seoblondinka.ru/ wp-trackback.php?p*
http://www.seoblondinka.ru/ wp-includes/***.xml
http://www.seoblondinka.ru/ ?cat*
http://www.seoblondinka.ru/ ?tag*
http://www.seoblondinka.ru/ ?paged*
http://www.seoblondinka.ru/ ?page_id*
http://www.seoblondinka.ru/ ?p*
http://www.seoblondinka.ru/?m*
http://www.seoblondinka.ru/ ?feed=rss2
http://www.seoblondinka.ru/ ***/trackback/
http://www.seoblondinka.ru/ xmlrpc.php?rsd

И сделала файл с таким текстом:

User-agent: Yandex
Disallow: /wp-*
Disallow: /?*
Disallow: /*/trackback/
Disallow: /xmlrpc.php?rsd
Sitemap: http://www.seoblondinka.ru/ sitemap.xml.gz

Проверила. Вроде всё нормально. То, что нужно, чтобы индексировалось – робот Яндекса видит. То, что что не нужно – не видит. Залила файл на сайт. Теперь жду переиндексации. Робот заходил ко мне недавно, два дня назад. Поэтому подождать придется какое то время, но это уже мелочи.

На следующие сайты буду сразу делать файл robots.txt. Не такой большой, конечно.

В случае с SEOблондинкой большая часть неправильно проиндексированных ссылок (те, что выделены зеленым), образовалась из-за поздно включенного ЧПУ.

Кстати, забыла сказать, вдруг кто соберется скопировать мой вариант файла. Если у Вас ЧПУ НЕ включено, не копируйте себе ссылки, выделенные зеленым!!! А то вы попросту запретите весь свой сайт к индексации. О_о

Это мне уж так пришлось с файлом извращаться, после двух попыток включения ЧПУ.

Ведёте блог? Зайдите по ссылке: ShowBlogs.ru – социальная сеть для блоггеров!