Блог SEOблондинки

Вчера на меня снизошло озарение. Я написала файл robots.txt к SEOблондинке.

Долго думала и собиралась с мыслями. Очевидная необходимость наступила, когда увидела в Панели вебмастера Яндекса, что на SEOблондинке копятся ошибки, которые выдает робот при индексировании сайта.

Где-то прочитала, что если при индексации сайта будет много ошибок, то это тоже может стать причиной бана сайта Яндексом. С той логики, что робот не может корректно проиндексировать сайт.

Правда это или нет, я не знаю, честно говоря не было желания проверять. Да и меня саму бесили эти ошибки. И вот вчера, основательно полазив по той же самой панели Вебмастера Яндекса, нашла там интересный тестер этого самого файла robots.txt.

В верхнее поле вводишь условия, какие планируешь прописать в robots.txt, в нижнее – ставишь ссылочки. Нажимаешь “Проверить” и смотришь, всё ли индексируется так, как тебе нужно. :)

Я поступила следующим образом. Скопировала ссылки на ошибки индексации, это оказались ссылки типа:

http://www.seoblondinka.ru/ wp-trackback.php?p*
http://www.seoblondinka.ru/ wp-includes/***.xml
http://www.seoblondinka.ru/ ?cat*
http://www.seoblondinka.ru/ ?tag*
http://www.seoblondinka.ru/ ?paged*
http://www.seoblondinka.ru/ ?page_id*
http://www.seoblondinka.ru/ ?p*
http://www.seoblondinka.ru/?m*
http://www.seoblondinka.ru/ ?feed=rss2
http://www.seoblondinka.ru/ ***/trackback/
http://www.seoblondinka.ru/ xmlrpc.php?rsd

И сделала файл с таким текстом:

User-agent: Yandex
Disallow: /wp-*
Disallow: /?*
Disallow: /*/trackback/
Disallow: /xmlrpc.php?rsd
Sitemap: http://www.seoblondinka.ru/ sitemap.xml.gz

Проверила. Вроде всё нормально. То, что нужно, чтобы индексировалось – робот Яндекса видит. То, что что не нужно – не видит. Залила файл на сайт. Теперь жду переиндексации. Робот заходил ко мне недавно, два дня назад. Поэтому подождать придется какое то время, но это уже мелочи.

На следующие сайты буду сразу делать файл robots.txt. Не такой большой, конечно.

В случае с SEOблондинкой большая часть неправильно проиндексированных ссылок (те, что выделены зеленым), образовалась из-за поздно включенного ЧПУ.

Кстати, забыла сказать, вдруг кто соберется скопировать мой вариант файла. Если у Вас ЧПУ НЕ включено, не копируйте себе ссылки, выделенные зеленым!!! А то вы попросту запретите весь свой сайт к индексации. О_о

Это мне уж так пришлось с файлом извращаться, после двух попыток включения ЧПУ.

Ведёте блог? Зайдите по ссылке: ShowBlogs.ru – социальная сеть для блоггеров!

Ну и натворила я дел… О_о Не знаю, как правильно это называется. В общем суть действия в том, что ты меняешь в настройках вид ссылок на сообщения с дефолтного типа www.seoblondinka.ru/?p=123 на приличный типа www.seoblondinka.ru/nazvanie-soobshheniya/, например, и делается это через Настройки – ЧПУ.

Так вот включить ЧПУ, чтобы сделать ссылки вида %postname% я пыталась дважды. Первый раз в самом начале, сразу после создания SEOблондинки. У меня почему-то не получилось. При сохранении настроек с ссылками в виде %postname% SEOБлондинка зависала и показывала ошибку, я уж не помню какую, то ли 500, то ли 404. Вылечила я ее только удалением созданного, видимо Вордпрессом, файла .htaccess. :(

Второй раз я сделала на днях. Как ни странно, получилось сразу же. Хотя я уже открыла доступ к файлам на хостинге и сидела наготове, собираясь пробовать менять права у файла .htaccess в случае зависания SEOблондинки.

Всё получилось просто так. Без всякого изменения прав. Просто раз, и SEOблондинка продолжила нормально работать с другими заголовками. Я порадовалась, что получилось. И пошла в Линкфид смотреть стату. И вот тут-то меня ожидал неприятный сюрприз. Все ссылки упали в error. О_о

Ничего не понимая, я додумалась заказать переиндексацию сайта – славабо она в Линкфиде делается моментально. и вот тут до меня начали доходить истинный смысл последствий замены постоянных ссылок. :(

Вся SEOблондинка оказалось непроиндексированной ни Google’ом, ни Яндексом. О_о Ну, естесственно, кроме главной страницы. Рррррр..

Прошло с тех пор два дня. Благодаря принудительно отосланной Sitemap.xml, Google проиндексировал часть страниц SEOблондинки. Яндекс пока нет, хотя если учесть, что Яндексовый бот ко мне давно не заходил, я видела это по датам страниц, что мне показывались в Линкфиде непроиндексированными Яндексом, то это вселяет надежду, что он зайдет на мой сайт все же раньше, чем могло быть.

Резюме: Если хотите поменять дефолтный вид ссылок на нормальный – делайте это СРАЗУ, как создали блог. Промедление с этим действом и одновременное наращивание блогом количества страничек и их индексация всякими системами в будущем могут привести к разного рода накладкам. Сейчас я это знаю :) Впредь буду умнее. :)

З.Ы. С горя приступила к изучению Фотошопа, вчера и сегодня развлекалась весь день с рамками и фильтрами. В начале поста фотка в самодельной рамочке.