О блоге | $ Денежный поток $ | Реклама и контакты | Карта сайта

Записи с метками ‘robots.txt’


Об АПе и о Яндексе.

Четверг, 18 Декабрь 2008

На Линкфиде увидела сообщение об АПе ТИЦ. Пошла смотреть по блогам. Да, вроде был АП ТИЦ. Но какой-то, скорее не АП, а ДАУН. Потому что из тех, что я смотрела, прибавкой никто не хвастался, либо слышали у кого-то про понижение ТИЦ, либо все осталось по прежнему.

За себя могу сказать, что три моих сайта с ненулевым ТИЦ так и остались при своих 20-ках и 10-ке. Наверное, мне надо радоваться, что ничего не упало. :)))

Робот Яндексовский, кстати, заходил недавно сюда, на SEOблондинку. Проиндексировал ее по новой, но ни количество проиндексированных страниц, ни количество ошибок не изменилось, несмотря на столь долго вымучиваемый мной robots.txt, ориентированный на Яндексовского робота.

Кстати, техподдержка Яндекса ответила, на вопрос о том, почему, несмотря на добавление robots.txt количество ошибок не уменьшилось. Еще я перечисляла коды ошибок в письме. Вот ответ:

Здравствуйте! 1. Ошибки 404 указаны, так как страницы, на которых они были найдены, действительно отдают роботу код ошибки 404. Со временем такие страницы автоматически удаляются из раздела ошибок, если страницы долгое время отдают код 404. 2. Ошибки 302 возникают, так как на данных страницах сайта сервером организовывается 302 перенаправление, например, со страниц /?cat на /category… 3. Ошибка “Формат документа не поддерживается” связана с тем, что наш робот не индексирует xml документы. Так как страницы запрещены к индексированию в файле robots.txt, со временем они будут автоматически удалены из раздела ошибок, пожалуйста, подождите.То есть по идее, при последующих посещениях сайта роботом все должно было исправиться? Но вот, робот пришёл, по сайту походил, и ничего не изменилось. :(

Ничего не понимаю, почему так происходит. Видимо, я все-таки настоящая блАндинка. Не только внешне, но и по содержанию. :((( Ушла расстраиваться. :(

2leep.com

Пишем robots.txt

Четверг, 11 Декабрь 2008

Вчера на меня снизошло озарение. Я написала файл robots.txt к SEOблондинке.

Долго думала и собиралась с мыслями. Очевидная необходимость наступила, когда увидела в Панели вебмастера Яндекса, что на SEOблондинке копятся ошибки, которые выдает робот при индексировании сайта.

Где-то прочитала, что если при индексации сайта будет много ошибок, то это тоже может стать причиной бана сайта Яндексом. С той логики, что робот не может корректно проиндексировать сайт.

Правда это или нет, я не знаю, честно говоря не было желания проверять. Да и меня саму бесили эти ошибки. И вот вчера, основательно полазив по той же самой панели Вебмастера Яндекса, нашла там интересный тестер этого самого файла robots.txt.

В верхнее поле вводишь условия, какие планируешь прописать в robots.txt, в нижнее – ставишь ссылочки. Нажимаешь “Проверить” и смотришь, всё ли индексируется так, как тебе нужно. :)

Я поступила следующим образом. Скопировала ссылки на ошибки индексации, это оказались ссылки типа:

http://www.seoblondinka.ru/ wp-trackback.php?p*
http://www.seoblondinka.ru/ wp-includes/***.xml
http://www.seoblondinka.ru/ ?cat*
http://www.seoblondinka.ru/ ?tag*
http://www.seoblondinka.ru/ ?paged*
http://www.seoblondinka.ru/ ?page_id*
http://www.seoblondinka.ru/ ?p*

http://www.seoblondinka.ru/?m*

http://www.seoblondinka.ru/ ?feed=rss2
http://www.seoblondinka.ru/ ***/trackback/
http://www.seoblondinka.ru/ xmlrpc.php?rsd

И сделала файл с таким текстом:

User-agent: Yandex
Disallow: /wp-*
Disallow: /?*
Disallow: /*/trackback/
Disallow: /xmlrpc.php?rsd
Sitemap: http://www.seoblondinka.ru/ sitemap.xml.gz

Проверила. Вроде всё нормально. То, что нужно, чтобы индексировалось – робот Яндекса видит. То, что что не нужно – не видит. Залила файл на сайт. Теперь жду переиндексации. Робот заходил ко мне недавно, два дня назад. Поэтому подождать придется какое то время, но это уже мелочи.

На следующие сайты буду сразу делать файл robots.txt. Не такой большой, конечно.

В случае с SEOблондинкой большая часть неправильно проиндексированных ссылок (те, что выделены зеленым), образовалась из-за поздно включенного ЧПУ.

Кстати, забыла сказать, вдруг кто соберется скопировать мой вариант файла. Если у Вас ЧПУ НЕ включено, не копируйте себе ссылки, выделенные зеленым!!! А то вы попросту запретите весь свой сайт к индексации. О_о

Это мне уж так пришлось с файлом извращаться, после двух попыток включения ЧПУ.

Ведёте блог? Зайдите по ссылке: ShowBlogs.ru – социальная сеть для блоггеров!

2leep.com