Всем привет,
меня зовут Катерина Турбина, профессионально занимаюсь SEO оптимизацией сайтов
более 5 лет, также рекламой AdWords.
Сегодня хочу
вам рассказать о важности составления файла robots.txt, его тщательности
проработки и внимательности, что б чего не упустить.
И так,
например сайт автозапчастей, посмотрели и увидели – в индексе более 30 000
страниц. Возможно, ничего удивительного бывают и сайты с большем количеством «полезных» станиц. Но нет, это оказался не тот вариант, на
сайте реально около 1000 товаров.
Особенности сайтов автозапчастей
Многие из
них имеют просто огромное количество фильтров, по марке машины, по модели, по году выпуска той же модели, по
материалу из чего изготовлена деталь или показать все товары определенного
бренда или все моторы одного бренда и много-много прочего. Также важно учесть
что одна и та же запчасть может по разным фильтрам клиенту выдаться.
В общем это
нужно и полезно для покупателя, что бы отобрать все же ту деталь которая «станет»
в его автомобиль. А Google все ети
страницы чудеснейшим образом индексирует.
Почему я рекомендую убирать такие страницы поиска по фильтрам из индекса:
- потому что это все дубли, в итоге то откроется товар, но вот не по пути меню, а по пути фильтров;
- робот Google прочитает что контент то дублированный и выдавать не будет как некачественные страницы.
Допустим вот
нормальный путь к товару
site.com/products/ac-r02-gazovij-reduktor-propan-na-120ks-komplekt
А вот по фильтрам:
site.com /products?category=61&brand=14&filter=filter/ac-r02-gazovij-reduktor-propan-na-120ks-komplekt
site.com/products?category=61&brand=14&filter= filter&211=136+%D0%BA.%D1%81/ac-r02-gazovij-reduktor-propan-na-120ks-komplekt
Что бы
выявить какие URL адреса закрыть файлом robots.txt рекомендую использовать программы: Xenu,
ScreamingFrogSEOSpider, Netpeak Spider.
Вот что
получилось в результате правильно составленного файла robots.txt для
интернет-магазина автозапчастей
Теперь все внимание поискового робота Google сконцентрировано на целевых страницах.
Что важно это
благоприятно сказалось на выдачу юзерам целевых корректных страниц, что повысило рост трафика.
Задавайте
вопросы, пишите на почту и в Skype,
контакты справа около моей фотографии.
