Об улучшении качества проверки файла robots.txt

Постоянно отслеживая изменения, влияющие на качество поискового продвижения, специалисты IT груп обращают внимание заказчиков на изменения, которые произошли в сервисе Гугл для вебмастеров. Здесь появилась обновленная версия инструмента для проверки файла robots.txt. В связи с этим мы уведомляем пользователей наших веб-студий о начале использования в работе новой функции.
Нововведение, получившее рабочее название robots.txt testing tool, доступно в меню Сканирование Инструмента для вебмастеров от Google. Теперь при создании сайтов любой из наших веб-студий (в Бутово, Климовске и других подмосковных городах) будут максимально полно учитываться результаты, полученные в усовершенствованной функции Crawl (сканирование).

Это позволит не только решить ряд технических проблем, влияющих на продвижение, среди которых обычно самая сложная – поиск директив, ведущих к блокировке конкретных URL в больших по внутреннему содержанию файлах robots.txt. С помощью обновленной версии testing tool можно решать следующие задачи:

•Находить конкретную строку в программном коде, закрывающую от индексации интересующую нас страницу;
•Проверять любые изменения, которые были внесены в файл еще до его загрузки на сервер;
•Просматривать более ранние версии файла и отслеживать запреты на сканирование краулерами.

По рекомендациям от Гугл мы теперь проводим двойную проверку файла robots.txt с использованием дополнительных инструментов, проверяя одновременно страницы с изображениями, скрипты Java и CSS-файлы так, как их видит поисковый робот.