Ситуация заключается в следующем: В гугле находится мой робот.тхт, где указаны параметры. Не так давно заметил, что во вкладке "Заблокированные страницы" начали сильно увеличиться количество заблокированных. Причем их рост идет с каждым днем. Это все при том, что блокировка идет из-за того, что в робот.тхт, ДРУГОГО сайта стоит блокировка для гугла. Вопрос. С какого перепуга гугл использует чужой роботс для работы с моим сайтом? Притом что это касается не 1 моего сайта, сразу 2. Логи облазил, все нормально, вирусов нет.
Гугл хочет прочить полностью каждый элемент страницы, в том числе рекламные блоки, для того, чтобы понять, как пользователь видит страницу. Соответственно, у вас стоит, скорее всего, рекламный блок на джаве, который запрещен к индексации, поэтому и ругается на "сторонний сайтмап" рекламного блока. Я пробовал открывать и закрывать для гугловского робота рекламные блоки, но изменений не заметил.
@Влад12, я раньше тоже ломал голову, думая, почему же блокировка страниц происходит из-за файла robots.txt, но с обретением опыта, в сервисе Google Web Master открыл для себя интересную вкладку Индекс Google -> Заблокированные ресурсы. Когда вплотную занялся этим вопросом, выяснилось, что мой robots.txt, сам блокирует файлы JS и CSS, необходимые для нормальной работы поискового робота Google, из-за чего тот не может закончить индексацию некоторых элементов страницы и просто блокирует их.