ЭНЦИКЛОПЕДИЯ СОВРЕМЕННОГО САЙТОСТРОЕНИЯ

Гугл блокирует страницы

Тема в разделе "Продвижение в Google", создана пользователем Влад12, 23 авг 2016.

  1. Влад12

    Влад12 Пользователь

    Сообщения:
    99
    Рейтинг:
    6
    Репутация:
    +1 / 0 / -0
    Ситуация заключается в следующем:
    В гугле находится мой робот.тхт, где указаны параметры. Не так давно заметил, что во вкладке "Заблокированные страницы" начали сильно увеличиться количество заблокированных. Причем их рост идет с каждым днем.

    Это все при том, что блокировка идет из-за того, что в робот.тхт, ДРУГОГО сайта стоит блокировка для гугла.

    Вопрос. С какого перепуга гугл использует чужой роботс для работы с моим сайтом? Притом что это касается не 1 моего сайта, сразу 2.

    Логи облазил, все нормально, вирусов нет.
     
    Последнее редактирование модератором: 4 сен 2016
  2. Виктор

    Виктор Пользователь

    Сообщения:
    66
    Рейтинг:
    6
    Репутация:
    +5 / 0 / -0
    Гугл хочет прочить полностью каждый элемент страницы, в том числе рекламные блоки, для того, чтобы понять, как пользователь видит страницу. Соответственно, у вас стоит, скорее всего, рекламный блок на джаве, который запрещен к индексации, поэтому и ругается на "сторонний сайтмап" рекламного блока. Я пробовал открывать и закрывать для гугловского робота рекламные блоки, но изменений не заметил.
     
    Последнее редактирование модератором: 24 сен 2016
  3. Алекс

    Алекс Эксперт

    Сообщения:
    144
    Рейтинг:
    84
    Репутация:
    +34 / 0 / -0
    @Влад12, я раньше тоже ломал голову, думая, почему же блокировка страниц происходит из-за файла robots.txt, но с обретением опыта, в сервисе Google Web Master открыл для себя интересную вкладку Индекс Google -> Заблокированные ресурсы. Когда вплотную занялся этим вопросом, выяснилось, что мой robots.txt, сам блокирует файлы JS и CSS, необходимые для нормальной работы поискового робота Google, из-за чего тот не может закончить индексацию некоторых элементов страницы и просто блокирует их.

    про.jpg
     
    Последнее редактирование модератором: 26 сен 2016