ЭНЦИКЛОПЕДИЯ СОВРЕМЕННОГО САЙТОСТРОЕНИЯ

Лучшее Боты для наполнения сайта

Тема в разделе "Другие инструменты разработчика", создана пользователем Kucheryaviy_e, 12 май 2017.

  1. Kucheryaviy_e

    Kucheryaviy_e Веб-мастер

    Сообщения:
    100
    Рейтинг:
    41
    Род занятий:
    Копирайтер, web-программист
    Откуда:
    Россия
    Репутация:
    +6 / 0 / -0
    Работал я как-то над одним сайтом. Индексировался он относительно быстро, но меня всегда удивляло, как быстро успевают утащить контент. Только загрузишь, а он уже не уникальный. И выходит, будто я его украл.
    Я нашёл сайт, на котором теперь красовались мои статьи. Посещаемость была большая, индексировался он быстро. Воровать контент с такой скоростью мог только бот. Да и украдены они были слово в слово.
    Тогда я решил пойти на хитрость - стал грузить себе шлаковые статьи, напичканные ссылками на мой сайт. Как только статью крали, я удалял её со своего сайта.
     
    Последнее редактирование: 12 май 2017
    • Удачная идея [+] Удачная идея [+] x 1
  2. Jonny

    Jonny Гуру Команда форума Администратор

    Сообщения:
    751
    Рейтинг:
    143
    Репутация:
    +137 / 0 / -0
    Забавное решение.

    Я на своих сайтах использую пингование поисковых систем, при появлении нового контента.
     
  3. Вадим

    Вадим Пользователь

    Сообщения:
    15
    Рейтинг:
    17
    Репутация:
    +1 / 0 / -0
    @Kucheryaviy_e, глупости всё это. Вас поисковые системы могут обвинить в клоакинге.

    Работайте над ускорением индексации сайта и для этого я могу вам дать несколько советов:
    • Создайте карту сайта для Google (sitemap) в формате xml.
    • Добавьте сайт и XML-карту сайта в Вебмастер Гугла и Яндекса
    • Создайте html - карту сайта в 1 клике от главной страницы, на которой находятся ссылки на все страницы вашего сайта.Если страниц слишком много - разбейте html - карту сайта на несколько страниц.
    • Сделайте трансляцию материалов сайта в RSS-ленту. Подключите свою RSS-лету к каталогам, которые позволяют это сделать.
     
  4. Alex-Kelevra

    Alex-Kelevra Гуру

    Сообщения:
    451
    Рейтинг:
    143
    Род занятий:
    Спасатель
    Откуда:
    ЛНР
    Репутация:
    +63 / 1 / -1
    @Kucheryaviy_e, да, со шлаком - это перегиб. Если сайт проиндексируют с этими статьями Пс до того, как бот их скопирует и вы успеете их удалить, то рискуете накликать беду.
    Я когда-то находил свои тексты в сети на мертвых одностраничниках. Само-собой без ссылки на авторство. Обидно, досадно...
     
  5. Jonny

    Jonny Гуру Команда форума Администратор

    Сообщения:
    751
    Рейтинг:
    143
    Репутация:
    +137 / 0 / -0
    Что же тут досадного. Если они были мертвые то и вреда от них никакого.
     
  6. Alex-Kelevra

    Alex-Kelevra Гуру

    Сообщения:
    451
    Рейтинг:
    143
    Род занятий:
    Спасатель
    Откуда:
    ЛНР
    Репутация:
    +63 / 1 / -1
    @Jonny, задевает честолюбие... :oops:
    я написал, а они сперли, опубликовали у себя и не подписали меня как автора:bawling:
     
  7. Abricosj

    Abricosj Пользователь

    Сообщения:
    34
    Рейтинг:
    22
    Репутация:
    +4 / 0 / -0
    У меня также контент воровал бот. Очень помогло то, что у меня в RSS-ленте (от фидбернера) под каждым анонсом стояло примерно такое: «Запись впервые появилась на сайте таком-то (мой сайт) 20 мая 2017 года в 20час.30 мин.17 сек.» А на сайте-воре тоже в RSS-ленте время стояло на минуту-две позже. Я написала на хостинг этого сайта. Мой контент убрали у них, и еще извинения принесли. Так что наличие RSS может помочь. Вообще, ничем нельзя пренебрегать: поставил статью – и раскидывай куда можно, по всем соцсетям, в группы и прочее.
     
  8. Kucheryaviy_e

    Kucheryaviy_e Веб-мастер

    Сообщения:
    100
    Рейтинг:
    41
    Род занятий:
    Копирайтер, web-программист
    Откуда:
    Россия
    Репутация:
    +6 / 0 / -0
    Так-то оно так, но это было лишь временное решение, потому что тогда получить более быструю индексацию не получалось именно из-за таких вот воришек.