Боты для наполнения сайта

Работал я как-то над одним сайтом. Индексировался он относительно быстро, но меня всегда удивляло, как быстро успевают утащить контент. Только загрузишь, а он уже не уникальный. И выходит, будто я его украл.
Я нашёл сайт, на котором теперь красовались мои статьи. Посещаемость была большая, индексировался он быстро. Воровать контент с такой скоростью мог только бот. Да и украдены они были слово в слово.
Тогда я решил пойти на хитрость - стал грузить себе шлаковые статьи, напичканные ссылками на мой сайт. Как только статью крали, я удалял её со своего сайта.

 

@Kucheryaviy_e, глупости всё это. Вас поисковые системы могут обвинить в клоакинге.

Работайте над ускорением индексации сайта и для этого я могу вам дать несколько советов:

• Создайте карту сайта для Google (sitemap) в формате xml.
• Добавьте сайт и XML-карту сайта в Вебмастер Гугла и Яндекса
• Создайте html - карту сайта в 1 клике от главной страницы, на которой находятся ссылки на все страницы вашего сайта.Если страниц слишком много - разбейте html - карту сайта на несколько страниц.
• Сделайте трансляцию материалов сайта в RSS-ленту. Подключите свою RSS-лету к каталогам, которые позволяют это сделать.

 

@Kucheryaviy_e, да, со шлаком - это перегиб. Если сайт проиндексируют с этими статьями Пс до того, как бот их скопирует и вы успеете их удалить, то рискуете накликать беду.
Я когда-то находил свои тексты в сети на мертвых одностраничниках. Само-собой без ссылки на авторство. Обидно, досадно...

 

@Jonny, задевает честолюбие...
я написал, а они сперли, опубликовали у себя и не подписали меня как автора

 

У меня также контент воровал бот. Очень помогло то, что у меня в RSS-ленте (от фидбернера) под каждым анонсом стояло примерно такое: «Запись впервые появилась на сайте таком-то (мой сайт) 20 мая 2017 года в 20час.30 мин.17 сек.» А на сайте-воре тоже в RSS-ленте время стояло на минуту-две позже. Я написала на хостинг этого сайта. Мой контент убрали у них, и еще извинения принесли. Так что наличие RSS может помочь. Вообще, ничем нельзя пренебрегать: поставил статью – и раскидывай куда можно, по всем соцсетям, в группы и прочее.

 

Так-то оно так, но это было лишь временное решение, потому что тогда получить более быструю индексацию не получалось именно из-за таких вот воришек.