Зачем массово качаются сайты? Сходу можно указать две причины. Кому-то Ваш сайт очень понравился и этот “кто-то” нашел на нем много полезной для себя информации. Вот и хочется человеку сделать себе локальное “зеркало” этого сайта, для того, чтобы не выходя в Интернет как следует изучить информацию на нем.

В другом случае кто-то также нашел сайт интересным, но не в плане информативности, а в плане заработка. Такие субъекты, массово выкачивая сайты со структурой каталогов, медиа-контентом и прочим содержимым, создают потом “зеркала” этого сайта в Сети на каком-то ином хостинге, а проще говоря, крадут сайт целиком чтобы на этом потом заработать.

Уверен, что ни одному владельцу сайта не будет легче ни от первой причины, ни, тем более, от второй, когда его сайт начинают копировать подчистую. Как минимум, это процесс доставляет технические неудобства. Появляется излишняя нагрузка на сервер, расходуется излишний трафик, а если трафик этот в лимите, то еще и излишние деньги за превышение лимита трафика. Обычно веб-мастера, видя как нещадно с их сайта выгружаются один за одним страницы со скоростью, с которой нормальный человек не может серфить по сайту, опускают руки и оставляют все на самотек. Ведь если посмотреть с другой стороны, как-бы если твой сайт кто-то решил скопировать, значит он у тебя действительно полезен. Можно вроде бы этим гордиться?

Нет. Гордость отодвинем на второе место. Ведь мы же не станем гордиться, если у нас угонят машину, думая, какая же классная была она у нас, раз ее решили угнать. Будем пытаться защищаться.

Но, от воровства контента 100% средств защиты нет И это аксиома! Хотя… Вообще, такая защита есть - Вам попросту не стоит выкладывать в Сеть то, чего опасаетесь, что у Вас украдут… Если бы все владельцы сайтов боялись кражи контента, в сети Интернет информационных веб-ресурсов не существовало бы в принципе.

Идею написать материал по этой теме, а также реализовать защиту для live.daemony.org от тотального скачивания мне “подбросил” один из посетителей из сетей Укртелекома, который вчера вечером с IP адреса 92.113.86.1X3 пытался выкачать страницы этого блога программой HTTrack (судя по User-Agent). Адрес я забанил в .htaccess, но IP Укртелеком выдает динамические и такая защита - всего временная “затычка”. Я отправился гуглить на тему соответствующего решения появившейся проблемы.

Честно говоря, нагуглил не очень много. Готовых, действительно стоящих решений я не нашел. То ли народ проблемой выкачивания сайтов вовсе не озабочен, то ли я плохо искал. Примеры, которые я нашел, мне показались малоэффективными, а некоторые вроде “банить по User-Agent” - извините, меня глупыми. Ведь не секрет какие программы используются для скачивания сайтов. Типичные примеры - TeleportPro, Offline Explorer, ДискоКачалка, да и тот же HTTrack. Все эти программы в своих настроках позволяют переиначить агента, а многие уже по-умолчанию используют что-то типа “Internet Explorer 6.0“. Потому, решил ковырять тему самостоятельно. А вдруг что-то и получится.