Незаменимый для парсинга гем Mechanize, эмулирующий браузер, по умолчанию поддерживает только обычные прокси. Широкой общественности известен факт, что для подключения к Tor-сайтам используется SOCKS5, который организуется через Privoxy. Этот пост повествует как заставить Mechanize подключиться к Tor-сайтам.
читать полностью →
Нездоровая тенденция хостеров отказываться от Fedora заставляет меня изучать CentOS. А точнее, запоминать новые способы установки того или иного ПО, слезы находят, когда вспоминаешь всеобъемлющие репозитории Fedora.
читать полностью →
Я тут приобрел новый аппарат и поэтому возникла необходимость установить туда ОС со всеми примочками заново, и я решил раз уж обновляться, то поставлю все новое и собственно поставил свою любимую Fedora x64 последней 13-ой версии (на старой машине стояла 11-я).
Чтобы не конфигурировать все прикладное ПО заново я просто копировал конфиги со старой машины. И сегодня вдруг обнаружил, что мой privoxy не пашет как надо т.е. старый конфиг под privoxy 3.0.10 и меньше ей не подошел, и новую актуальную конфигурацию и весь процесс установки я опишу здесь. Напомню, что все что здесь будет описано 100% подходит только для Red Hat Linux’ов, возможно это подойдет и для других, однако такие варианты не тестировались. читать полностью →
Сам простой способ перебора, избегающий бан – брутфорсить через прокси/соксы.
Однако, для этого приходиться искать прокси или покупать их. Первое нам не подходит т.к. публичные прокси долгие и быстро умерают, а второй не каждый может себе позволить.
Наверное, для многих не секрет, что существует еще один способ – использование ‘луковой маршрутизации’.
Для передачи пакета через ‘луковый маршрут’ используют программу Tor.
Это система, позволяющая устанавливать анонимное сетевое соединение, защищенное от прослушивания. Рассматривается как анонимная сеть, предоставляющая передачу данных в зашифрованном виде. Более подробно про Tor можно прочитать здесь.
Далее я рассмотрю использование tor’а для брутфорса email’ов по протоколу POP3. читать полностью →
копирование сложноформируемого HTTP-запроса или как накрутить голосование
Сейчас трудно найти более-менее популярный сайт, где бы важные для сайта, запросы (голосование, подтверждение перевода денег итд ) формировались через переданные сервером в явном виде данные. Подобные действия со стороны администрации и программистов сайта ясны – они хотят максимально усложнить процесс копирования запроса браузера.
Обычно для усложнения данных запроса на клиентской стороне используеться JavaScript и как правило этот скрипт не так уж легко понять (200-1000 строчек хрензнаеткакнаписанного кода):
- сервер посылает гипер-текстовую страницу с вкраплениями JS и исходных данных
- JS обрабатывает переданные в явном виде данные и формирует из них данные для верификации запроса
- браузер дает запрос серверу с целевыми аргументами и аргументами для верификации запроса
- сервер анализирует полученные данные верификации запроса и если они удовлетворяют требованиям, то обрабатывает целевые
Мой способ обойти подобные сложности не претендует на изящность или сверхскорость, однако он рабочий и более-менее универсальный, а самое главное не придеться разбирать JS. Далее я опишу этот способ на примере накрутчика голосования.
читать полностью →