по стопам webkill'а » ruby 1.9

referer-спам

lukmus — Sat, 04 Feb 2012 04:37:36 +0000

Я частенько смотря статистику молодых сайтов или не столь популярных сайтов (типо этого блога), интересуюсь с какого сайта зашли на мой. Хотя бы для того чтобы узнать где размещена молодая ссылка на мой сайт т.к. в статистиках/счетчиках она быстрее зафиксируется, чем в инструментах вебмастера от Яндекса или Гугла. Порой перехожу по этим ссылкам. Ну, а какой URL фигурирует в статистиках, разумеется тот который указан в Referer заголовка HTTP-запроса.
Короче, я думаю, что реферерами в статистике интересуюсь не только я.

Исходя из всего вышесказанного, я считаю, что можно увеличивать посещаемость сайта засчет ссылок в реферерах. Короче говоря, я сделал следующим образом.

почему нужен браузер

Сделать простой скриптик, который бы заходил на все подряд сайты имея при этом в заголовке нужный нам реферер не вариант т.к. он прокатит только в том случае если статистику ведет какой-нибудь серверный скрипт/плагин к CMS итд, в случае если веб-мастер смотрит статистику через всякие JS-ые штуки типа Яндекс.Метрика или Google Analytics, а такой расклад преобладает, наш реферер никуда не запишется т.к. простенький скриптик, мягко говоря, не умеет интерпретировать JavaScript.

Собственно поэтому нам нужен полноценный браузер.

firefox & RefControl

Т.к. я в основном пользуюсь FF, я рассматривал только его.
Изменить заголовок пакета, в том числе и referer, в FF можно миллиардом разных плагинов, но чтобы изменить его 1 раз для всех сайтов и всех запросов больше не заходя в настройки нужен только 1 плагин – RefControl.
Короче, устанавливаем этот RefControl в FF и настраиваем, благо там все элементарно. Лично я настроил так:

И вам тоже советую настроить также, поставить Referer как http://ii.lukmus.ru/.

На этом я и остановился, я также как и всегда лазию по инету, но еще и оставляю ссылку на себя.

автоматический вариант. суперкостыли

Лично я считаю, что сайты, веб-мастера которых смотрят рефереры на свои сайты, лежат здесь, причем на странице где-то больше 300-ой.
Поэтому предлагаю вот такой скриптик на Ruby, который парсит яндекс.блоги и загружает их поочереди в FF.

require 'net/http' 
 
http=Net::HTTP.new('blogs.yandex.ru')
(300..1000).each do |page|
  path="/top/standalone/?page=#{page}"
  resp,data=http.get(path)
  data.scan(/><\/a><a href="(http:\/\/.+?)" title=/i).
    collect{|l| l[0]}.each do |link|
    system("firefox #{link}")
    sleep 10 #время на прогрузку страницы
    system("killall firefox")
  end#each
end#each

Разумеется окно FF будет раздражительно появляться и исчезать на экране, и чтобы сэкономить нервные клетки предлагаю запускать подобные вещи в виртуальной машине.

хэш-несовместимость Rails 3.1.x для REE

lukmus — Fri, 16 Dec 2011 21:48:53 +0000

Судьба заставила вернуться к REE, несмотря на мой последний комментарий. Так вот c приложением написанным на рельсах версии равной или больше 3.1.x при запуске его на REE может возникнуть ошибка с хэшами.

Ошибка имеет следующий вид:

$ rails s
=> Booting WEBrick
=> Rails 3.1.1 application starting in development on http://0.0.0.0:3000
=> Call with -d to detach
=> Ctrl-C to shutdown server
Exiting
/usr/local/lib/ruby/gems/1.8/gems/activesupport-3.1.1/lib/active_support/dependencies.rb:235:in `load': <
path_to_app>/config/initializers/session_store.rb:3:
syntax error, unexpected ':', expecting $end (SyntaxError)
...sion_store :cookie_store, key: '_<app>_session'
                              ^
        from /usr/local/lib/ruby/gems/1.8/gems/activesupport-3.1.1/lib/active_support/dependencies.rb:235:in `load'
        from /usr/local/lib/ruby/gems/1.8/gems/activesupport-3.1.1/lib/active_support/dependencies.rb:223:in `load_dependency'
...

И если открыть тот самый файл, где возникает ошибка, config/initializers/session_store.rb, то в 3-ей строке можно увидеть, что-то типа:

App::Application.config.session_store :cookie_store, key: '_app_session'

Если вдруг кто не знает, то запись вида

a={one: 1, two: 2, three: 3}

в Ruby 1.9.x обозначает хэш, аналогичный

a={:one=>1, :two=>2, :three=>3}

Короче говоря это обычный хэш, только записанный в другом варианте. Ruby 1.8.x не понимает такую запись и выдает ошибку. А поскольку на данный момент REE это Ruby 1.8.7, то ошибке сам Бог велел вылетать.
Исправить ее можно преобразовав все хэши нового вида к традиционному, т.е. например 3-я строка нашего файла должна выглядеть так:

App::Application.config.session_store :cookie_store, :key=>'_app_session'

config/initializers/session_store.rb далеко не единственный файл где Rails 3.1.x формирует новый вид хэша. Исправлять также придеться config/initializers/wrap_parameters.rb, все контроллеры сделанные через scaffold и возможно еще что-то.
Под новоиспеченным хэшем в скаффолдских контроллерах я подразумеваю такие экшены типа:

def index
  @valutes = Valute.all
 
  respond_to do |format|
    format.html # index.html.erb
    format.json { render json: @valutes }
  end
end

И вообще REE мне не нравиться.

xmpp4r/xmpp4r-simple учим русскому

lukmus — Fri, 12 Aug 2011 02:26:39 +0000

Обычно как только сделаешь простейший клиент XMPP через используя гем xmpp4r начинается трабла с русским языком, а точнее со всеми кодировками != ASCII. Т.е. все прекрасно работает до тех пор пока не появится текст не на английском.

Если в коде включен отладчик и код выглядит примерно так:

#coding: utf-8
require 'rubygems'
require 'xmpp4r-simple'
 
include Jabber
Jabber::debug = true
 
jabber = Jabber::Simple.new('login@server.com', 'pass')
loop do
   messages = jabber.received_messages
   #jabber.status(:away,'lets chat')
   messages.each do |message|
     body = message.body #if message.type == :chat
     puts '>'+body
     jabber.deliver(message.from, 'Re:'+body)
   end#each
   sleep 1
end#loop

То и вылетит ошибка примерно такая:

REXML::ParseException #
    /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/rexml/source.rb:214:in `match'
    /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/rexml/source.rb:214:in `match'
    /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/rexml/parsers/baseparser.rb:369:in `pull'
    /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/rexml/parsers/sax2parser.rb:92:in `parse'
    /usr/local/rvm/gems/ruby-1.9.2-p180/gems/xmpp4r-0.5/lib/xmpp4r/streamparser.rb:79:in `parse'
    /usr/local/rvm/gems/ruby-1.9.2-p180/gems/xmpp4r-0.5/lib/xmpp4r/stream.rb:75:in `block in start'
    ...
    Exception parsing
    Line:
    Position: 0
    Last 80 unconsumed characters:

Лечится она еще проще чем предыдущая.
Открываем тот самый /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/1.9.1/rexml/source.rb, находим строку с номером 214 (я там в файле уже понавставлял несколько лишних строчек, поэтому номер может несущественно отличатся):

...
def match( pattern, cons=false )
      rv = pattern.match(@buffer)
      @buffer = $' if cons and rv
      while !rv and @source
...

И приводим этот кусок к виду:

...
def match( pattern, cons=false )
      @buffer=@buffer.force_encoding('utf-8')
      rv = pattern.match(@buffer)
      @buffer = $' if cons and rv
...

Также на всякий случай не помешает вставить в самое начало этого файла строчку:

1	#coding: utf-8

После таких манипуляций у меня все начало корректно работать.

xmpp4r-simple на ruby 1.9.2

lukmus — Fri, 12 Aug 2011 00:07:51 +0000

Не знаю почему такую панику вызвала ошибка гема xmpp4r-simple в ruby 1.9.2 у матерых пользователей Хабра.

Собственно сама ошибка выглядит так:

/usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/site_ruby/1.9.1/rubygems/custom_require.rb:58:in `require': /usr/localrvm/gems/ruby-1.9.2-p180/gems/xmpp4r-simple-0.8.8
/lib/xmpp4r-simple.rb:441: syntax error, unexpected ':', expecting  keyword_then or ',' or ';' or '\n' (SyntaxError)
                   when nil: new_presence.show || :online
                            ^
/usr/local/rvm/gems/ruby-1.9.2-p180/gems/xmpp4r-simple-0.8.8/lib/xmpp4r-simple.rb:442: syntax error, unexpected keyword_when, expecting keyword_end
                   when :unavailable: :unavailable
                       ^
/usr/local/rvm/gems/ruby-1.9.2-p180/gems/xmpp4r-simple-0.8.8/lib/xmpp4r-simple.rb:443: syntax error, unexpected keyword_else, expecting keyword_end
/usr/local/rvm/gems/ruby-1.9.2-p180/gems/xmpp4r-simple-0.8.8/lib/xmpp4r-simple.rb:490: syntax error, unexpected keyword_end, expecting $end
	from /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/site_ruby/1.9.1/rubygems/custom_require.rb:58:in  `rescue in require'
	from /usr/local/rvm/rubies/ruby-1.9.2-p180/lib/ruby/site_ruby/1.9.1/rubygems/custom_require.rb:35:in `require'
	from xmpp.rb:3:in `'

Странно, что никому в голову не пришло проверить ту самую злополучную 441 строку в /usr/local/rvm/gems/ruby-1.9.2-p180/gems/xmpp4r-simple-0.8.8/lib/xmpp4r-simple.rb.

presence = case new_presence.type
when nil: new_presence.show || :online
when :unavailable: :unavailable
else
  nil
end

Ruby 1.9 не понимает case-when, где после условия идет двоеточие. Все что нужно, чтобы исправить этот баг и запустить xmpp4r-simple на Ruby 1.9.x это убрать : и перенести действие за условием на следующую строку.

presence = case new_presence.type
when nil
  new_presence.show || :online
when :unavailable
  :unavailable
else
  nil
end

И теперь, по крайней мере у меня, xmpp4r-simple завелся как литой.

нормальная установка Ruby 1.9 и Rails 3 через RVM

lukmus — Fri, 10 Jun 2011 13:44:17 +0000

Для тех кто не знает, RVM – Ruby Version Manager, это такая штука которая позволяет иметь одновременно вагон разных версий Ruby, причем не только Ruby, а и IronRuby, REE, Rubinius и т.д. и при этом все они будут работать и не конфликтовать.

Все что тут будет сделано делалось на Fedora’х 13 и 15.

установка RVM

Для начала установим Git.

1	# yum install git -y

Далее офсайт RVM рекомендует выполнить не под рутом следующую команду:

$ bash < <(curl -s https://rvm.beginrescueend.com/install/rvm)
Cloning into rvm...
remote: Counting objects: 4986, done.
remote: Compressing objects: 100% (2340/2340), done.
remote: Total 4986 (delta 3224), reused 3588 (delta 1959)
Receiving objects: 100% (4986/4986), 1.63 MiB | 87 KiB/s, done.
Resolving deltas: 100% (3224/3224), done.

Нужно отметить, что в Fedora 15 эта команда действительно сработала и все прошло гладко, однако в Fedora 13 у меня так не получилось. Но не беда, кстати если у вас не установлен curl его надо обязательно поставить, в Fedora 13 можно просто скачать скрипт и запустить его:

1 2	$ wget https://rvm.beginrescueend.com/install/rvm $ chmod u+x rvm && sh rvm

установка Ruby и примочек

После установки RVM можно приступить к установке ruby, gem и прочего.
Устанавливаем Ruby 1.9.2 (перед этим убедитесь что установлен gcc с соответсвующими фишками):

$ rvm install 1.9.2
Installing Ruby from source to: /home/username/.rvm/rubies/
ruby-1.9.2-p180,this may take a while depending on
your cpu(s)...
ruby-1.9.2-p180 - #fetching
ruby-1.9.2-p180 - #extracted to /home/username/.rvm/src/
ruby-1.9.2-p180 (already extracted)
Fetching yaml-0.1.3.tar.gz to /home/username/.rvm/archives
...
$ rvm ruby -v
ruby 1.9.2p180 (2011-02-18 revision 30909) [x86_64-linux]
$ rvm gem -v
1.6.2

Чтобы можно было запускать руби без ‘rvm’ добавляем в конец ~/.bashrc

1	[[ -s "$HOME/.rvm/scripts/rvm" ]] && . "$HOME/.rvm/scripts/rvm"

и перезапускаем консоль.

установка Rails 3

Если попытатся сейчас установить рельсы, то скорее всего произойдет старая история с zlib’ом:

# gem install rails
ERROR:  Loading command: install (LoadError)
    no such file to load -- zlib
ERROR:  While executing gem ... (NameError)
    uninitialized constant Gem::Commands::InstallCommand

Чтобы это исправить сначала установим сам zlib:

1	# yum install zlib zlib-devel

А потом ищем куда RVM кинул сорцы Ruby и компилим zlib вручную:

# find / -name ruby-1.9.2*
...
/home/username/.rvm/src/ruby-1.9.2-p180
...
# cd /home/username/.rvm/src/ruby-1.9.2-p180 && cd ext/zlib
# ruby extconf.rb && make && make install

Теперь можно и установить сами рельсы:

1	# gem install rails

После чего сделать тестовое приложение:

$ rails new wapp
$ cd wapp
$ rails server
Could not find gem 'sqlite3 (>= 0)' in any of the gem
sources listed in your Gemfile.
Run `bundle install` to install missing gems.

Если появилась такая шляпа насчет sqlite3, то разумеется нужно установить этот гем:

1 2	# yum install sqlite-devel.x86_64 # gem install sqlite3

И в конце еще кое-что нужно установить:

# yum install openssl-devel
$ cd /home/username/.rvm/src/ruby-1.9.2-p180
$ cd ext/openssl
$ ruby extconf.rb && make && make install

Ну и еще совсем чуть-чуть (Readline нужен для консоли Rails):

1
2
3

# yum install readline readline-devel
$ cd /home/username/.rvm/src/ruby-1.9.2-p180/ext/readline
$ ruby extconf.rb && make && make install

вуаля

$ rails server
=> Booting WEBrick
=> Rails 3.0.8 application starting in development on
http://0.0.0.0:3000
=> Call with -d to detach
=> Ctrl-C to shutdown server
[2011-06-10 17:36:30] INFO  WEBrick 1.3.1
[2011-06-10 17:36:30] INFO  ruby 1.9.2 (2011-02-18)
[x86_64-linux]
[2011-06-10 17:36:30] INFO  WEBrick::HTTPServer#start:
pid=20796 port=3000

P.S. подробнее о RVM и о том какие чудеса можно с ним творить читайте на оффсайте: https://rvm.beginrescueend.com/