распределенность

Эта TDS распределенная т.к., как вы уже догадались, может располагатся на нескольких независимых друг от друга серверах, а точнее на 2-х. Все дело в том, что она состоит из 2-х частей:

1. модуль определения региона и ведения логов
2. модуль управления (главный) или сам интерфейс TDS

Помимо этого существует еще 3-я функциональная часть, которая располагается у клиента т.е. у нашего трафа.

минимальная нагрузка

Да, вы не ослышались, данная TDS практически не создает нагрузку на сервер БД, а на WEB-сервер нагрузка, небольше чем на простенький сайтик из тех, что размещают на narod.ru.

клиентская часть

Если вдруг кто-то, использовал lukmuTDs предыдущих версий, то он знает, что в ней все делится на схемы (schemas), цели (aims) и сайты (sites). В меню сайты задаются, по желанию, сайты откуда идет траф, в целях – куда пойдет траф, и в главном меню задаются сами схемы потока трафика, т.е. из какого сайта на какую цель/цели пойдет трафик, в каких количествах, какой браузер и регион.

Так вот, основная ресурсоемкая задача – определить какой схеме принадлежит запрос. В предыдущих версиях этим занималась TDS, в результате чего были постоянные обращения к БД.

Теперь все не так, после создания всех схем БД больше не нужна и обращений к ней от трафика не будет. Все дело в том, что теперь схему и цель определяет сам браузер т.е. трафик сам себя обрабатывает. А если подробнее, то выбор за трафик осуществляет JavaScript, который загружается в браузер.

Но, тогда возникает резонный вопрос – как генерируется JavaScript, вся информация о схемах записывается в БД, значит при генерации скрипта задействуется БД тем самым нагрузка на БД не снижается. А вот и нет, JS генерируется только один раз, после того как вы создали или изменили схему, сайт или цель. После этого JS кэшируется и когда трафик запрашивает JS, он выдается из кэша без какого-либо обращения к БД и минимальном участии PHP, что в данном случае равносильно запросу обычной статической HTML странички.

модуль определения региона

Этот модуль при больших объемах трафика (свыше 500 000 запросов) желательно разместить на отдельном хостинге, при меньших объемах можно оставить и на том же сервере что и главная часть.

Он представляет из себя один PHP-скрипт и директорию с файлом, куда будут ненадолго записыватся запросы. Его необходимо будет отдельно сконфигурировать, но об этом ниже.

Как видите здесь вообще нет БД, а все участие PHP описывается на 40 строчках, с учетом комментариев. Т.е. в данном случае нагрузка на сервер так же не далека от выдачи статической страницы.

основной интерфейс TDS. модуль управления

Интерфейсная часть по сравнению с прошлыми версиями потерпела серьезные изменения. Обращения к БД происходит только в 2-х случаях:

• при изменении схемы, сайта или цели
• при обновлении статистики

Для первого случая, все итак понятно – трафик стабильно идет, покупатели надежные, деньги капают – ничего менять не надо – обращений к БД нет.

Что касается статистики, то частоту ее обновления вы настраиваете сами. Поставите 1 час – про БД вообще забудите, поставите 30 сек – хостинг вас забанит. Короче, частота настраивается cron’ом т.к. скрипт обновления будет запускатся именно им, при гигантском трафе нормальныи будет 20-30 минут, если трафик не превышает 30-50к то можно поставить и 5 минут.

интерфейс

Как я уже говорил, интерфейс изменился. Самым главным новшеством является возможность множественного выбора целей, иначе говоря, создания параллельных потоков трафика.

параллельность и объединение

Зайдем в меню схемы и увидим

возможность выбрать для одного потока несколько целей, несколько сайтов и группы регионов и браузеров. Насчет сайтов, регионов и браузеров я думаю все понятно, ничего сверхъестественного тут нет. А вот с групповой политикой целей разберемся.

В предыдущих версиях TDS перенаправляла трафик на цель обычным редиректом, сейчас же все не так. Как уже говорилось выше, во-первых теперь этим занимается не TDS, а JavaScript из кэша, а во-вторых теперь нет редиректов, а есть формирование HTML-страницы с таким количеством iframe’ов, какое заданно в схемах, а точнее сколько целей задано на конкретную схему.

процентное деление потока

Как видно на предыдущем скрине, теперь трафик можно разделять т.е. не паралельно пускать, а именно делить. Чтобы это понять надо либо прочитать про интерфейс предыдущих версий, либо читать далее.

Схема для запроса из потока выбирается в соответсвии с позицией схемы в меню т.е. представим:

1. идет запрос на сайт, где стоит ифрейм на TDS
2. TDS выдает из кэша JS
3. JS просматривает все схемы сверху вниз и выбирает схему с наивысшей позицией, которой удовлетворяют характеристики запроса (рефер, регион, браузер)

Допустим запрос из потока трафика не удовлетворил первой схеме, тогда он проверяется второй. Пусть он удовлетворил 2-й и если во 2-й схеме процент 100%, то на этом выбор закончен. Если же процент скажем 50%, в таком случае на помощь идет теория вероятности.

Сейчас я расскажу очень простой принцип, однако, не все знают что он носит имя метод Монте-Карло. Так вот, если процент отличен от сотни, то генерируется случайное число от 0 до 100 и если процент больше либо равен случайному числу, то трафик идет по выбранной схеме, в противном случае он будет дальше перебирать схемы. Именно поэтому рекомендуется в качестве последней схемы ставить например google.com-ALL-ALL-ALL-100%.

Так же в схемах есть управляющие кнопки:

• редактировать
• удалить
• поднять вверх
• остановить
• обнулить статистику

И кнопка ‘поднять вверх’ служит именно для поднятия приоритета схемы, короче для того, что я описал выше.

меню promo

Как и раньше в promo выдаются ссылки и криптованные ссылки на TDS т.е. те которые нужно вставить в захваченый сайт. Однако теперь ссылки делятся на 2 категории:

1. JAVASCRIPT LINKS
2. PHP LINKS

Такое разделение объясняется тем, что они ведут на разные обработчики трафика TDS. Так как lukmuTDs v1.1x может работать в 2-х режимах:

1. как раньше т.е. трафик обрабатывается TDS (PHP LINKS)
2. по-новому т.е. трафик обрабатывается JS из кэша (JAVASCRIPT LINKS)

Как и раньше ссылки представляются в 3-х видах:

1. естественный
2. закриптованный методом Packed
3. закриптованный методом Packed и облаченный в ASCII-коды, дабы не было никаких ковычек (часто нужна, когда ссылка на TDS вставляется не в файл, а в БД)

На дне страницы есть еще форма, куда можно вбить свою ссылку и оттуда она выйдет закриптованной и облаченной в ASCII.

установка и конфигурация

установка

Здесь я рассмотрю установку на 2 сервера, установка на 1 сервер происходит аналогично.

1. кидаем на первый сервер (geo) скрипт geo.php и папку logs
2. выставляем права 0777 на logs и на файл, внутри папки (по умолчанию kju_log)
3. все остальное кидаем на главный сервер с TDS
4. дамп БД импортируем из файла с дампом (lukmutdsv1.11.sql)
5. выставляем права на папку cache 0777

конфигурация

GEO-сервер

Отворяем файл geo.php и видим в начале файла:

//config
$key="key_which_2_auth_on_geo";
$statfile="logs/kju_log";
//===================

$key – ключ, по которому основной модуль TDS будет синхронизироватся с GEO. Вбиваем туда бессмысленные набор букв и цифр.

$statfile – путь до файла-лога.

основной модуль TDS

Открываем config.php и видим:

define('inc_dir',$_SERVER['DOCUMENT_ROOT']."/includes/");
define('ua_pass',md5("this_is_random_symbols")); //user-agent pass
define('uauth',false); // user-agent auth on/off
//js-cookies
define('ltds2c','this_is_random_symbols');
define('uniqc','this_is_random_symbols_too');
//geo
define('geo_location','http://path2.site.with.geo.com/geo.php');
define('geo_key','key_which_2_auth_on_geo');

Константа ua_pass – ключ авторизации по header’у браузера, ее можно выключить если в константе uauth выставить false (по умолчанию так и стоит).
Константы категории js-cookie – рудимент от версии 1.10 (данная версия 1.11), однако его все равно надо заполнить какими-нибудь символами.
geo_location – путь до geo.php, geo_key – ключ для сбора статистика, указываем то что забили в geo.php.

Теперь открываем includes/db_config.php и настраиваем доступ к БД:

$db_host="localhost";
$db_user="tds_db_user";
$db_pass="tds_db_pass";
$db_name="tds_db_name";
$sol="a_lot_of_random_symbols";
$sol_pass="a_lot_of_random_symbols_too";
$db_type="mysql";
$db_host="localhost";

Заполняем пользователя, пароль, имя и хост БД. Затем придумываем соли.

Теперь осталось только поставить в cron’е запуск скрипта getstat.php и частоту его запуска.

TDS готова. Заходим на сайт с TDS и регистрируемся, после чего заходим в TDS.

Скачать lukmuTDs v1.11.

P.S. а ведь была еще и lukmuTDs v1.1. У нее статистика считалась по AJAX’ому отстуку, но как показала практика такая стата не реалистична т.к. не смотря на то что ajax-вый запрос отправлялся на хост с которого был загружен JS-скрипт (обычная метода обхода ограничения xmlhttprequest на тот же домен, что и страница) не многие браузеры все же отправляют запрос.

патч для lukmuTDs v1.11

Скачать: http://www.sendspace.com/file/jp749m
Исправлена ошибка в работе getstat.php, когда запускается от cron’а. В config.php введен новый параметр – полный путь к директории TDS.

lukmuTDs v.1.111

Скачать: http://www.sendspace.com/file/bgv6ak

Исправлена ошибка в обновление последнего визита с сайта.

установка

1. закачиваем архив (ссылка на скачку внизу) на сервер и распаковываем его.
2. в архиве вы увидете файл lukmutds.sql – это дамп базы, через phpMyAdmin восстанавливаем базу.

конфигурация

1. файл config.php не трогаем!
2. открываем файл /includes/db_config.php и видим:
   $db_host="localhost";
$db_user="";
$db_pass="";
$db_name="";
$sol="u9h79yf479fhuihdsuifyhdsu";
$sol_pass="9f8y3u48f9uh34uiojf8j3";
$db_type="mysql";

   Первые 4-ре, я думаю, понятны всем.  $sol_pass – соль при записи пароля пользователя в БД, $sol – соль для кукисов. Короче в соли надо напихать всякой чертовщины, 20-30 символов.

эксплуатация

Для начала нужно зарегистрироватся. Для этого нужно пройти по ссылке register – /index.php?pl=register.

После того как вы зарегистрировались и зашли. Вы попадаете на меню схем. Вообще там есть 4 меню:

• schemas – схемы
• aims – цели т.е. сайты куда будет направлятся трафик
• sites – сайты откуда будет идти трафик
• promo – здесь выдается iframe и обычная ссылка

Сначала надо заполнить меню sites, там все просто и интуитивно понятно. Далее таким же образом заполняем цели – aims.

Теперь можно приступать к схемам:

1. нажимаем кнопку ‘add new’
2. в выпадющем списке выбираем цель (aim)
3. выбираем сайт или оставляем ALL (любой сайт)
4. выбираем страну (geo) или оставляем ALL (любая страна)
5. выбираем браузер (agent) или оставляем ALL (любой браузер)
6. нажимаем кнопку ‘add new’, если хотите добавить еще схему или ‘save all’ для сохранения

По нашей схеме трафик попадет на целевой сайт (aim) если он удовлетворит всем условиям т.е. рефу, сайту откуда пришел (site), стране происхождения (geo) и браузеру (agent).

Важно понимать, что схемы анализируются сверху вниз т.е. допустим у нас есть такие схемы:

1. google.com <-> ALL <-> US <-> MSIE
2. yahoo.com <-> ALL <-> ALL <-> MSIE
3. yandex.com <-> ALL <-> ALL <-> ALL

тогда все, кто с США и у кого браузер Internet Explorer попадут на google.com, те кто остался и у кого браузер также IE, но им не посчастливилось родится в Пендостане пойдут на yahoo.com. И только те кто не попал на гугл и яху пойдут на яндекс т.е. у кого не IE и не US.

В меню схем еще есть 2 пиктограммы: edit и drop – соответственно править и удалить схему. Праве пиктограмм расположен счетчик, показывающий количество переходов по схеме.

минусы

Главный минус – определение региона трафика осуществляется через запрос к внешнему сайту. Это можно исправить, если вести свою базу, периодически обновляя ее cron’ом.

Второй недочет – регулярные выражние для URL, используемое при добавление сайта в aims и sites. Поменять регулярку можно в lib.php в функции url_reg_exp().

Скачать TDS можно здесь (LukmuTDs v 1.000).

LukmuTDs v 1.001 17.09.2010

Скачать: http://www.sendspace.com/file/zerwqc

Исправления:

• дамп БД
• INSERT SQL-inj в to.php (функция fix_traf())
• PHP-inc

LukmuTDs v 1.002 22.09.2010

Скачать: http://www.sendspace.com/file/xf526i

Изменения:

• интерфейс панели ‘схемы’
• заменена система определения местоположения на WorldIP

Добавлено:

• статистика уникального трафика
• возможность менять порядок схем

LukmuTDs v 1.003 28.09.2010

Скачать: http://www.sendspace.com/file/jdnjmz

Добавлено:

• Панель ‘sites’
  • IP и время последнего посещения сайта
• Панель ‘schemas’
  • обнуление статистики
  • остановка/возобновление работы схемы
• Панель ‘promo’
  • обфусцированный iframe в виде ASCII-кодов (полностью отсутствуют любые кавычки)
• Общее
  • время сервера и IP пользователя

Закрыто:

• SQL-inj в смене порядка схем. В предыдущей версии пользователь TDS мог поменять порядок схем другого пользователя.

LukmuTDs v 1.0031 21.10.2010

Скачать: http://www.sendspace.com/file/mkmyf1
Добавлена авторизация по User-Agent. Чтобы ее включить или выключить в файле config.php нужно обозначить константу uauth как true или как false соответственно. Пароль задается константой ua_pass в этом же файле.