[

пятница, 25 января 2013 г.

Установка и настройка phpdaemon на девственно чистом debian squeeze

Появилась необходимость поднять WebSocket сервер, а так как проет пишется на php, то тут особых вариантов и не было - phpdaemon. Немного погуглив нашел сравнительную статью Нагрузочное тестирование: Node.JS vs phpDaemon. Результаты порадовали и было решено попробовать это чудо (скажу только, что пока нареканий нет, la упал на порядок + разгрузили fcgi воркеров).

Установка Debian

Установочный образ debian-6.0.6-amd64-netinst.iso
При установке выбрал: Сервер SSH, Стандартные системные утилиты

Требования phpdaemon

Ставить будем из репо, по-этому необходим git:
# apt-get install git

Новый phpdaemon (от 23 января 2013) требует php 5.4. Поставить можно так (взято с serverfault http://serverfault.com/questions/404815/how-can-i-upgrade-php-to-a-higher-version-for-debian-squeeze):
# echo "deb http://ftp.ru.debian.org/debian/ wheezy main non-free contrib" >> /etc/apt/sources.list

# cat >> /etc/apt/preferences <<EOF
Package: *
Pin: release n=squeeze
Pin-Priority: 650

Package: *
Pin: release n=wheezy
Pin-Priority: -10
EOF

apt-get update
apt-get install -t wheezy php5-cli php5-dev php-pear

Из требований самого phpdaemon:
# apt-get install -t wheezy libevent-dev
# pecl install https://bitbucket.org/osmanov/pecl-event/downloads/event-1.0.0.tgz<
# echo "extension=event.so" > /etc/php5/conf.d/event.ini

# pecl install channel://pecl.php.net/proctitle-0.1.2
# echo "extension=proctitle.so" > /etc/php5/conf.d/proctitle.ini

# cd /usr/src/
# git clone https://github.com/zenovich/runkit.git
# cd runkit/
# pecl install package.xml
# echo "extension=runkit.so" > /etc/php5/conf.d/runkit.ini

# pecl install eio
# echo "extension=eio.so" > /etc/php5/conf.d/eio.ini

Стоит проверить наличие следующих модулей:
# php -m | grep pcntl
# php -m | grep shmop
# php -m | grep sockets

Установка phpdaemon

Репо на github: https://github.com/kakserpom/phpdaemon

Ставим:
# cd /opt/
# git clone https://github.com/kakserpom/phpdaemon.git

Настройка phpdaemon

Конфиги лежат в /opt/phpdaemon/conf/ и /opt/phpdaemon/conf/conf.d/, я предпочитаю их в /etc/phpdaemon/.

Копируем конфиги:
# mkdir /etc/phpdaemon
# cp /opt/phpdaemon/conf/phpd.conf.example /etc/phpdaemon/phpd.conf
# cp /opt/phpdaemon/conf/AppResolver.php /etc/phpdaemon/
# cp -rp /opt/phpdaemon/conf/conf.d /etc/phpdaemon/

AppResolver.php служит для роутинга приложений (но! не для WebSocket. для WS ws://server/RouteForAppName).

Правим основной конфиг /etc/phpdaemon/phpd.conf:
user www-data;
group www-data;
  
max-workers 1;
min-workers 1;
start-workers 1;
max-idle    0;
  
# logging-related
logevents       1;
logqueue        1;
logreads        1;
logsignals      1;
verbose         0;
verbosetty      0;
  
# apps search
appfilepath '{app-*,applications,/var/www/apps-phpdaemon}/%s.php';

# apps routing
path '/etc/phpdaemon/AppResolver.php';

# Pools
Pool:WebSocketServer {
    enable 1;
    listen '0.0.0.0';
    port 8047; 
}
  
Pool:HTTPServer {
    enable 1;
    listen '0.0.0.0';
    port 8080;
    expose 1;
}
  
# Apps
# для фоллбэка на http если клиент не поддерживает websocket 
WebSocketOverCOMET {
    enable 1;
}

# Для теста доступности по HTTP
Example {
    enable 1;
}

# Для теста WS с фолбэком на comet и longpolling
ExampleWebSocket {
    enable 1;
}

# прочие конфиги/приложения
#include conf.d/*.conf

Есть один нюанс: пул WebSocketServer должен быть в конфиге до пула HTTPServer, так как на данный момент при инициализации HTTPServer получает инстанс WebSocketServer. Если последнего нет, то он создается, но не пул а отдельный сервер. Если указано несколько воркеров, то только первый сможет сделать бинд для сокета WS.

appfilepath - параметр для поиска приложений. Наши приложения будут лежать в /var/www/apps-phpdaemon/. Параметр передается в glob() так:
if (class_exists('Daemon', false) && isset(Daemon::$config->appfilepath->value)) {
    $files = glob($g = sprintf(Daemon::$config->appfilepath->value, str_replace('_', DIRECTORY_SEPARATOR, $classname)), GLOB_BRACE);
    if (isset($files[0])) {
        require $files[0];
        return;
    }
}

Создадим папку для наших приложений:
# mkdir /var/www/apps-phpdaemon/

Поправим роутер приложений (/etc/phpdaemon/AppResolver.php), чтобы дать доступ к приложению ExampleWebSocket:
- if (preg_match('~^/(WebSocketOverCOMET|Example)/~', $req->attrs->server['DOCUMENT_URI'], $m)) {
+ if (preg_match('~^/(WebSocketOverCOMET|Example|ExampleWebSocket)/~', $req->attrs->server['DOCUMENT_URI'], $m)) {

Тестовый запуск

Запуск:
# php /opt/phpdaemon/bin/phpd start

В файле phpd в качестве интерпретатора указан /opt/bin/php, поэтому нужен запуск в виде php /opt/phpdaemon/bin/phpd.

Проверяем, что все "взлетело":
# ps aux | grep phpd
root     24225  0.5  1.3  95520  6968 ?        SNs  14:15   0:00 phpd: master process                                                                                                           
www-data 24226  0.3  1.4  96040  7272 ?        SN   14:15   0:00 phpd: IPC process                                                                                                              
www-data 24227  0.5  1.6  96592  8196 ?        SNl  14:15   0:00 phpd: worker process                                                                                                           
root     24230  0.0  0.1   7572   868 pts/0    S+   14:16   0:00 grep phpd

# netstat -ntpa | grep phpd
tcp        0      0 0.0.0.0:8047            0.0.0.0:*               LISTEN      24225/phpd: master 
tcp        0      0 0.0.0.0:8080            0.0.0.0:*               LISTEN      24225/phpd: master 


Если теперь вбить в браузере http://server-address:8080/ExampleWebSocket/ то должны увидеть следующее.

Кнопка Create WebSocket инициирует соединение, Ping - отправляет запро, Close WebSocket - закрывает соединение.

Посмотреть пакеты WS (в хроме) можно щелкнув на соответствующий запрос на установку WS соединения.



Остановить phpdaemon можно так:
# php /opt/phpdaemon/bin/phpd stop

init скрипт (из репо не подходит для squeeze), ротация логов и прочее - на ваше усмотрение.

Постскриптум

Где-то по ходу пропустил зависимость и у меня поставился apache, хотя он и не нужен в данном случае и может только мешать, если HTTPServer phpdaemon будет слушать на 80м порту.

понедельник, 26 ноября 2012 г.

Формат hostname в URI

Периодически возникает вопрос как должен выглядеть REGEXP для domainname. Вот спецификация (пока  только BNF):


hostname      = *( domainlabel "." ) toplabel [ "." ]
domainlabel   = alphanum | alphanum *( alphanum | "-" ) alphanum
toplabel      = alpha | alpha *( alphanum | "-" ) alphanum

Взято из RFC: http://www.ietf.org/rfc/rfc2396.txt

PS: to be continued...

вторник, 23 октября 2012 г.

Замена табов на пробелы в VIM

Способов много, но больше всего понравился из комментария вот тут: http://stackoverflow.com/questions/426963/replace-tab-with-spaces-in-vim

:retab

Табы будут заменены на пробелы в соответствии с текущими настройками.

PS: после этого, возможно, захочется поправить отступы. это можно сделать так: gg=G. В командном режиме. Дословно это значит "перейти в начало файла, сделать реформатирование текста до конца". = сработает и в режиме выделения.

воскресенье, 7 октября 2012 г.

Стриминг IP камеры с сайта

Как делал

Есть IP камера производства AXIS. Она отдает RTSP и MJPEG. Надо live стримить ее поток с сайта через какой-нибудь flash плеер.

Пошел по привычному пути - ffmpeg. У них есть сервер для стриминга - ffserver.

Скажу сразу, что с RTSP намучился вусмерть! С MJPEG все оказалось проще.

Покопавшись с форматами и контейнерами уяснил, что далеко не все контейнеры можно стримить. Можно, например, FLV или ASF. Так как наша цель flash, взял FLV.

Далее надо было конвертировать. Как оказалось параметры надо указывать в настройках ffserver, а ему поток можно скармливать через ffmpeg, например.

Конфиг ffserver:
Port 8888
BindAddress 0.0.0.0

# другие опции...

# Конфигурация feed - входящий видеопоток
<Feed cam1.ffm>
    File /tmp/cam1.ffm
    FileMaxSize 10M
    # скармливать видео можно только с данной машины
    ACL allow 127.0.0.1
</Feed>

# Конфигурация выходного потока
<Stream cam1.flv>
    Format flv
    Feed cam1.ffm
    VideoCodec flv
    # без +global_header live stream не получится
    AVOptionVideo flags +global_header
    # для простоты в выходном потоке должно быть столько же кадров в секунду
    # сколько в входном, иначе картинка _может_ рассыпаться
    VideoFrameRate 25
    VideoBitRate 1000k
    VideoSize 512x384
    # нас интересует только видео
    NoAudio
</Stream>

Запуск ffserver (в конфиге по умолчанию стоит опция NoDaemon а лог выдается в stdout):
/path/to/ffserver -f /path/to/ffserver.conf

Все сервер работает... но ничего не стримит, так как на вход ничего не подается. Команда для забора нашего MJPEG с камеры и перенаправление его в feed ffserver:
/path/to/ffmpeg -f mjpeg -i http://login:pass@cap_ip/mjpg/video.mjpg http://localhost:8888/cam1.ffm

Перед указанием выходного файла никакие параметры указывать не надо - они берутся из конфига фида в ffserver.conf и будут проигнорированы.

Для проверки сделал тестовую страницу с плеером:
<html>
<head>
<title>Test IP Cam</title>
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1/jquery.min.js"></script>
<script src="/flowplayer/flowplayer-3.2.11.min.js"></script>
<script>
$(document).ready(function(){
    flowplayer("player", "/flowplayer/flowplayer-3.2.15.swf");
});
</script>
</head>

<body>
<a id="player" style="display:block;width:512px;height:384px;" href="http://ffserver_ip:8888/cam1.flv"></a>
</body>
</html>

Что дальше

А дальше это бы гнать в h264 (контейнер F4V). Беда в том, что конфиг файл ffserver не понимает presets и все параметры надо указывать через AVOptionVideo/AVOptionAudio.

воскресенье, 15 июля 2012 г.

Конвертирование видео для iPad new с ffmpeg

ffmpeg компилировал сам (если не забуду - выложу команды из хистори).


/opt/ffmpeg/bin/ffmpeg -y -i <in_file> -vcodec libx264 -acodec libfaac -f mp4 <out_file>.mp4

PS: поддерживаемые форматы нашел тут: http://www.isoftcoupon.com/tutorial/the-new-ipad-3-video-formats.html

вторник, 13 марта 2012 г.

Пометка элемента как просмотренного с jquery

Скрипт-игра. не скажу где используется и на что похоже;) Но это чудо эффективно может определить виден ли элемент клиенту (в текущем viewport'е) и как-то его отметить.

Собственно, листинг тестовой версии:

<html>
<head>
<title>TEST :: is element visible in viewport</title>

<script language="javascript" type="text/javascript" src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js"></script>

<script>
/*
 * Получение текущего вьюпорта:  координаты верхнего левого угла и ширина с высотой
 */
function current_viewport()
{
 var w = $(window);
 
 return {
  "left": w.scrollLeft(),
  "top": w.scrollTop(),
  "width": w.width(),
  "height": w.height()
 };
}


/*
 * Проверка находится ли объект во вьюпорте
 *
 * paddings = {
 *     "left": ...,
 *     "top": ..., 
 *     "right": ...,
 *     "bottom": ...
 * }
 * эффективно увеличивают размеры объекта. по умолчанию 0
 */
function in_viewport(selector, paddings)
{
 var el = $(selector);
 var off = el.offset();
 var dim = {
  "width": el.width(),
  "height": el.height()
 };
 
 if(!paddings)
 {
  paddings = {
   "left": 0,
   "top": 0,
      "right": 0,
      "bottom": 0
  };
 }
 
 var viewport = current_viewport();
 
 return (
  (off.top - paddings.top) >= viewport.top &&
  (off.left - paddings.left) >= viewport.left &&
  (off.top + dim.height + paddings.bottom) <= (viewport.top + viewport.height) &&
        (off.left + dim.width + paddings.right) <= (viewport.left + viewport.width)
 );
}

/*
 * Помечает объект-ответ, как прочтенный
 */
function mark_as_read(obj)
{
    $(obj).css({
        "border": "1px solid #eeeeee"
    });
    $(obj).data('is_read', true);
}


$(document).ready(function() {
 
 // паддинги для проверки попадает ли объект во вьюпорт
 var paddings = {
        "left": 0,
        "top": 0,
        "right": 0,
        "bottom": 0
    };
 
 for(var i = 0; i < 40; i++)
 {
  $('<div class="ticket_reply"></div>').css({
   "height": "100px",
   "margin-bottom": "20px",
   "border": "1px solid blue"
  }).appendTo('body');
 }
 
 var replies = $('.ticket_reply');
 
 replies.each(function(i) {
  // отметим видимые при загрузке
  if( in_viewport(this, paddings) )
     mark_as_read(this);
 });
 
 // зарегистрируем проверку прочтения сообщений по скроллингу
 $(window).scroll(function() {
  replies.each(function(i) {
   if( !$(this).data('is_read') && in_viewport(this, paddings) )
       mark_as_read(this);
  });
 });
 
});
</script>

</head>
<body>

</body>
</html>

За основу взят вот этот пост на stackoverflow: http://stackoverflow.com/questions/123999/how-to-tell-if-a-dom-element-is-visible-in-the-current-viewport

суббота, 24 декабря 2011 г.

Django 1.4 alpha release

На днях писал о кастомных фильтрах в админке: http://readability-counts.blogspot.com/2011/12/django-admin-listfilter.html. Все оказалось не совсем так - я смотрел trunk репозитория. И вот вышла Django 1.4 alpha с новой фичей, описанной в моем предыдущем посте. Там еще много всего интересного - изучайте!