kamaitachi によるマルチメディアサイトの構築

YAPC::Asia 2010 Tokyo

October 16th, 2010

For english speakers

• Plase use google translate for english version of this slide.
• http://typester.stfuawsc.com/slides/yapcasia2010/
• URL also pasted to #yapcasia-en

About me

• 村瀬大輔
• 面白法人カヤック http://www.kayac.com/

About me

• 村瀬大輔
• 面白法人カヤック http://www.kayac.com/
• TYPESTER

About me

• 村瀬大輔
• 面白法人カヤック http://www.kayac.com/
• TYPESTER
• http://search.cpan.org/~typester/
• http://github.com/typester
• http://twitter.com/typester
• http://facebook.com/typester

kamaitachi とは

kamaitachi とは

• perl 製の FMS

FMS とは？

FMS とは？

• Flash Media Server

FMS とは？

• Flash Media Server
• Flash Player 用のストリーミングサーバー

FMS とは？

• Flash Media Server
• Flash Player 用のストリーミングサーバー
• 独自プロトコル (RTMP)

FMS で何が出来るのか

FMS で何が出来るのか

• Flash Player との永続接続

FMS で何が出来るのか

• Flash Player との永続接続
• Remote Procedure Call (RPC, Remoting)

FMS で何が出来るのか

• Flash Player との永続接続
• Remote Procedure Call (RPC, Remoting)
• Video/Audio の送受信

FMS で何が出来るのか

• Flash Player との永続接続
• Remote Procedure Call (RPC, Remoting)
• Video/Audio の送受信
• 全部1TCPコネクションに混ぜることができる

いまさら FMS?

いまさら FMS?

• HTML5とかWeb Socketとかの時代？

いまさら FMS?

• HTML5とかWeb Socketとかの時代？
• 忍者曰く…

いまさら FMS?

• HTML5とかWeb Socketとかの時代？
• 忍者曰く…
• 「10年後はkamaitachiとかなくなってそう（笑）」

2010年に FMS を使う理由

2010年に FMS を使う理由

• Webカムやマイクのサポート

2010年に FMS を使う理由

• Webカムやマイクのサポート
• それ以外はHTML5などオープンな仕組みにシフトしていけばいい

FMSを使用している実際のサイト

FMSを使用している実際のサイト

• ustream, justin.tv, ニコニコ生放送

FMSを使用している実際のサイト

• ustream, justin.tv, ニコニコ生放送
• Webカムからのライブ配信系

FMSを使用している実際のサイト

• ustream, justin.tv, ニコニコ生放送
• Webカムからのライブ配信系
• こえ部

FMSを使用している実際のサイト

• ustream, justin.tv, ニコニコ生放送
• Webカムからのライブ配信系
• こえ部
• マイクからの録音

FMSを使用している実際のサイト

• ustream, justin.tv, ニコニコ生放送
• Webカムからのライブ配信系
• こえ部
• マイクからの録音
• アメー○ピグ

FMSを使用している実際のサイト

• ustream, justin.tv, ニコニコ生放送
• Webカムからのライブ配信系
• こえ部
• マイクからの録音
• アメー○ピグ
• RPC 機能のみ

kamaitachi とは

• perl 製の FMS

kamaitachi とは

• perl 製の FMS
• AnyEventベース (Danga::Socketから移行)

AnyEvent？

AnyEvent？

• 非同期アプリケーションを書くためのフレームワーク

AnyEvent？

• 非同期アプリケーションを書くためのフレームワーク
• POEみたいなものだけど、POEよりきもくない

AnyEvent？

• 非同期アプリケーションを書くためのフレームワーク
• POEみたいなものだけど、POEよりきもくない
• くわしくは去年のmalaさんのスライドを参照のこと

AnyEvent - Danga::Socketとの違い

• Danga::Socket は epoll, kqueue, select のうすいラッパー
• AnyEvent はより多くのバックエンドに対応
• プログラミング方法自体はそんなに違いはない

AnyEvent - Danga::Socketとの違い

AnyEvent - Danga::Socketとの違い

• ライブラリの充実度

AnyEvent - Danga::Socketとの違い

• ライブラリの充実度
• Danga::Socketのライブラリは実質Gearmanクライアントのみ (Gearman::Client::Async)

AnyEvent - Danga::Socketとの違い

• ライブラリの充実度
• Danga::Socketのライブラリは実質Gearmanクライアントのみ (Gearman::Client::Async)
• AnyEventは…

AnyEvent - Danga::Socketとの違い

• ライブラリの充実度
• Danga::Socketのライブラリは実質Gearmanクライアントのみ (Gearman::Client::Async)
• AnyEventは…
• AnyEvent::HTTP, AnyEvent::Gearman, AnyEvent::JSONRPC, AnyEvent::MPRPC, AnyEvent::XMPP, AnyEvent::IRC

AnyEvent - Danga::Socketとの違い

• ライブラリの充実度
• Danga::Socketのライブラリは実質Gearmanクライアントのみ (Gearman::Client::Async)
• AnyEventは…
• AnyEvent::HTTP, AnyEvent::Gearman, AnyEvent::JSONRPC, AnyEvent::MPRPC, AnyEvent::XMPP, AnyEvent::IRC
• and more 72 distributions on CPAN (2010-10-15現在)

kamaitachi とは

• perl 製の FMS
• AnyEventベース

kamaitachi とは

• perl 製の FMS
• AnyEventベース
• こえ部（ http://koebu.com ）で使用

kamaitachi 以外の選択肢

kamaitachi 以外の選択肢

• 本家FMS

kamaitachi 以外の選択肢

• 本家FMS
• wowza

kamaitachi 以外の選択肢

• 本家FMS
• wowza
• red5

kamaitachi 以外の選択肢

• 本家FMS (ActionScript)
• wowza (ActionScript)
• red5 (Java)

kamaitachi 以外の選択肢

• 本家FMS (ActionScript)
• wowza (ActionScript)
• red5 (Java)
• kamaitachi (Perl!)

使い方

必要知識

必要知識

• 若干のAS3の知識

必要知識

• 若干のAS3の知識
• 若干のRTMPの知識

必要知識

• 若干のAS3の知識
• 若干のRTMPの知識
• AnyEventでのコーディング手法

AS3

AS3

• 環境ないよ＞＜

AS3

• 環境ないよ＞＜
• ブラウザ上でFlashが作れるサービス「Wonderfl」

AS3

• 環境ないよ＞＜
• ブラウザ上でFlashが作れるサービス「Wonderfl」
• http://wonderfl.net/

AS3

• 環境ないよ＞＜
• ブラウザ上でFlashが作れるサービス「Wonderfl」
• http://wonderfl.net/
• 今回のデモは全てここに置きました

AS3

• 環境ないよ＞＜
• ブラウザ上でFlashが作れるサービス「Wonderfl」
• http://wonderfl.net/
• 今回のデモは全てここに置きました
• ローカルでサーバー立ち上げてwonderflを開けば動きます

AS3

FMSへ接続

var nc:NetConnection = new NetConnection();
nc.addEventListener( ... ); // 各種イベント登録

nc.objectEncoding = ObjectEncoding.AMF0;
nc.connect("rtmp://example.com/app_name");

AS3

サーバー側の関数呼び出し

nc.call(
    "method_name",
    new Responder(resultCallback, errorCallback),
    "foo", "bar"
);

AS3

サーバー側からの関数受付

nc.client = this;

public function onMessage(message:String):void {
    // ...
}

AS3

Webカムからの映像を送信

var ns:NetStream = new NetStream(nc);
var camera:Camera = Camera.getCamera();
ns.attachCamera(camera);
ns.publish("channel_name");

AS3

マイクからの音声を送信

var ns:NetStream = new NetStream(nc);
var var mic:Microphone = Microphone.getMicrophone();
ns.attachCamera(mic);
ns.publish("channel_name");

AS3

Webカムからの映像＋マイクからの音声

var ns:NetStream = new NetStream(nc);
var camera:Camera = Camera.getCamera();
ns.attachCamera(camera);
var var mic:Microphone = Microphone.getMicrophone();
ns.attachCamera(mic);
ns.publish("channel_name");

AS3

FMSから映像、音声を再生

var ns:NetStream = new NetStream(nc);
ns.play("channel_name");

AS3との対応

// AS3
nc.connect(...)

// RTMP
connect

# kamaitachi
on_invoke_connect

AS3との対応

// AS3
ns = new NetStream(nc);

// RTMP
createStream

# kamaitachi
on_invoke_createStream

AS3との対応

// AS3
ns.publish(...)

// RTMP
publish

# kamaitachi
on_invoke_publish

AS3との対応

// AS3
ns.play(...)

// RTMP
play

# kamaitachi
on_invoke_play

AS3との対応

// AS3
ns.publish(...)

// RTMP
publish

# kamaitachi
on_invoke_publish

AS3との対応

// AS3
ns.close()

// RTMP
closeStream

# kamaitachi
on_invoke_closeStream

AS3との対応

// AS3
// NetStreamオブジェクトがガベージコレクトされたとき

// RTMP
deleteStream

# kamaitachi
on_invoke_deleteStream

kamaitachi アプリケーション

package MyApp;
use Any::Moose;

extends 'Kamaitachi::Service';

sub on_invoke_connect { ... }
sub on_invoke_play { ... }

:

kamaitachi アプリケーション

• RPC
• on_invoke_{メソッド名} がよばれる
• return したものが関数呼び出しの返値として返る
• レスポンスを遅延したいときは関数は単に return する

kamaitachi アプリケーション

sub on_invoke_sum {
    my ($self, $session, $req) = @_;

    my $res = $req->response(
        undef, $req->args->[1] + $req->args->[2]);

    return $res;
}

kamaitachi アプリケーション

sub on_invoke_sum {
    my ($self, $session, $req) = @_;

    my $t; $t = AnyEvent->timer(
        after => 10,
        cb    => sub {
            my $res = $req->response(...);
            $session->io->write($res);
            undef $t;
        },
    );

    return;
}

kamaitachi アプリケーション

sub on_invoke_sum {
    my ($self, $session, $req) = @_;

    my $t; $t = AnyEvent->timer(
        after => 10,
        cb    => sub {
            my $res = $req->response(...);
            $session->io->write($res);
            undef $t;
        },
    );

    return;
}

kamaitachi アプリケーション

• パケット受信時の関数
• on_packet_{パケットの種類} がよばれる
• 基本 on_packet_video, on_packet_audio だけしっておけばOK

kamaitachi 起動スクリプト

use Kamaitachi;

my $kamaitachi = Kamaitachi->new;
$kamaitachi->add_handler( port => 1935 );

$kamaitachi->register_services(
    'application_name' => 'MyApp',
);

$kamaitachi->run;

kamaitachi 起動スクリプト

use Kamaitachi;

my $kamaitachi = Kamaitachi->new;
$kamaitachi->add_handler( port => 1935 );

$kamaitachi->register_services(
    'application_name' => 'MyApp',
);

$kamaitachi->run;

kamaitachi 起動スクリプト

// AS3
nc.connect("rtmp://example.com/application_name");

定義済みサービス

• connect 処理とか毎回同じことをかくものが多い
• そう言う物をカプセル化した物
• with するだけで動作

定義済みサービス

package MyApp;
use Any::Moose;

extends 'Kamaitachi::Service';

with 'Kamaitachi::Service::AutoConnect';

# on_invoke_connect 定義済み

定義済みサービス一覧 (1)

• Kamaitachi::Service::AutoConnect
• 自動接続
• Kamaitachi::Service::AutoConnectACL
• swfやサイトのページを制限できる
• Kamaitachi::Service::Broadcaster
• つないでいるクライアント全員にパケットを送るための関数提供

定義済みサービス一覧 (2)

• Kamaitachi::Service::Recorder
• パケットをflvとして書き出す関数提供
• Kamaitachi::Service::Streaming
• ustreamタイプのストリーミング機能を提供

実行例

組み込みサンプルサーバー

$ git clone git://github.com/typester/kamaitachi.git
$ cd kamaitachi
$ git checkout anyevent

$ perl -Ilib ./example/server.pl

Example 0, echo

• RPC のデモ
• example/lib/Service/Echo.pm
• http://wonderfl.net/c/vhCd

Example 1, チャット

• RPC のデモ
• example/lib/Service/Chat.pm
• http://wonderfl.net/c/vhCd

Example 2, ライブ配信

• Webカムからのライブストリーミングデモ
• example/lib/Service/LiveStreaming.pm
• 配信 http://wonderfl.net/c/azUL
• 視聴 http://wonderfl.net/c/4a8I

Example 3, ライブ配信の録画

• Webカムからのライブストリーミング録画デモ
• example/lib/Service/LiveStreamingRecorder.pm
• http://wonderfl.net/c/oXj1

AnyEventモジュールの活用

• デモ

Job Worker との連携

• kamaitachi は非同期アプリケーション（AnyEvent）
• kamaitachi アプリケーション内部でブロッキングする処理をいれてはいけない
• そう言う場合はブロッキング処理は外部で行って結果を待つ
• AnyEvent::Gearman + Gearman
• AnyEvent::HTTP + HTTP (Web API)

Job Worker との連携実例

AnyEvent::Gearmanの場合

$gearman->add_task(
    $function => $data,
    on_complete => sub {
        my $res = $_[1];

        ...
    },
);

Job Worker との連携実例

AnyEvent::HTTPの場合

http_get "http://example.com/api/foo", sub {
    my ($data, $headers) = @_;

    ...
};

Job Worker との連携実例

Job Worker との連携実例

• こえ部エフェクター
• 録音した音声にその場でエフェクトがかけられる
• http://koebu.com/upload

Job Worker との連携実例

• こえ部エフェクター
• 録音した音声にその場でエフェクトがかけられる
• http://koebu.com/upload
• デモ

まとめ

まとめ

• kamaitachi は AnyEvent のおかげですごく拡張しやすくなった

まとめ

• kamaitachi は AnyEvent のおかげですごく拡張しやすくなった
• 難しいことをしなければサーバーサイドはexampleをそのまま使うだけでサイト出来ちゃう

まとめ

• kamaitachi は AnyEvent のおかげですごく拡張しやすくなった
• 難しいことをしなければサーバーサイドはexampleをそのまま使うだけでサイト出来ちゃう
• 難しいことをしようとするとRMTPの知識が必要

まとめ

• kamaitachi は AnyEvent のおかげですごく拡張しやすくなった
• 難しいことをしなければサーバーサイドはexampleをそのまま使うだけでサイト出来ちゃう
• 難しいことをしようとするとRMTPの知識が必要
• こえ部ライブ http://koebu.com/live

宣伝

宣伝

• 面白法人カヤックはエンジニアを募集しております！

宣伝

• 面白法人カヤックはエンジニアを募集しております！
• 鎌倉移住キャンペーン中！
• http://www.kayac.com/recruit/kamakura_engineer

宣伝

• 面白法人カヤックはエンジニアを募集しております！
• 鎌倉移住キャンペーン中！
• http://www.kayac.com/recruit/kamakura_engineer
• 求めている人材リアルタイム速報
• http://www.kayac.com/jobs/

ご静聴ありがとうございました！