...

Hinemos と Pica8スイッチの OpenFlow/SDNソリューション

by user

on
Category: Documents
15

views

Report

Comments

Transcript

Hinemos と Pica8スイッチの OpenFlow/SDNソリューション
Agenda
NCL Communications K.K
・会社概要
Hinemos World 2012 講演: Bトラック【B-1】
1. ネットワーク仮想化に求められるキーワード
Hinemos と Pica8スイッチの
2. SDN/OpenFlowのメカニズム
OpenFlow/SDNソリューション
3. Hinemos 仮想ネットワーク管理オプション
NCL Communications K.K
4. NCLCが提供するSDN/OpenFlow アプリケーション例
エヌ・シー・エル・コミュニケーション株式会社
事業推進室 古田島 昭弘 (akihiro kotajima)
Copyright© 2012 NCL Communications K.K
NCLコミュニケーション 会社案内
NCLC の SDN/OpenFlow への取り組み
NCL Communications K.K
NCL Communications K.K
2012.3
ONF(Open Networking Foundation) 参画
2012.3
米 Pica8社と代理店契約締結 (日本国内初)
2012.4
Open Networking Summit (米Santa Clara)参画
2012.6
INTEROP Tokyo 2012 OpenFlow Show case 出展 & 講演
社名
:エヌ・シー・エル・コミュニケーション株式会社
(英文名) NCL Communications K.K.
設立
: 1986年3月13日 (昭和61年)
資本金
: 1億1,620万円
役員
: 代表取締役
取締役副社長
取締役
従業員数
: 28名 (平成24年8月現在)
NTT Data 社等とSDNデモンストレーション実施
所在地
: 〒107-0052
東京都港区赤坂2-17-22 赤坂ツインタワー本館 10F
03-6229-8711 (代表)
Pica8 採用(10台)Show case ラック内で最大数のOpenFlowスイッチ
主要事業内容
: IT製品の輸入・販売・保守・プロダクトインテグレーション
ならびにシステムインテグレーション
主要取引先
: (順不同、 敬称略)
テクマトリックス株式会社 (TechMatrix Corporation)
(株)インターネットイニシアティブ, (株)アクシオ, (株)NTT データ,
東証2部上場
伊藤忠テクノソリューションズ(株),ウチダエスコ(株),
クロス・ヘッド株式会社
NECフィールディング(株), NTT コミュニケーションズ(株),
沖縄クロス・ヘッド株式会社 (Okinawa CROSS HEAD Co.,Ltd)
(株)NTT データシステムズ,東日本電信電話(株), (株)大塚商会,
GIX沖縄株式会社
(株)沖電気カスタマアドテック,沖電気工業(株),
(株)JALインフォテック, SCSK(株), セコムトラストシステムズ(株),
ソニーマーケティング(株), ソフトバンクBB(株), ダイワボウ情報システム(株),ディーアイエスソリューション(株), 東京大学,
東芝情報機器(株), 日商エレクトロニクス(株), 日本IBM(株), ネットワンシステムズ(株), パナソニック(株), (株)日立国際電気,
富士ソフトサービスビューロ(株), 富士通(株), 三井情報(株), 三菱電機(株), 三菱電機インフォメーションシステムズ(株),
ユニファイドコミュニケーションズ(株), テクマトリックス(株), クロス・ヘッド(株), 他
関根 尚
松崎 光典
長 正三 (クロス・ヘッド代表)
Copyright© 2012 NCL Communications K.K
グループ会社一覧
2012.7
Pica8 OpenFlow/SDN 日本語 Blog 開始
2012.8
OSS OpenFlow Controller 「Trema」プログラミングガイドブック配布開始
2
2012.8.28 仮想ネットワークソリューションについてNTT データ社と提携開始
*2012年10月31日現在、大学、データセンターを中心に20サイトでの
OpenFlow実証実験・試験導入Projectが進行している。
*2012年11月までに上記を含む約30サイトでのPica8 OpenFlowスイッチの導入が決まっている。
3
Copyright© 2012 NCL Communications K.K
4
クラウド基盤として期待される仮想ネットワーク
NCL Communications K.K
仮想ネットワークの実現が待ち望まれる背景
大規模で複雑なネットワークの運用マネジメント
~ 高コストと限界 ~
・ 複雑すぎるネットワークプロトコル
・ メーカークローズドな機器仕様、インターフェース
・ 高コスト
クラウドコンピューティングの進展 ~ NW技術の後進性 ~
1. ネットワーク仮想化に求められるキーワード
・ 仮想マシン。仮想ストレージ。仮想ネットワーク?
・ ネットワークにおける技術イノベーションの停滞傾向
・ ネットワークがボトルネックへ
NCL Communications K.K
標準的なインターフェースによる柔軟で拡張性の高い仮想ネットワークの実現が望まれる。
すなわち、OpenFlow による、Software Defined Network である!
5
Copyright© 2012 NCL Communications K.K
6
Copyright© 2012 NCL Communications K.K
SDN/OpenFlowが実現する仮想ネットワーク
商用サポートが進む各社ToRスイッチ (国内販売モデル)
NCL Communications K.K
NCL Communications K.K
: OpenFlow対応
エッヂ・オーバー・レイ方式
ホップ・バイ・ホップ方式
C社
F社
I社
A社
J社
Pica8社
Pronto 3920
Giga Port
10Gx48p /
40Gx4p
10Gx48p /
40Gx4p
10Gx48p /
40Gx4p
10Gx48p /
40Gx4p
10Gx48p /
40Gx4p
10Gx48p /
40Gx4p
(トンネル方式)
トンネル
トンネル
コントローラ
コントローラ
OpenFlow
OpenFlow
コントローラ
コントローラ
ネットワーク機器
ネットワーク機器
ネットワーク
トンネル制御型
仮想スイッチ
トンネル制御型
仮想スイッチ
VM
VM
VM
VM
OpenFlow
スイッチ
OpenFlow
スイッチ
Switch
Bandwidth
1.28TB
1.28TB
1.28TB
1.28TB
1.28TB
1.28TB
OpenFlow
スイッチ
OpenFlow
スイッチ
Latency
1000 ns以下
700ns以下
(ASF mode)
880 ns
800 – 1200 ns
900ns以下
(cut-through)
1000ns以下
OpenFlow
仮想スイッチ
OpenFlow
仮想スイッチ
Packet Buffer
9MB
9MB
9MB
9MB
9MB
9MB
VM
VM
VM
VM
48 10Gbps SFP+ ports
4 40Gbps QSFP uplink ports
1 10/100/1000 BASE-T management RJ45 ports
1 serial management RJ45 port
<特徴・特性>
<特徴・特性>
◆ VMグルーピングによる仮想NW
◆ 既存環境への導入が容易
◆ ネットワーク経路・帯域制御は不可
◆ 広大なネットワークでのVM間制御が容易
Copyright© 2012 NCL Communications K.K
◆ NW機能とVMによるマルチテナントな仮想NW
◆ OpenFlow対応スイッチの導入が必要
◆ ネットワーク経路・帯域制御が可能
◆ 仮想インフラ基盤のシステム単位管理が可能
Pronto 3920
7
Copyright© 2012 NCL Communications K.K
※1: 設定・稼働状況により変動致します。
※2: flowがTCAMに格納されている場合のL2/L3モードとの比較です。
8
INTEROP TOKYO 2012 実証試験
リアルなSDN/OpenFlow活用の一例 1/2
NCL Communications K.K
NCL Communications K.K
<hinemos>
NTTデータ社との相互接続テストでは、同社の統合運
用管理ソフトウェア「Hinemos」ベースのOFCとの間
で多くのOpenflow制御機能を確認しました。
同社のOFCとは、既に多くの接続実績があります。
Pronto swtich
P-3290 (v1.4.1)
48 1Gbps, 4 10Gbps
「HotStage」
Network
ブロケード社との相互接続テストでは、
Open vSwitchによりコマンド・フロー連携
機能を確認しました。
<UNIVERGE PFシリーズ>
NEC社との相互接続テストでは、同社のOFCで
ある「プログラマブル・フロー・コントローラ」との間で
L2/L3スイッチとしての基本的な機能を確認しまし
た。
その他「HotStage」
参画企業
その他 今回、公表に至りませんでしたが、多数の
メーカ/ベンダ製品との接続確認ができました。
9
Copyright© 2012 NCL Communications K.K
10
Copyright© 2012 NCL Communications K.K
リアルなSDN/OpenFlow活用の一例 2/2
商用OpenFlowコントローラによる仮想ネットワークの実現
NCL Communications K.K
NCL Communications K.K
◆ SDN/OpenFlow化によるメリット
PRONTO Series
・世界12箇所のデータセンタとの10Gリンク接続
・WANリソースのほぼ100%のライン活用が可能
・最適化、最短経路の検索、QoSのダイナミックな制御
・高速化されたOFC(Control Plane)によるパフォーマンスの向上
・必要な機能のみを実装する独自インプリメントが可能
・容易なシミュレーション環境の実装が容易
NCLC社 『Pica8 OpenFlowスイッチ』
NTTデータ社 『Hinemos 仮想ネットワーク管理機能』
論理ネットワーク#A
Hinemos
Internet
L2SW
Internet
L3SW
論理ネットワーク#B
統合運用管理ソフトウェア
仮想ネットワーク管理オプション
・統合仮想化環境でのマルチテナンシー
◆ 導入における課題など
SLB
L2SW
論理ネットワーク#C
仮想インフラ
構築運用
L3SW L3SW
L3SW
・迅速なテナント構築
・OpenFlow仕様への追従 (但し、OpenFlow v1.3でしばらくは安定との声も多い)
・OFCとOFS間のインタオペラビリティが重要 (Pica8 Prontoスイッチは、多くのOFCとの試験に利用されている)
・スケーリングとOFC管理の設計・実装 (ここは開発会社のノウハウとなります)
・OFCの冗長化やレプリケーション、分散コントロール手法
L2SW
L2SW
L2SW
L2SW
L2SW
L2SW
・統合仮想化環境の一元管理
・柔軟なOpenFlow/SDNプラットフォーム
Internet
物理インフラ
運用管理
Googleコメント:
I think it’s going to be a multi-year process, but the message we want to send is it’s at a point now where
it’s incredibly useful and can deliver substantial benefits in a variety of settings.
Pica8 Pronto OpenFlowスイッチ
仮想・物理サーバ群
内部NW
(クライアント)
外部NW
(含むレガシー)
参考 : IT World Canada, How Google's OpenFlow backbone works
Copyright© 2012 NCL Communications K.K
11
Copyright© 2012 NCL Communications K.K
12
OpenFlowのメカニズム ~ コンポーネント ~
NCL Communications K.K
OpenFlowとは、
スイッチ機能から制御部分を切り離し、一元管理させるプロトコルです。
単純なルールによる
パケット転送のみ
パケット処理の
ルールを決定
制御部分
2. SDN/OpenFlowのメカニズム
連携して動作
データパス部分
OpenFlow プロトコル
NCL Communications K.K
OpenFlow
スイッチ
OpenFlow
コントローラ
13
Copyright© 2012 NCL Communications K.K
14
Copyright© 2012 NCL Communications K.K
OpenFlowのメカニズム ~ コンポーネントの役割 ~
OpenFlowのメカニズム ~ パケット処理 ~
NCL Communications K.K
NCL Communications K.K
OpenFlow
コントローラ
存在しない場合、
Packet_inイベントで
コントローラに問合せ
スイッチはパケットの処理方法を
コントローラに問い合わせます。
存在する場合、
対象エントリに従って処理
(スイッチのみで完結)
パケット処理の方法(ルール)は、
フロー・エントリ・テーブルに格納されます。
③
No
マッチする
エントリがあるか?
OpenFlow プロトコル
OpenFlow
コントローラ
Flow Table (OpenFlow v1.0)
処理のルールを
スイッチに連絡
Yes
入力
L1ポート
ソースMAC
宛先MAC
MACタイプ
VLAN ID
OpenFlow
スイッチ
フロー・エントリ・
テーブル
OpenFlow
スイッチ
フロー・エントリ・
テーブル
②
フロー・エントリ・テーブルに
VLAN
プライオリティ
ソースIP
宛先IP
TOS
プロトコル
ソース
L4ポート
適合するルールがあるか確認
①
宛先
L4ポート
そのルールに沿って処理する
各種アクション
パケットを受信
パケット処理のルールは、12個のマッチと各種アクションによって決定(OpenFlow v1.0の場合)。
Copyright© 2012 NCL Communications K.K
15
ルールに沿ってパ
ケットを送信
④
Copyright© 2012 NCL Communications K.K
16
OpenFlowのメカニズム ~ フローエントリー ~
OpenFlowのメカニズム
NCL Communications K.K
NCL Communications K.K
つまり、OpenFlowスイッチの動作はとても単純です...
フローエントリーとは…
パケット処理のルールが記述されている。
入力
L1ポート
ソースMAC
宛先MAC
MACタイプ
VLAN ID
VLAN
プライオリティ
TOS
プロトコル
ソースIP
宛先IP
ソース
L4ポート
宛先
L4ポート
パケット出力
MAC書換え
パケット数
Unsigned INT 32bit
IP書換え
~ Match & Action, Counter ~
L4ポート
書換え
VLANタグ
取り外し
バイト数
Unsigned INT 64bit
etc
入力
L1ポート
ソースMAC
宛先MAC
MACタイプ
VLAN ID
VLAN
プライオリティ
TOS
プロトコル
ソースIP
宛先IP
ソース
L4ポート
宛先
L4ポート
・12個のマッチ条件
パケット出力
・各種アクション
・フロー毎の統計情報
パケット数
Unsigned INT 32bit
IP書換え
L4ポート
書換え
VLANタグ
取り外し
バイト数
Unsigned INT 64bit
etc
アクション
記録
フローエントリで規定しないパケットについては
全てコントローラに問い合わせ
基本的にこの3つの要素からなる
Copyright© 2012 NCL Communications K.K
MAC書換え
パターン・マッチ
17
Copyright© 2012 NCL Communications K.K
18
Hinemos と Pica8スイッチの提携によるメリット
NCL Communications K.K
3. Hinemos 仮想ネットワーク管理オプション
NCL Communications K.K
Copyright© 2012 NCL Communications K.K
19
Copyright© 2012 NCL Communications K.K
20
仮想ネットワーク管理オプションの機能
GUIによる直感的なテナントの定義
NCL Communications K.K
NCL Communications K.K
仮想ネットワークを構成するネットワークノードやサーバ、接続関係を
マウスのドラッグ&ドロップといった直感的な操作によって定義できます。
・統合仮想化環境でのマルチテナンシーの実現
同一の物理リソース上に構成される仮想的なシステム(テナントと呼ぶ)は、互いに独立して
います。テナントの利用ユーザは、他のテナントを意識することなく、従来のシステムと同様に
扱えます。
・迅速なテナント構築
クラウド基盤の運用者は、提供されるGUIを用いて直感的にサーバやネットワークノードを
組み合わせたテナントを設計できます。
設計されたテナントはワンクリックで即座に構築されて、テナントの利用ユーザが使用できる
状態となります。
・統合仮想化環境の一元管理
統合仮想化環境上に構成される仮想的なネットワーク接続(論理リンク)と、実際のクラウド
基盤上の物理リンクをマッピングできます。
一元的な経路制御により、ネットワークの運用で必要となるスイッチのメンテナンスも容易と
なります。
Copyright© 2012 NCL Communications K.K
21
Copyright© 2012 NCL Communications K.K
多彩な仮想ネットワーク構成要素
ジョブ管理機能と連携したテナントの自動構成
NCL Communications K.K
NCL Communications K.K
テナントの構成要素として、レイヤ2スイッチ、レイヤ3スイッチ、物理サーバ、
ロードバランサ、ファイアウォールが利用可能です。
各々に対するIPアドレスなどのネットワーク設定を画面上から設定できます。
定義されたテナント情報に従い、
ワンクリックで仮想ネットワークを自動的に構成します。
VM管理オプションを併用することにより、
仮想サーバ、仮想アプライアンス(ロードバランサ、ファイアウォール)
も利用可能となります。
Copyright© 2012 NCL Communications K.K
22
VM管理オプションを併用することにより、
仮想マシンおよび仮想ネットワークの一貫した構成も可能です。
23
Copyright© 2012 NCL Communications K.K
24
仮想ネットワーク管理オプションの導入イメージ
統合仮想化環境のクラウド基盤におけるネットワーク管理
NCL Communications K.K
NCL Communications K.K
仮想ネットワーク管理オプションパッケージで提供されるインストーラで簡単に構築できます。
仮想化されたネットワークの経路情報を
統合仮想化環境のクラウド基盤にマッピングして把握できます。
Hinemosマネージャ
Package
仮想ネットワーク管理オプション
Package(マネージャ)
(VM管理オプション(XenServer))
XenServer 6.0
仮想スイッチ
(Open vSwitch)
Hinemosクライアント
Package
仮想ネットワーク管理オプション
Package(クライアント)
仮想ネットワーク管理オプション
Package
(仮想ネットワークコントローラ)
OpenFlowスイッチ
(物理スイッチ)
25
Copyright© 2012 NCL Communications K.K
PRONTO Series
Copyright© 2012 NCL Communications K.K
26
商用コントローラであるHinemos(一例)の機能について
NCLCの仮想ネットワークソリューション (一例)
NCL Communications K.K
NCL Communications K.K
◆ 実装されている機能とメリット
PRONTO Series
・最適経路制御、スライサブル、仮想マシン(VM)管理・設定が可能。
・外部アプライアンスのFWやSLBとの連携が可能。
・ほとんどの機能をGUIで実施でき、運用コストの削減(教育・専門スタッフ)が可能。
・多くのタスクをジョブ管理機能にて自動化することが可能。
・統合管理システムとして、レガシーネットワーク環境を含めた管理が可能。
NCLC社 『Pica8 OpenFlowスイッチ』
NTTデータ社 『Hinemos 仮想ネットワーク管理機能』
P-3920
ジョブマップオプション
48 10GE, 4 40GE, 2 PS
155万円
ノードマップオプション
P-3780
Utilityオプション
48 10GE, 2 PS
◆ 実装が望まれる機能など
122万円
・ACL、QoS等のレガシーネットワーク機器に望まれる機能。(OF環境での必要性には疑問もある)
・顧客毎やサービス毎の経路制御や帯域のカスタマイズ機能。
・余剰リソースを発生させないようなネットワーク基盤設計と運用。
・M/C、L1SW、簡易FW・SLB、モニタリング機能等の低価格レンジ機器の対応。
HAオプション
P-3295
仮想ネットワーク管理オプション
48 1GE, 4 10GE, 2 PS
VM管理オプション
P-3290
48 1GE, 4 10GE, 1PS
Hinemos基本ライセンス
36万円
33万円
※ご注意① : 年間保守費用、導入費用、システム保守費用等は含まれておりません。
※ご注意② : 表示金額には、消費税は含まれておりません。
Copyright© 2012 NCL Communications K.K
27
独自開発等のSDN/OpenFlowコントロール環境も望まれている!
Copyright© 2012 NCL Communications K.K
28
米国事例にみる SDN/OpenFlow アプリケーション
NCL Communications K.K
•
•
•
•
•
4. NCLCが提供する
SDN/OpenFlow アプリケーション例
NCL Communications K.K
Network Virtualization
Multi Path
Virtual Patch Panel(L1 SW)
Security
Load balancing
And a lot more
29
Copyright© 2012 NCL Communications K.K
30
Copyright© 2012 NCL Communications K.K
SDN/OpenFlow アプリケーション例 1/2
SDN/OpenFlow アプリケーション例 2/2
NCL Communications K.K
NCL Communications K.K
メディアコンバータ構成
OpenFlowによるL1スイッチング
・同テナントで異なるフロアの場合の接続に使われる構成。
・メディアコンバータと光ケーブルの敷設に多くのコスト。
・提供までの時間もかかり、回収も長期のためリスク大。
rental rack 1/2
for customer #A
・物理I/Fから物理I/Fへの単純なパケット転送を提供。
・顧客間のアドレス、経路、レガシープロトコルに制限なし。
・既存配線を有効活用でき、余剰I/Fは他目的にも利用可能。
・障害時の交換も容易。
rental rack 1/2
for customer #A
backup line (option)
L2/L3 SW #1
M/C
M/C
常に最適な経路を自動決定する最適経路機能
for other customer
backup line (option)
L2/L3 SW #1
UTP
cable
等コストの帯域をフルに利用する
等コストマルチパス機能
OFS
OFS
UTP
cable
MMF
cable
n+1 floor
n+1 floor
n floor
不等コストの帯域を必要に応じて
ダイナミックに変更
MMF
cable
OpenFlow化
n floor
L2/L3 SW #2
rental rack 2/2
for customer #A
UTP
cable
M/C
M/C
backup line (option)
Copyright© 2012 NCL Communications K.K
L2/L3 SW #2
rental rack 2/2
for customer #A
UTP
cable
OFS
OFS
backup line (option)
for other customer
31
Copyright© 2012 NCL Communications K.K
32
NCLCのSDNソリューションのまとめ
NCL Communications K.K
SDNソリューションのパイオニアを目指します。
商用、OSSを問わないOpenFlow基盤
+
SDNアプリケーション開発
TE機能 (マルチパス、経路制御)
最適経路、予約広帯域利用、自動迂回などの最適化の実現
L1スイッチング機能
PRONTO Series
メディアコンバータやパッチパネルのようなL1レベルのエ
ミュレートの実現
FW、SLB、IDS/IPSなどの機能
Hinemo 仮想ネットワーク管理オプション
デモンストレーション
OpenFlow/SDN上の付加価値機能の強化・実装
NCL Communications K.K
マルチOpenFlow制御機能
使途に応じた最適なOpenFlowコントローラの適用・運用
エヌ・シー・エル・コミュニケーション株式会社
事業推進室 古田島 昭弘 (akihiro kotajima)
トータルインテグレーションの実現
・
Copyright© 2012 NCL Communications K.K
33
デモ内容
デモ環境 物理構成図
NCL Communications K.K
NCL Communications K.K
OpenFlowスイッチ
XenServer
・物理環境説明
・スイッチの無効化による迂回
Linux端末
・VMライブマイグレーションの自動追従
共有ディスク
・テナント作成(簡易版)
Hinemosクライアント
Hinemosマネージャ + 仮想ネットワーク管理オプション
(OpenFlowコントローラ)
Hinemos Manager : Redhat 6 64bit 版 で構築
Hinemos Client : Windows Server 2008 R2 で構築
Copyright© 2012 NCL Communications K.K
35
Copyright© 2012 NCL Communications K.K
36
デモテナント(論理ネットワーク)説明
スイッチの無効化による自動迂回
NCL Communications K.K
NCL Communications K.K
192.168.1.21/24
192.168.2.21/24
192.168.3.41/24
Svr2
Svr1
Ext1
192.168.1.11/24
OpenFlow[ネットワークトポロジ]ビューにより、自動迂回を確認します。
192.168.2.31/24
1.ExternalからServer1への物理経路を確認します
2.物理経路上のOpenFlowスイッチをGUI操作で取り外します(経路として利用不可とします)
3.ExternalからServer1への疎通が継続されることを確認します。(pingによる)
4.物理経路を再度確認し、自動的に迂回されたことを確認します
192.168.3.31/24
デモテナント : MigrateDEMO
OpenFlowスイッチ
VM2
VM2
VM1
VM1
Open vSwitch
on XenServer 6.0
Open vSwitch
on XenServer 6.0
Open vSwitch
on XenServer 6.0
Open vSwitch
on XenServer 6.0
OpenFlowスイッチ
Linux端末
192.168.1.11/24
Windows端末
37
Copyright© 2012 NCL Communications K.K
38
Copyright© 2012 NCL Communications K.K
テナント作成
VMライブマイグレーションの自動追従
NCL Communications K.K
NCL Communications K.K
OpenFlow[ネットワークトポロジ]ビューにより、自動追従を確認します。
1.ExternalからSever1への物理経路を確認します。
2.Server1をライブマイグレーションします。
3.ExternalからE1への疎通が継続されることを確認します。(pingによる)
4.物理経路を再度確認し、自動的に追従されたことを確認します。
Svr3
ライブマイグレーション
172.30.2.4/24
172.30.1.3/24
OpenFlowスイッチ
172.30.2.254/24
172.30.1.254/24
VM1
VM1
Svr4
VM2
テナント:Test1
Open vSwitch
on XenServer 6.0
Open vSwitch
on XenServer 6.0
OpenFlowスイッチ
Windows端末
Copyright© 2012 NCL Communications K.K
39
Copyright© 2012 NCL Communications K.K
40
NCL Communications K.K
エヌ・シー・エル・コミュニケーション株式会社
〒107-0052
東京都港区赤坂2丁目17番22号 赤坂ツインタワー本館10階
お問い合わせは...、
事業推進室 古田島 (こたじま)
TEL: 03-6229-8711、 eMail: [email protected]
TEL: 03-6229-8713、 eMail: [email protected]
Copyright© 2012 NCL Communications K.K
41
Fly UP