講演資料

計測フロンティア研究部門
超高集積・超広帯域光ネットワーク
～新しいデータセンター技術の実現へ向けて～
産業技術総合研究所
ネットワークフォトニクス研究センター
並木 周
[email protected]
1
計測フロンティア研究部門
講演内容
• 背景：これからのデータセンター
– 課題と光への期待
• 目指すべきシステムイメージと産総研の取り組み
– 超高効率・超広帯域光インタコネクト
– シリコンフォトニクスによる巨大容量光スイッチ
• 今後の展望
– 研究開発の進め方
– 海外の動向
• まとめ
2
計測フロンティア研究部門
ビッグデータ時代へ
Big data will be 50x
from 2010 to 2020
Zettabytes/Year
Most of the data is handled
within the datacenters
8
7
6
5
4
3
2
1
0
within DC
D2D (such as VPN)
Grobal IP DC
Grobal IP non-DC
2011
2012
2013 2014
Year
Big data market will grow
$50B in 2017
50
2015
2016
1
2020
2010
http://www.cisco.com/en/US/netsol/ns827/
networking_solutions_sub_solution.html
http://www.cisco.com/en/US/netsol/ns117
5/networking_solutions_sub_solution.html
J. Gantz and D. Reinsel,
IDC IVIEW, 2012.
http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue
_and_Market_Forecast_2013-2017
3
計測フロンティア研究部門
ビッグデータによる社会貢献への期待
• 災害対策
–
–
–
–
• 社会保障・福祉
災害の予知、予防
被害の最小化
救援作業の効率化
復興支援の補助
– 医療現場の効率化・最適化
– 健康管理
– 介護・生活補助
• 産業支援
• 社会安全
–
–
–
–
– 天候の予想
– マーケティング
– ・・・
伝染病予防
テロ活動の防止
犯罪への対策
渋滞緩和
4
計測フロンティア研究部門
Big Data, Big Computeへ
• 単なるデータ貯蔵・閲覧ではなく、、
• ネットワーク上で、時々刻々と生成される巨大情報
を、リアルタイムに処理するさまざまな機能をおこな
う必要がある
Google型DC＋High Performance Computer
= High Performance Data Center (HPDC)
5
計測フロンティア研究部門
Scales of high performance computers
and data centers
K-computer
2012
Post K-computer
(FX100)
2015
Exa-scale
(K x 100)
2020~2023
Google class Desired
DC* circa 2013 HPDC
Circa 2025
Total number of
nodes
88,128
≧100,000
70,000~
200,000
~300,000
100,000
Number of nodes
per rack
102
216
200~
40 ~ 45
100
Tflop/sec per node
(CPU)
0.128
≧1
2~16
0.15
>2
Bandwidth per link
(Gbps)
40
100
4T
1
>1T
Total link bandwidth
per node (Gbps)
160
2 Tbps
(Optical)
16T?
1~
> 4T
14.1 Pbps
~ 200 Pbps
3.2 Ebps
~ 360
Tbps
~ Ebps
Total NW capacity
6
計測フロンティア研究部門
Switches: photonics vs. electronics
Optical switches
Electrical Switches
Type of switching
Circuit switching
Packet switching
Granularity
Coarse
Fine and flexible
Bandwidth upgradability
Transparent > THz
Transceivers, LSI ~ 100G
Physical I/F
Optical connectors
Transceivers
Energy scaling
< W/port
0.4 nJ/bit (Infiniband)
6 nJ/bit (IP router)
Energy consumption
for 100,000 ports x 10Tbps
< 1 MW
300 MW (Infiniband)
6,000 MW (IP router)
Scalability issue
Number of ports
Moore’s law
QoS
Physically guaranteed
Depends
Control plane
Detached from data plane
Embedded in data plane
Latency (Start up)
~ sub μs - s
< 90 ns
Latency (Transmission)
~ 0 (speed of light)
< 90 ns
Hybrid use is inevitable!
7
計測フロンティア研究部門
HPDC：光による実現のシナリオ
• 電気スイッチがもはやスケールしなくなる。
– 現Infiniband： 100 G X 650ポート = 65Tbps＠0.4nJ/bit
– Post-Moore時代へ向けて、長期的展望に暗雲
• 2025年頃: 光はどのあたりを狙うべきか？
– 光の強みとノード処理能力の向上から最適化すると
– 1-10Tbps
– 100,000-10,000ノードがねらい目
• ソリューションとしては、
– 光スイッチを使う
– WDMインターコネクト（∵１芯のシングルモードファイバ）
8
計測フロンティア研究部門
High Performance DC内Exa-bit/s光ネットワークの実現へ
●シリコンフォトニクスによる超大規模（Exa-bit/s）光スイッチシステムを開発
●波長多重・多値変調による10Tbpsエラスティック光インターコネクトシステム設計
●3-4桁小さなエネルギーで動作するビッグデータ時代の光ネットワークを実現
シリコンフォトニクス・
Exa-bit/sスイッチシステム
波長多重・多値変調
10Tbps光インターコネクト
Memory
cube
データセンター・サーバーラック
CPU
/GPU
Tx
Rx
2.5D-計算ノード
波長分波器 変調器 波長合波器
光ファイバ
・
・
・
波長バンク
（非線形光コム）
 シリコンフォトニクスによる超
小型化・大規模集積
 アモルファスシリコン
３次元光配線
 サーバアーキテクチャ
現状電気スイッチ容量：
～130Tbps → Ebp級sへ
DSP
Comb
source
現在、FS実施中
シリコンフォトニクス集積
現状は、ファイバあたり
～100Gbps
 波長バンク多重方式と多値変調により、帯域が伸縮自在
9
Baud
rate
QAM
数
総帯域
Tbps
20 G
64
7.68
20 G
256
10.24
32 G
64
12.29
56 G
16
14
※偏波多重、波長数：32に対する
計測フロンティア研究部門
シリコンフォトニクスによる波長合分波器
• 反射型AWG
– K. Okamoto, OECC2013, PD2-4
– 構造を工夫して位相誤差を抑制
• 位相シフタ付AWGフィルタ
– 産総研
– 位相シフタで位相誤差抑制・波長可変
– バーニア効果により波長選択性とクロストークを改善
Heaters
PBS
TM (Controlled to be erased)
Tunable filter on
ceramic interposer
Ref-U
AWG-R
AWG-L
Main
Ref-D
K. Suzuki et al,
to be published.
Ref-U
Main
AWG-R
AWG-L
Ref-D
5 mm
Microscope image
20 µm
500 µm
10
計測フロンティア研究部門
エクサビット級スイッチトポロジー
2-stage Fat-tree Switch Fabric for 100,000 nodes
450x450
450x450
450x450
225 switches
450(d)
450x450
450x450
450x450
450x450
450 switches
duplex 225 ports
simplex 450 ports
Total: 101250 CPU nodes
• A 450x450 SW consists of 96 32x32 SWs.
• A total of 64,800 32x32 SWs.
• Each port can carry a bandwidth of 10 Tbps.
11
VICTORIES拠点におけるシリコンフォトニクス光スイッチ開発
2015
Electrodes
2014
2013
産総研SCRシリコンフォトニクス
製造基盤技術
32×32
MOSFET
Monolithic
integration
Packaging
Latch circuits
2012
PILOSS
4×4, 8×8
CMOS 12’ line
(Immersive ArF lithography)
2011
8×8 modules
4×4
Pol. diversity
VICTORIES拠点について詳しくは、
www.aist-victories.orgを参照のこと
世界最小 光マトリックススイッチ
8×8 PILOSS TO-SW module
Suzuki et al.,
PD2.D.2, ECOC2013
32×32 PILOSS TO-SW（OFC2015発表予定） 11mm x 25 mm
10mm
K. Tanizawa et al., Proc. OFC 2015, M2B.5.
計測フロンティア研究部門
今後の研究開発の進め方について
• ポストムーア時代における計算機の飛躍的高性能化には、「光
スイッチ」を持ち込むシナリオが重要
– 光スイッチを使いこなすアルゴリズムないし資源管理の議論とセット
– 計算機アーキテクチャから光デバイスまでの総合的最適化が重要命題
• エクサビット（10Tbps x 100,000ポート）への挑戦
– 最先端光デバイス集積・実装技術を集結し、この挑戦的目標を達成する
まで「飛躍的に」高めなければならない
– 光デバイスのビジネス環境は厳しく、個別民間企業の研究開発力では
難しい
– 散在する光デバイス技術・リソースを集約し、持続的かつ飛躍的発展可
能な、新しい体制を構築する必要がある。
14
計測フロンティア研究部門
この1年で急速に展開するハードウェア
・アーキテクチャに関する海外の動向
•
•
•
•
•
•
•
IntelのRack Scale Computing
FacebookのOpen Compute Project
IBMのExtremely Shrinking Computing
HPの”The Machine”
UCBのFireBox
MITのCTR Consortium
皆同じようなことを考えている：キーワードは、Disaggregation
– ３D実装された非常にパワフルなノード（計算機、メモリ、ストレージ）
– 超広帯域光インターコネクト
– 光スイッチによるネットワーク
• ただし、コンセプト先行で、実質的技術開発はこれから
15
計測フロンティア研究部門
Integrated Photonics Manufacturing Institute
(IPMI)
• オバマ大統領が、$200Mil.投じるシリコンフォトニク
ス製造技術開発プロジェクト
– 2014年10月3日にアナウンス
– 現在、1次審査中
– アメリカに、産学官連携のシリコンフォトニクスの公的ファ
ンドリを構築（マッチングファンド）
– シリコンフォトニクスによる、次世代データセンター、サー
バーへ搭載する光インターコネクト技術
– 目指すは、「Revitalizing American Manufacturing and
Innovation (RAMI)」
16
計測フロンティア研究部門
シリコンフォトニクスファブ動向
• 海外： フルスペックファンドリが数か所存在
– R&D: IMEC (Belgium), LETI (France), IME (Singapore)..
– Commercial: FreeScale, GF, STM
• 日本： 小規模/限定サービスのファンドリしかない
– R&D： 産総研、NTT-AT
• 海外ファブのコントロールは難しく、新しいデバイス開発に向けた設計力
差別化を実現することが困難
• シリコンフォトニクスだけでは不十分。化合物半導体や新しい実装技術な
ど、日本が強みとして有する光デバイス製造技術の総合力が重要
光デバイスの世界的ワンストップファブの構築が必須
17
計測フロンティア研究部門
まとめ
• ビッグデータ時代を支える新しい情報通信インフラ技術として、
HPDCをどう実現するのか、考える時期に来ている
• ポストムーアにおいて計算能力の飛躍的向上を目指すには、エク
サビット級光ネットワーク技術の開発が鍵
• 産総研は、シリコンフォトニクス技術を用いて光スイッチなどを開
発しており、IMPULSEプロジェクトで、FSを実施中
• HPDC実現には、
1. デバイス技術を最大限活用するアーキテクチャの見直し
2. 光デバイス技術の総力をファブとして結集する必要がある
• この動きには、アメリカが先行。日本としての対応が喫緊の課題
であり、産総研が中心となって光デバイス関連企業などと議論を
はじめつつある
18