Comments
Description
Transcript
Network Diagrams of WIDE Backbone
Network Diagrams of WIDE Backbone 櫨山寛章 ([email protected]) 堀場勝広 ([email protected]) 中村 遼 ([email protected]) 上野幸杜 ([email protected]) 岡本裕子 ([email protected]) 岡村 耕二 ([email protected]) 竹内奏吾 ([email protected]) 西村浩二 ([email protected]) 小林和真 ([email protected]) 岡本慶大 ([email protected]) 中村素典 ([email protected]) Glenn Mansfield Keeni ([email protected]) 齋藤武夫 ([email protected]) 土井一夫 ([email protected]) 松本智 ([email protected]) 金丸翔 ([email protected]) 彌冨輝彦 ([email protected]) 厚谷有輝 ([email protected]) 安藤大祐 ([email protected]) 井手幹 ([email protected] 土本康生 ([email protected]) 長谷部克幸 ([email protected]) 山本成一 ([email protected]) 田原裕市郎 ([email protected]) 関谷勇司 ([email protected]) 加藤朗 ([email protected]) 平成 24 年 1 月 25 日 本ドキュメントでは、WIDE backbone と各 NOC の現状について述べる。 1 1 はじめに WIDE バックボーンネットワークは国内はもとより San Fransico, Losangels, Bangkok など海外にも拠点(NOC, Network Operation Center)を持つ広大なレ イヤー 2 およびレイヤー 3 ネットワークである。WIDE バックボーンネットワー クの運用は Two Working Group に参加する各 NOC の運用者による定常的な運用 にささえられている。 各接続組織の対外接続ネットワークとして活用されるだけではなく、インター ネットの新技術を開発している研究者、開発者らの新技術の運用実験の場として も頻繁に WIDE バックボーンネットワーク活用されている。 本年度の Two ワーキンググループの活動報告として、WIDE バックボーンネッ トワークの運用報告を行い、最後に今後の WIDE バックボーン運用についての展 望を述べる。 2 2 WIDE バックボーンの運用 本節では、WIDE バックボーンの各拠点での 2010 年 12 月 16 日から 2011 年 12 月 31 日までの運用報告と 2011 年 12 月 31 日現在の WIDE バックボーンのネット ワーク構成を報告する。図 1 は 2011 年 12 月現在の WIDE バックボーンの概略図 である。 図 1: WIDE バックボーントポロジ 3 2.1 San Francisco サンフランシスコ NOC(sanfrancisco) は、2004 年 4 月からそれまでの sanjose に 代わり稼働した新しい NOC で、Los Angeles から OC-3 により接続されていた。 その後 OC-3 から 100M Ethernet に変更された。主な接続先は、PAIX や ISC で ある。 2010 年 9 月の Los Angeles NOC 撤収にともない、2010 年 10 月に Los Angeles と San Francisco 間の回線も廃止され、専用線による接続の無い独立 NOC として 存在する。 • (2011/05/10) データセンター電源メンテナンスに伴う機器メンテナンス • (2011/07/30) データセンター電源障害に伴う一部機器の電源断発生 $Id: sanfrancisco.eps,v 1.2 2011-12-31 06:18:23 sekiya Exp $ SFO-E-DNS-JP Layer1/2 e0/2 e2/1 PAIX e0/3 e2/2 hitachi1.sanfrancisco e2/0 e2/3 ISC e0/0 VLAN 13 VLAN 66 67 101 VLAN 110 111 113 Fa0/17 Fa0/1 Fa0/5 ge0/1 VLAN 66 pc5.sanfrancisco Fa0/15 catalyst1.sanfrancisco Fa0/7 VLAN 66 Fa0/21 Fa0/18 RAC pc4.sanfrancisco wm2 seil1 Fa0/24 raritan Fa0/22 Fa0/14 e.sfo-rtr cisco1.sanfrancisco Fa0/2 wm1 図 2: San Francisco NOC 4 wm0 2.2 仙台 東北地方太平洋沖地震による停電のため、2011/3/11 14:48 ∼ 2011/3/14 16:15 過ぎまで外部接続性が失われた。 なお、施設に大きな被害はなかった。 また、pc9 を利用プロジェクトの終了に伴い、撤去した。 • (2011/03/11) 東北地方太平洋沖地震による停電のため停止。 • (2011/03/14) 外部接続性復旧。 • (2011/08/24) pc9 廃止。 FastEthernet0 em1 cisco1 fxp0 foundry3.nezu pc5 203.178.136.180/30 VLAN311 foundry4.nezu 2001:200:0:1C07::/64 ::8 2001:200:0:7F0:/64 pc10 FastEthernet1 em0 .26 ::a .24 ::8 .21 ::5 .29 ::d .19 ::3 em0 pc3 pc13 Cyber Solutions Inc. 図 3: 仙台 NOC 5 203.178.138.16/28 2001:200:0:7000:/64 2.3 筑波 筑波 NOC は、2009 年 3 月に筑波大学学術情報メディアセンター内に新たに設 置された NOC で、システム情報工学研究科産学間連携推進室をはじめとする周 辺の研究組織を収容している。2011 年 9 月 WIDE 合宿にて運用メンバーの追加を 行った。 • (2011/9/7) 運用メンバー 2 名が two に参加 • (2011/10/15) 電気事業法に基づく電気設備の定期点検のため停止 • (2011/10/16) 電気事業法に基づく電気設備の定期点検のため停止 • (2011/11/10) FTP サーバのハードウェア交換 .notemachi .cisco2.notemachi 203.178.136.85/26 2001:200:0:7c01:2 SINET L2 VLAN vlan 2045 L2 GE0/25 vlan id .extreme1.tsukuba GE0/6 GE0/23 Vlan Stack noc 203.178.132.65/26 2001:200:0:7c*::1 2001:200:1c8:*:*:1 loopback 203.178.136.17/32 2001:200:0:7c00::/128 vlan 2045 203.178.136.86/26 2001:200:0:7c01:1 GE0/16 .extreme2.tsukuba 第三エリア地 地区 mail1.tsukuba ftp1.tsukuba interface .nortel1.tsukuba 203.178.132.65/26 CampusNetwork ns2.tsukuba ip address GE0/2 GE0/32 .cisco1.tsukuba GE3/ GE3/2 1 VLAN .bladecenter-sw1.tsukuba GE0/1 GE GE0/0/31 30 ns1.tsukuba GigabitEther L3 ftp2.tsukuba .bsd1.tsukuba .tsukuba v6ip.tsukuba.wide.ad.jp 図 4: 筑波 NOC 6 学術情報メディアセンター 2.4 根津 根津 NOC は、WIDE 関東地区の重要な接続拠点として、東京大学、JGN-X 等 との接続を行っている。また WIDE クラウドの拠点としても重要な機器が設置さ れている。 • (2011/09/21) nezu-kote 線回線借用 • (2011/09/21) nezu-yagami 線回線借用 • (2011/09/25) 東京大学法定点検のため停電 tap.nezu DataReservoir ITC-4F-415 eth1/7 eth1/1 nautilus6 eth2/8 mawi.nezu eth2/4 nezu.linux-ipv6 eth2/1 vm5.nezu eth2/10 sekiya-esxi.nezu eth2/11 callmanager2 eth2/5 eth1/8 eth2/7 orange.kame eth3/20 eth3/4 eth4/8 eth4/2 foundry2.nezu foundry3.nezu eth2/3 eth3/13 ti0 wm1 KANEKO-ALLIED eth3/9 eth3/1 eth2/8 eth3/10 foundry5.nezu eth1/5 YAGAMI eth4/2 eth1/3 eth1/2 pc3.nezu eth1/6 eth1/1 eth1/2 ti0 GMA-1001 eth1 pc7.nezu To x448-n7f @NTT otemachi To DataReservoir eth5/2 eth17 eth5/3 foundry7.nezu JGN2-GS4K-eth4/1 foundry4.nezu eth5/4 foundry1.hongo foundry1.nezu eql.nezu eth1/1/19 a10.nezu eth7/2 eth7/1 eth1/1/16 U-TOKYO eth2/2 eth2/1 eth1/1/8 vm1.nezu eth1/1/17 JGN2-BI4K-eth1/5 vm2.nezu eth1/1/18 U-TOKYO ENG-BLD 1 Otemachi JGN2 GS4K vm4.nezu eth1/1/12 vm6.nezu cloud-net1.nezu eth1/1/23 U-TOKYO $Id: nezu.eps,v 1.2 2011-12-26 12:25:34 yama Exp $+9hours(JST) 図 5: 根津 NOC 7 2.5 NTT 大手町 NTT 大手町 NOC(notemachi) は、1999 年終りから稼働した比較的新しい NOC で、現在、関西方面、北陸方面への L2 網、JGN-X 、APAN-JP の接続拠点とし て重要な立場にある。また、日本のインターネットトラフィック交換の 1 拠点とし て、DIX-IE 、 T-LEX を設置し ISP および学術研究 NW を収容している。 • (2011/03) 計画停電対策として慶應義塾大学との臨時 BGP 接続追加 • (2011/06) Interop 2011 Tokyo と接続 • (2011/06) 明星大学収容変更 (kote から note) • (2011/12) t-lex 環境構成変更 (foundry1.t-lex 撤去、foundry2.t-lex 更新) rt50i 2/5 tehe clk 2/8 2/6 RIPE/NCC (A4C) f2.ote 3/4 1/4 5/1 mgmt1 5/3 fe3 miyakawa-sw ge-0/3/0 2/15 melco1 2/9 1/7 1/6 2/18 2/12 1/2 3/1 NTT-EAST fxp1 gmx1004 METRO-ETHER ti0 H-Cable pc1 UNISYS ge-0/3/1 juniper1 cisco2 6/2 1/6 1/7 1/4 1/5 1/1 2/1 2/2 {1,2}/3 $Id: notemachi.eps,v 1.2 2011-12-26 11:54:37 yama Exp $ +9H(JST) 図 6: NTT 大手町 NOC 8 e1 1/8 apan e49 f6.ote x448-n7f 1/2 mawi e50 taishita notemachi komatsu A7A01224N f5.nezu 1/1 taishita dojima NAOJ JGN-X NTT otemachi foundry2.t-lex DR-HIRAKI 0/1 SX SINET KEIO-DMC 7/6 cat3512-MII 0/6 seil.note soum 7/3 wm0 bge1 pc1.t-lex ASCC:GMX-B2 miyakawa-sjc 7/10 4/3 7/8 5/1 5/2 4/4 7/11 7/7 3/3 7/12 4/15 4/6 4/7 7/35 3/1 4/9 3/2 4/14 7/2 2/1 2/3 JAIST-shinagawa IPv4-kokatsuTF Tokyo6to4 6/1 2/24 7/5 traceback-verio traceback-verio xfow-collector 0/12 5/2 3/2 2/13 Hub cat1.t-lex foundry1 1/2 2.6 KDDI 大手町 KDDI 大手町 NOC は WIDE バックボーンの中でも中核を担う重要な NOC と なっており、外部組織接続が最も多い NOC となっている。 10GbE によるバック ボーンが導入され、NTT 大手町 NOC との連携がより強まり、WIDE から DIX-IE への接続拠点となっている。 • (2011/06) 明星大学収容変更 (kote から note) • (2011/09) kote-nezu 線回線借用 • (2011/10) SonyCSL アクセス回線変更 • (2011/12) PCH の設備置換 WIDE KDDI Otemachi NOC NTT NEZU SEIJO APAN Otemachi (f4.nezu-e2/4) Tsukuba WAN CUC TITECH (f1.riho-m) 2011/12/26 (a1.seijo-Ten0/25) LIVEDOOR (ms3-e1/3) MIRAIKAN (c2.note-Ten2/3) GRAPE APAN Ten0/2 DIX-IE Ten0/0 Gi1/0/0 alala1 cisco7 Gi0/0/0 Ten0/1 e2/4 e1/1 e1/3 e1/2 e1/4 e8/1 e8/7 e8/24 e8/8 e2/1 e8/17 foundry6 e8/34 Keio MITA e8/33 e8/35 e8/36 e8/3 e8/22 e8/21 e33 e49 foundry7 ae0 g0/1 fxp0 hitachi1 e4/8-11 GbE3 GbE2 dgre detector DIX-IE cyclades1 VoIP gate irc wireless alaxala2 e2 juniper1 GbE1 seil e47 e3 mirror mawi pc18 mirror y6 pc16 e1 mirror e1/4 Otemachi 9F segment e4/3 2/0-3 3/8 4/17 4/7 2/22 2/13 2/14 2/3 2/12 4/19 3/6 4/18 4/14 4/4 foundry3 3/3 e1/1 foundry2 pc10 pc13 1/2 4/5 4/3 3/1 3/5 3/7 4/23 4/12 4/21 4/20 2/19 2/17 2/16 2/10 2/9 2/5 2/4 2/2 1/3 4/15 2/15 c1.note NEZU pc15 pc17 risingsun.isc RouteViews NAIST 21F GMX APAN for AI3 AI3-PC NIHON JPRS IPv6 Univ. PCH-Server NICT NAG APNIC-Cyclades CUC Sony CSL e7 e26 cisco3 foundry1 KDDI LAB dendai e1 e9 ATM3/0 fa1/0/0 cisco1 e0/4 NTT new-y.ip6.int Otemachi (f1.note-e1/4) JSAT Powered Ethernet 7points Otemachi 23F 図 7: KDDI 大手町 NOC 9 DNS e0/5 e0/0 IMnet 2.7 八王子 八王子 NOC は、東京工科大学内に設置され、八王子周辺の WIDE 参加組織を 収容する NOC である。現在のリーフサイトは、東京工科大学のみである。 八王子 NOC に設置されている PC の老朽化にともない、新たにサーバを 1 台追 加し、今までの PC 群 (sun1, pc1, pc5) を仮想マシンに置き換えた。ハイパーバイ ザー用の OS には Linux(Ubuntu) を用い、KVM による完全仮想化を採用した。新 サーバでは、ハードウェアサポートによる遠隔管理機能のあるものを採用したた め、OS のインストールから電源 ON/OFF まで遠隔から操作できるようになり、 メンテナンス性が向上した。 • (2011/03/02-2011/04/12) 新サーバ環境構築、既存 PC(sun1, pc1, pc5) の仮 想マシン化作業。sun1, pc1, pc5 の OS を FreeBSD 6 系から 8 系へバージョ ンアップ。 KDDI Otemachi NOC foundry6.otemachi eth 8/22 WIDE Hachioji NOC ::11 [VLAN21] 2011/12/14 eth 3/6 foundry2.otemachi pc6 sun1 eth 2/5 em0 .139 [VLAN21] .130 ::5 em1 pc1 pc5 em0 em0 .140 .135 ::2 fxp0 pc2 Powered Ethernet fxp1 eth0.21 eth1 .132 .142 .141 ::4 100M 203.178.137.128/28 2001:200:0:2800::/64 bay1 .134 .129 GbE0/1 cisco4 teu.ac.jp Line0 Line1 2001:200:1a8::/48 GbE0/0 .130 .129 ATM1/0.2 [1/33] 203.178.141.128/30 1G teu.ac.jp 163.215.0.0/16 FE0/0 cisco1 atomis1 Line2 図 8: 八王子 NOC 10 .137 2.8 矢上 • (2010/08/11) 定期保安点検による停電 YAGAMI NOC TOPOLOGY (Layer1) fujisawa 10G(KNNYF) 10G(KNNYF) foundry2 MLX4 e1/2 alaxala e1/4 MM2 MM1 e4/1 e2/5 e2/4 e1/1 nezu e1/3 hiyoshi(kyoseikan) yokogawa line5 HITACHI GR2000-4S line7 line6 line3 e2/2 e2/3 e2/19 e4/1 e2/8 foundry1 BI4000 e4/6 nec1 e4/4 e2/1 e2/22 NTT Business Ether W e2/7 e2/23 e2/18 e2/6 NTT metro ether K2 tera-lab TTNet Media Conv pc4 cisco1 7400 NTT-EAST Flets 図 9: 矢上 NOC Layer-1 トポロジ 11 hitachi toshiba YAGAMI NOC TOPOLOGY (Layer2) K-N-N-Y-F Hiyoshi (Kyoseikan) vlan151 vlan950,951 e1/3 e1/2 vlan96: AI3:Fujisawa-Yagami vlan97: Miraikan-Hiyoshi vlan99: DMC-Hiyoshi vlan100: yagami NOC vlan28: NTTv6-1/NTT-EAST-FLETS(N-N-Y-F) vlan112: STUDIO-DV vlan31: [None] vlan122: TOSHIBA-WIDE-v4 vlan35: NTT-EAST (N-N-Y-F) vlan123: TOSHIBA-WIDE-v6 vlan37: FLAB-YAGAMI-NEZU-UTOKYO vlan130: Eclipse vlan39: TTnet:Tokyo2 vlan131: K2-BACKUP vlan40: TTnet:Kanagawa1/TTnet:Fujisawa vlan150: KMD vlan151: Kyoseikan vlan45: Nezu Yagami-Fujisawa-P2P vlan160: FYN->OND vlan46: Nezu Yagami-Fujisawa-P2P vlan161: NDKN(1) vlan49: APAN-AI3 vlan53: T-LEX vlan163: NDKN(2) vlan59: AI3-WIDECAMP-GLOBAL vlan165: NDKN(3) vlan75: Fujisawa-StarBED vlan167: NDKN(4) vlan77: IPv40kokatsu-K2-dojima vlan169: NDKN(5) vlan78: IPv4-kokatsu-K2-note vlan171: NDKN(6) vlan79: CLOUD-EQL vlan180: F-Y-N-O-N vlan181: N-O-N-Y-F vlan91: YAGAMI-RAC vlan190: YAGAMI-K2 vlan92: Nezu-Hiyoshi-Twister vlan95: FujiXerox vlan1: Default-vlan vlan4: K-N-N-Y-F vlan6: CLOUD-NAT vlan20: USC-KEIO Alaxala foundry2 vlan191 e1/4 e4/20 e4/19 e4/18 vlan46 e4/17 e4/16 e4/15 vlan53,160,161,163 vlan165,167,169,171 vlan180,181,650 vlan3860,3861 e4/14 e4/13 e4/12 vlan1 HITACHI GR2000-4S e4/11 vlan6,79 vlan20,31,49,59 vlan75,112,3703 vlan3704,3790 e4/10 e2/4 e2/5 e2/6 vlan39 vlan40 e4/3 e2/12 nec1 e1/1 e4/2 eth1 e2/11 e4/8 e4/4 e1/1 e4/1 e2/8 e2/10 e2/1 TTNet Media Conv e4/5 vlan150 e2/7 e2/9 e4/8 e4/6 vlan92,97,99 vlan130,197,297 vlan298,900,901 vlan3110,3764 pc4 eth0 e2/2 e2/3 e4/7 vlan4095 NTT Metro Ether foundry1 e4/9 vlan45 vlan1414, 1415 Nezu vlan122 vlan191: YAGAMI-ALAXALA vlan192: K2-v4-KOKATSU vlan197: Miraikan-Hiyoshi vlan297: DMC-Hiyoshi vlan298: DMC-Hiyoshi vlan299: DMC-Hiyoshi/dmc-hiyoshi-yagami-3 vlan650: ccbank-demo vlan900: SEA-LOOP1 vlan901: SEA-LOOP2 vlan950: BGP-TEST1 vlan951: BGP-TEST2 vlan1412: JGN-TeraLab vlan1412: JGN-KMD-201105a vlan1415: JGN-KMD-201105b vlan3110: DMC-KMD vlan3703: JGN2-Tsuruoka vlan3704: JGN2-TohokuUniv vlan3764: NEDU-LA vlan3777: JGN-WIDE-V6TRANS-3777 vlan3790: Yokosuka-IEEAF-SL-NL-SL-ICSD vlan3860: JGNv6-sfc vlan3861: JGNv6-yamagata vlan4021: KAME vlan4095: CONTROL-VLAN vlan1 e2/14 e4/6 e2/15 e4/5 e2/16 MM2 MM1 NTT Business Ether W e2/13 e4/7 vlan130 e2/17 e2/18 e4/4 K2 e2/19 e4/3 HITACHI GR2000-4S e2/20 vlan4 vlan37 e4/2 cisco1 e2/21 vlan35 e2/22 vlan77 vlan78 vlan3777 vlan4021 vlan91 vlan95 vlan96 vlan100 vlan123 vlan131 vlan190 vlan192 vlan299 vlan28 vlan40 vlan1412 e2/23 eth0/0.100 e2/24 e2/25 e3/2 e3/1 e4/1 図 10: 矢上 NOC Layer-2 トポロジ 203.178.141.80/28 vlan:100 Yagami NOC .86 .81 .91 NTT-EAST Flets cisco1 TTnet:Tokyo2 vlan: 40 Yagami-Fujisawa-P2P vlan: 3 nec1 203.178.138.224/27 .242 vlan:2 K-N-N-Y-F foundry2 vlan:95 TTnet:Kanagawa1 Tera-lab vlan: 190 vlan: 46 foundry1 203.178.138.224/27 .240 vlan:4 K-N-N-Y-F YAGAMI-K2 YAGAMI-ALAXALA vlan:150 vlan: 192 KMD K2-v4-KOKATSU .251 図 11: 矢上 NOC Layer-3 トポロジ 12 pc4 vlan: 191 FujiXerox vlan:122 TOSHIBA-IPv4 eth1 Kyoseikan Nezu-Yagami-P2P vlan: 39 .87 vlan: 151 vlan: 45 ATM:100 eth0/0.35 eth0 .245 2.9 新川崎 新川崎 NOC は、K2 タウンキャンパス内の村井研究室を拠点とした NOC であ る。K2 タウンキャンパス村井研究室はこれまで矢上 NOC の下部組織として運用 されてきたが、リーフ組織への回線提供を行うため、2005 年後半より NOC とし て運用していた。2008 年度の構成変更にて、リーフ組織であったアラクサラの接 続先が矢上 NOC へと変更となったため、一時 NOC ではなくなったが、2009 年 度に IPv4 枯渇 TF がリーフ組織として接続したため、再び NOC としての機能 を担うこととなった。 • (2011/12/16) 新川崎 K2 タウンキャンパス付近共同溝工事によるファイバ借 用発生 13 $Id: shinkawasaki.eps,v 1.2 2011-12-31 06:18:23 sekiya Exp $+9hours(JST) Shinkawasaki NOC topology Map(Layer3) Yagami K2-iCar 203.178.141.96/28 KAME 203.178.141.192/27 USAGI 203.178.140.0/27 vlan190 nec1.k2 .33 IPv4-Kokatsu vlan4000 K2 backbone 203.178.140.32/28 .45 pc2.k2 Shinkawasaki NOC topology Map(Layer2) Yagami vlan77,78,190,192,4021 0/1 vlan4021 nec1.k2 0/7 0/3 vlan4000 pc2.k2 0/5 KAME vlan4022 0/4 USAGI vlan77,192 vlan78 vlan140 IPv4-Kokatsu K2-iCar 図 12: 新川崎 NOC 14 2.10 藤沢 藤沢 NOC は慶應義塾大学湘南藤沢キャンパス内にあり、慶應義塾大学や村井研 究室の他、周辺の研究組織を収容している。同時に XCAST や AI3 との接続、VoIP 関連サービス (CallManager, VoiceGateway) などを行っている。 • (2011/3/14) 東日本大震災に伴う輪番停電によって縮小構成に変更 • (2011/9/2) ISI の計測ホストを設置 • (2011/10/8) 輪番停電による縮小構成から復帰 • (2011/12/4) SFC 構内全域の変電設備の定期保安点検による構内停電 Equal Logic vlan205 satellite eth4/1-6 eth1 vlan49 vm1 vlan105 WIDE-AI3 vlan31 eth4/7-10 vm2 eth 44 vlan140 c3800.ai3 vlan106 eth4/19 fe1 eth4/20 fe0 eth4/12 eth4/14 xtr nfs1.sfc fa0 nec1 hitachi3 eth1/2 te-3/0 tun0 juniper3 eth1/3 xe-0/0/0 Ogashiwa-Lab v6 xe-0/0/1 KEIO xe-0/0/2 vlan103 eth5 eth29 SFC pict4 gma1 eth9 vivi Powerd Com eth4/14 vlan102 vlan40 TTnet:Primary eth21 gn.asahikawa vlan41 TTnet:BackUp eth16 vlan42 TTnet:Otemachi eth4/10 eth18 juniper1.sfc eth20 eth4/15 sh.wide vlan110 vlan104 eth4/16 eth22 eth23 voip-gate eth24 eth1/1 eth2/3 eth25 eth26 eth 2/2 foundry2 eth 49 vlan49 eth27 eth28 vlan31 eth30 vlan100 eth31 eth35 eth3/2 pc4(internetits) eth32 eth40 alaxala3.sfc eth2/1 eth43 te-0-25 eth45 eth13 juniper2 eth1/2 xe-0/0/0 xe-0/0/1 xe-0/0/2 eth15 KEIO ge-0/1 SFC eth36 alaxala1 ge-0/5 ge-0/2 VLAN ID 4 6 31 40 41 42 44 46 49 71 79 100 101 102 103 105 106 107 140 150 205 501 Description K-N-N-Y-F Cloud-NAT AI3(N-D-N-K-F) TTnet:Primary TTnet:Backup TTnet:Otemachi K-N-N-Y-F9k Yagami-Fujisawa-P2P APAN-AI3 NAIST-FUJISAWA-evlan CLOUD-EQL Fujisawa-1.net Fujisawa-2.net Fujisawa-3.net Fujisawa-4.net Fujisawa-Cloud LISP-EID-Segment ISI-Pinger-Project WIDE-AI3-BGP SOI ai3-satelite SOI-Cloud-NAT-MAP ge-0/9 Nara-eVLAN eth37 vlan 71:Naist-Fujisawa-P2P eth38 SOI-ITC-NODE-ROOM-patch ABF-57-5-17 SOI-Shyochositsu vlan150 ge-0/6 ge-0/7 ge-0/8 pict1 traceback sh-rac pc5(moca) voip-2052 pict2 pc1(mcast) envmon1 pict5 pict3 netfpga0.baba pc33(csaw) pc14(usagi) cisco18(MCU) SOI-Vserver pc11(BGPDUMP) cisco6 NDA cisco10 Fujitsu Kawasaki, SANNO Univ cisco9 BUNKYO Univ eth14 eth35 eth3/3 pc35(mizutani-mawi) ISI-Pinger vlan 107 図 13: 藤沢 NOC Layer-2 トポロジ図 15 cisco12 cisco15 cisco17 cisco18 [YAGAMI P2P] 203.178.136.92/30 [TTnet:primary] [TTnet:backup] [TTnet:Otemachi] 203.178.140.144/29 203.178.140.152/29 203.178.136.116/30 [KNNYF] 203.178.138.224/27 2001:200:0:1c04::/64 .249 .145 ve40 .153 ve41 .118 ve42 gi3/1/0.4 .94 gi3/1/0.46 gi2/1/2.104 .97 [CallManager1] .98 203.178.136.97/30 [AI3] 202.249.26.112/30 gi2/1/0 cisco2 foundry5 cisco15 [NAIST P2P] 203.178.136.204/30 [ISI] 203.178.148.16/28 [SOI] 203.178.140.97/27 vlan71 vlan107 alaxala1 ve79 ve100 ve110 .97 [VoIP gateway] 203.178.138.109/32 gi3/0/0.100 gi2/1/2.102 gi2/1/2.103 ve105 vlan150 vlan100 fa-0/0 .109 [Equal Logic] 203.178.139.96/27 cisco13 .99 [Bunkyo-Univ] Serial3/0 cisco9 [KEIO-ITC] xe-0/0/1 [KEIO-SFC] xe-0/0/2 Juniper2 fa1/0.100 fa1/0.102 fa1/0.103 xe-0/0/0.100 [KEIO-ITC] xe-0/0/1 [KEIO-SFC] xe-0/0/2 Juniper3 xe-0/0/0.100 .89 .94 (Virtual IP = .65).75 .86 .79 .77 .66 .67 .69 .70 .71 .72 .74 .78 .80 .81 .82 .83 .84 .85 .87 .88 .90 (Virtual IP = .225).239 .237 [FUJISAWA-1.net] 203.178.137.64/27 2001:200:0:1001::/64 blackout foundry3.sfc pc1(mcast) pc29(ITSP) cnrs-wide ping-checker foundry2.sfc cisco11 pc4(internetits) cisco3 dlink1 cisco5 pc5(moca) pc10(sh.wide) alaxala3.sfc juniper1.sfc juniper1 .91 foundry4 .92 hitachi3 .93 envmon1 [FUJISAWA-3.net] 203.178.141.224/27 2001:200:0:1003::/64 .238 .232 .227 pc14(USAGI) .231 cisco12(gatekeeper) .254 accelar1 fa0 [SANYO] serial0 [FUJITSU KAWASAKI] serial3 cisco10 fa0 [NDA] serial0 cisco6 (Virtual IP = .97).103 .102 .98 pc27(AsahikawaNOC) .99 pc8(SOI) .100 pc17(SOI) .101 pc18(IRC) .104 pc11(BGPDUMP) .105 pc25(SOI-WWW) .106 pc12(IRC) .107 ai3 .108 traceback .110 voip-2051 .111 voip-2052 .112 pc37(SOI) .113 pict1 [FUJISAWA-4.net] 203.178.138.96/27 2001:200:0:1004::/64 .114 .115 .116 .117 .118 .119 .120 .121 .122 .123 .124 .125 .126 pict2 pict3 sh-rac pict-mgmt pict4 cisco17 cisco18 dcs.cisco18 csaw pc28(AsahikawaNOC) gma1 pc35(Mizutani-MAWI) pict5 [FUJISAWA-Cloud] 203.178.138.64/28 2001:200:0:1005::/64 .65 .68 .70 .71 .66 .67 図 14: 藤沢 NOC Layer-3 トポロジ図 16 pxtr xtr detr vm1 vm2 2.11 小松 小松 NOC は北陸先端科学技術大学院大学 (JAIST / 石川県能美市) 内に設置さ れた NOC であり、同大学、NICT 北陸 StarBED 技術センター (通称: StarBED) 等への接続を収容している。NOC 間接続として関東および関西方面に対し複数の リンクを持ち、東阪間リンク障害時の迂回経路としての役割も担っている。 WNOC Komatsu 150.99.196.186/30 SINET3 In Japan Advanced Institute of Science and Technology, Nomi, Ishikawa, Japan. 150.99.196.190/30 Gi3/25 Gi3/26 JAIST • (2011/03/20) 08:00–17:00 JAIST 全学停電に伴うサービス停止. ct65a.jaist (Cisco6509) .170 Po5(Gi3/33) Po101 (Gi3/41-48) (Gi3/41-48) Te1/4 Po2 Po1 (Gi1/1,2/1) Vlan801 ftp 203.178.138.168/30 .169 Te1/4 Po2 (Gi3/41-48) .65 203.178.138.64/28 pc1 Cisco 3 (Cisco7609) Vl999(Gi3/1) ct65b.jaist (Cisco6509) pc4 .93 .174 Te1/3 Vl800@Po2(Gi1/2) 203.178.138.208/29 DISTIX 203.178.146.80/28 GbE0/1/0 Juniper1 (Juniper M5) .210 Vl800@Po2(Gi4/1) GbE0/0/0 Cisco7609 @StarBED Gi4/3 Cisco 2 (Cisco6509) Notemachi(Taishita-monda) Vl62@Te1/1 Te1/4 Te2/2 Vlan3705, 3724,3744 .173 Te1/3 203.178.136.242/30 nezu, dojima, fukuoka (JGN-II) 203.178.138.172/30 図 15: 小松 NOC 17 StarBED .211 Po101 (Gi3/41-48) 堂島 2.12 堂島 NOC は、WIDE プロジェクトのネットワークにおける西日本のコア拠点と なっている。NTT テレパーク堂島第 1 ビルと第 3 ビルに拠点を構え、NTT 大手町 NOC とともに 10GigabitEthernet バックボーンの 1 点を担ったり、大阪における 分散 IX(NSPIXP3) の 1 拠点を担ったりしている NOC である。また、第 3 ビル内 において JGN や SINET とも接続し、西日本方面の多数の NOC とリーフサイト を収容している。 • (2011/2) pc2.dojima 故障にともなう機器入れ替え • (2011/4) IPv4 アドレス枯渇対応タスクフォース接続構成変更 • (2011/4) pc3.dojima 故障にともなう機器入れ替え • (2011/7) SINET 接続構成変更 • (2011/12) APAN-JP とのバックアップ BGP peer を KDDI 大手町から移設 cisco3 gig0/0 202.249.38.9/26 planetlab1. dojima planetlab0. dojima cyclades1 fxp0 fxp0 cisco2 gig0/1.2 203.178.138.47/27 NSPIXP-3 ge0/0 mgmt vm1 vm2 RAC service mgmt RAC ge0/1 vid:2,101 vid:109 e9/3 e1/19 e1/3 e1/4 e1/20 SINET ProjectM KIX e-dns.jp e1/21 e1/22 e1/24 e9/6 e9/5 e1/23 Te7/2 foundry4 vid:104 e9/2 vid:105 vid:107 e1/1(mgmt) ve2 ve104 ve108 203.178.138.40/27 (N-D-N) 203.178.138.81/29 (ProjectM KIX) 203.178.133.9/29 (PlanetLab Dojima) Te7/1 e9/7(RAC) ve2 ve3 ve7 ve61 ve76 ve101 ve102 ve103 ve105 ve106 ve107 ve3721 ve3722 vid:2,3,6,31,61,81, ve3723 101-105,107,320, ve3724 321 ve3726 Te3/3 ve3727 ve3729 ve3730 ve3760 ve3765 e9/1 203.178.138.45/27 210.156.1.130/30 203.178.136.169/29 203.178.136.238/30 211.120.240.89/30 203.178.138.94/28 203.178.138.237/30 203.178.137.113/29 203.178.130.30/28 203.178.136.177/30 203.178.130.12/29 203.178.136.133/30 203.178.137.249/30 203.178.137.253/30 203.178.136.105/30 203.178.136.229/30 203.178.136.209/30 203.178.136.201/30 203.178.136.197/30 203.178.136.110/30 203.178.136.69/30 NIIT ve3723 ATR ve3724 Komatsu ve3726 Sakyo Kusa vid:6,101,320,321, ve3729 Hiroshima 1371,3013,3417, ve3730 Fukuoka 3451,3761,3763, ve3760 Notemachi 3783,3791,3883 ve3765 Nagoya-u Te2/4 Te3/1 JGN-X vid:2,6,29,31,61,70,72,77,79,81,160, 162,164,166,168,170,180,3783,3784 e1/1 notemachi Te3/4 vid:106 Te1/3 vid:6,7,31,79,110,111,1371,3013,3451, 3732,3791,3883 NAIST KUSA Te1/1 SINET gig5/2 F root main (r1.kix) vid:2,3,31,61,76,77, 81,101-105,107 e3/1 foundry1 vid: 3 CKP Gifu ve3722 ve3727 gig5/1 vid:2,3,81,103-105,107 ve3721 e1/3 vid:2,3,81, 103-105,107 foundry2 ve2 ve81 ve104 ve100 203.178.138.45/27 (N-D-N) 203.178.133.25/28 (PlanetLab mgmt) 203.178.138.81/29 (ProjectM KIX) 202.249.38.9/26 (NSPIAP-3) ve2 203.178.138.51/27 (N-D-N) vid:76,77 e2/1 e1/3 e2/16 vid:102 e2/17 e3/14 e3/15 e3/16 e3/20 e2/9 e3/21 e2/7 e2/8 e2/18 seil1. dojima melco1 F root sub 10/100/1000BaseTX fxp0 pc3 IPv4 kokatsu TF yamaha clk.dojima planetlab0. dojima planetlab1. dojima pc1 yamaha1 1000BaseSX/LX 10Gbase(L,E)R WIDE Dojima NOC update Dec 2011 図 16: 堂島 NOC トポロジ 18 2.13 奈良 奈良 NOC は奈良先端科学技術大学院大学内にあり、大学および NOC 周辺の研 究組織を収容するとともに AIII と接続している。また、Debian JP 等の公式ミラー を始めとする 10 以上のミラーを提供する FTP ミラー (ftp.nara.wide.ad.jp) をサー ビスしている。 • (2011/1/12) NTP サーバ (Stratum 2) を cisco2.nara から juniper4.nara へ 移行。 • (2011/1/17) cisco2.nara シャットダウン、撤去。 • (2011/3/18) juniper5.nara (MX240) 設置。vm{3,4,5}.naist.wide 設置。 • (2011/3/28) arista1.nara (DCS-7124S) 設置。 • (2011/3/30) 輪番停電に対するサービス分離のため pc2.nara を設置。 • (2011/4/1) 奈良-藤沢線、奈良-左京線を統合。NTT e-VLAN 100Mbps で、 奈良-藤沢 100M 保証、奈良-左京 10M 保証。VLAN 設定は従来のまま P2P と した。 • (2011/6/1) ftp.nara のハードウェアを Sun Fire T2000 から Sun Fire X4540 に移行。収容先を fastiron4.nara から arista1.nara に変更し 10Gbps 接続と なる。 • (2011/7/13) juniper5.nara より NAIST-AS (AS131158) を経路広告開始。 • (2011/10/23) NAIST 法定点検による全学停電。 • (2011/11/17) ntp.nara のハードウェアを TrueTime NTS-200 から Endrun Tempus LX GPS に移行。 • (2011/12/14) 奈良文化財研究所行き K-Opticom 回線を撤去。 • (2011/12/21) pc1.nara のハードウェアを DELL PowerEdge 2650 から DELL PowerEdge R515 に移行。 19 Nara NOC L2 Topology (Dec. 2011) 2011/12/28 yoshihiro-‐[email protected] 10G L3 1G L2 <100M PC NAIST iplab inet-‐lab 0/1/1 [6,79, 901-‐903] Dojima hitachi2 2/0 [6-‐7,79, 1371, 3013,3451,3732, 3791,3883] [6-‐7,79,801-‐802, 901-‐903] 1/0 Te0/9 Te0/1 Te0/4 0/1/4 [801] [7,801-‐802,901, 3451,3791] [6-‐7,30,71, 801-‐802] [7,801-‐802] ge-‐1/2/0 [701] 5 1 )Po1 2 xe-‐1/0/0 juniper5 (xe-‐2/0/0 [7,751, 801-‐802] pc1 pc2 twomine nspixp [801] 0/1/16 [30-‐31,71] 0/1/13 0/1/19 [6-‐7,79,801-‐802, 901-‐903] ae0 [801] AIII Sakyo/Fujisawa fas1ron3 0/1/23 DLRD [901] 0/2/1 0/1/21 0/1/22 0/1/24 NEC Kansai RC [3451] [6-‐7,79,801-‐802, 901-‐903] 4 [801] [801] [802,3791] 0/3/1 0/1/17 ge-‐2/2/0 0/1/2 0/2/1 [6-‐7,79,801-‐802, 901-‐903] SINET 0/1/3 fas1ron4 catalyst1 Te0/7 0/11 3/0 Te0/3 ge-‐0/0/0 [800-‐801] 26 juniper4 netgear2 [801] 1 ntp 6 arista1 ?p 13 [751,801,902] 9 [6,79, 901-‐903] inet-‐lab 図 17: 奈良 NOC Layer-2 トポロジ Nara NOC L3 Topology (Dec. 2011) 2011/12/28 yoshihiro-‐[email protected] 10G ai3-‐nara-‐pc.nara L3 203.178.140.224/27 2001:200:0:802::/64 PC SINET alaxala1.sakyo cisco2.fujisawa Nara-‐1 (VLAN 801) Nara-‐2 (VLAN 802) 1G <100M .170 ::1:1 .166 .172 ::2:5 ::1:2 juniper5 Nara-‐Sakyo (VLAN 30) 203.178.136.204/30 .205 Nara-‐Fujisawa (VLAN 71) 203.178.136.216/30 .217 juniper4 .163 ::2:4 .179 ::1 hitachi2 Dojima-‐Nara (VLAN 7) cisco2.dojima 203.178.137.160/27 2001:200:0:801::/64 .228 ::4:2 .229 ::2:4 ::1 .230 ::2:5 203.178.136.168/29 .173 .172 .167 ::4:2 .180 .171 Cloud-‐EQL (VLAN 79) .100 203.178.139.96/27 .183 pc1 pc2 twomine nspixp ntp Cloud-‐Experiment (VLAN 6) 10.10.0.0/16, 2001:200:dff:fff1::/64 .4.1 .4.2 .4.4 .4.3 .4.5 Cloud-‐Nara-‐1 (VLAN 903) .145 ::1 203.178.131.144/28, 2001:200:0:9403::/64 Cloud-‐Nara-‐0 (VLAN 902) 203.178.131.128/28, 2001:200:0:9402::/64 .129 ::1 .131 ::131 vm1 .132 ::132 vm2 .134 ::134 .133 ::133 vm3 vm4 .135 ::135 vm5 ::a .1 ::1 .64 :1:1 Nara-‐NAIST (VLAN 901) 203.178.134.0/24, 2001:200:0:9401::/64 sh 図 18: 奈良 NOC Layer-3 トポロジ 20 .175 ::1:4 6p 2.14 左京 左京 NOC は京都およびその周辺に存在する組織に対する接続拠点であり京都 大学に設置されている。また、遠隔講義実施のためにキャンパスプラザ京都およ び広島市立大学向けの IPv6 接続も提供している。2010 年度末で JGN-X 京都大学 ノードが廃止されることから、SINET4 経由の接続に移行する予定である。また、 この接続変更に伴って、これまで自動電話庁舎および学術情報メディアセンター 南館に設置されていた NOC 設備を、2011 年末以降に自動電話庁舎および総合研 究 5 号館の構成に変更して移設する予定である。 • (2011/3/31) NTT コミュニケーションズ回線への切替 (対奈良 NOC) • (2011/4) JGN-X 京都大学ノード廃止 • (2011/4/22) ケイ・オプティコム回線撤去 (対奈良 NOC 旧回線) • (2011/10/2) 停電 (法定点検) • (2011/11/7) 対奈良 NOC 回線障害対応 (メディアコンバータ交換) • (2011/12/20) L3 装置 (IP8800/S3630) を学術情報メディアセンター南館から 電話庁舎に移設 21 図 19: 左京 NOC 22 2.15 倉敷 倉敷 NOC は、死活監視ツールで監視を行っているが特に大きな問題もなく運用 した。 図 20: 倉敷 NOC 23 2.16 広島 広島 NOC は 2011 年 3 月末日の JGN2plus から JGN-X への移行による JGN-X 側での VLAN の廃止により接続が切断された状態にある。現在、NOC の廃止を 含めて検討中である。 24 2.17 福岡 福岡 NOC は 2011 年 3 月末日の JGN2plus から JGN-X への移行による JGN-X 側での VLAN の廃止により接続が切断された状態にある。現在、NOC の廃止を 含めて検討中である。 25 2.18 バンコク 2007 年 5 月 15 日に設置されたバンコク NOC は、NECTEC や UniNET といっ たタイの学術研究組織との研究活動強化を目的に設立された。今年度も引き続き、 WIDE プロジェクトとしての独自の回線は存在しないが、JGN2plus の東京 ←→ 新嘉坡 ←→ バンコク回線を利用し、VLAN を用いて WIDE インターネットをバン コクまで延長した。IPv4、および IPv6 の接続性を提供している。バンコク NOC は、JGN2plus の新嘉坡・バンコク回線を収容している NECTEC と同じ建物に存 在し、そこから UTP ケーブルを延伸し、バンコク NOC が存在する部屋にネット ワークをひいた。バンコク NOC の主な利用者は、バンコクを中心に活動している SOI Asia プロジェクトのメンバーである Patcharee Basu、および関係者になる。 今年度も昨年度同様、SOI Asia プロジェクトで遠隔講義、講演をするための環 境が整えられ、様々な授業やイベントへ参加した。イベントの詳細を下に示す。 • (2011/3/10) Unesco Lecture ”Renewable energy technology” by Prof. Hideaki Ohgaki • (2011/3/22) Unesco Lecture ”Support strategies to promote renewable energy (policy), Renewable energy as a tool to empower community” by Dr. Bundit Fungtammasan • (2011/3/24) Backbone connection lost by JGN-X new SG-TH circuit installation. • (2011/5/8) ”the Japan disaster experience on ICT in the situation of communication breakdown” session at the 2nd THNG Camp • (2011/5/10-12) AI3/SOI Asia Bi-Annual meeting at Chulalongkorn University • (2011/5/12-13) the 4th CONNECT-Asia 2011 at Chulalongkorn University • (2011/5/26) Backbone connection lost by SG-TH circut problem. (1hr) • (2011/6/11) Backbone connection lost by HK-SG circut problem. (5min) • (2011/7/4) Backbone connection lost by HK-SG circut problem. (4hrs) • (2011/7/24) Backbone connection lost by HK-SG circut problem. (1min*2) • (2011/7/4) Backbone connection lost by HK-SG circut problem. (4hrs) • (2011/8/11) Backbone connection lost by HK-SG circut problem. (34min) • (2011/8/22) Backbone connection lost by SG-TH circut problem. (1min*2) 26 • (2011/9/9) Backbone connection lost by SG-TH circut problem. (2hrs) • (2011/9/21) Backbone connection lost by HK-SG circut problem. (3min) • (2011/10/16) Backbone connection lost by SG-TH circut problem. (20min) • (2011/11/1) Backbone connection lost by HK-SG circut problem. (15min) • (2011/11/22) Backbone connection lost by SG-TH circut problem. (3min) • (2011/11/28) Backbone connection lost by HK-SG circut problem. (90min) • (2011/Nov-Dec) Lecture series ”Management of Emerging Businesses” as a joint-lecture between Keio and Chulalongkorn University • (2011/12/20) SOI Asia business plan contest 2011 cisco2.notemachi 203.178.138.145/28 2001:200:0:6009::1 JGN-X:WIDE-BKK (622Mbps) bge0: 203.178.138.146/28 2001:200:0:6009::2 pc1.bangkok bge1: 203.178.140.65/28 2001:200:0:a800::1 203.178.140.64/28 2001:200:0:a800::/64 polycom pc pc 図 21: Bangkok NOC 27 pc 3 two サーバの移行 本節では、two WG が WIDE インターネットの運用管理用に利用してるサーバ two.wide.ad.jp(以後 two サーバ) を WIDE クラウド上に移行した作業について 報告する。 3.1 背景と概要 two サーバは 2002 年ごろから WIDE インターネットの運用管理に用いられてき た。そのため、ハードウェアの陳腐化によるスペック不足が問題になっていた。two WG では、two サーバの移行計画を検討し cloud WG で運用している WIDE クラ ウド環境へのサーバ移行を実施することとなった。当初の移行計画では、現行の two サーバシステムを可能な限りそのままクラウド環境へ移することを志向した が、two サーバで OS として利用している NetBSD が WIDE クラウド上で動作不具 合が起きる既知の問題があり断念した。次に、WIDE クラウド上で動作するよう に修正した NetBSD を WIDE クラウド上でクローンし、two サーバのボリューム を dump と restore で移行することを計画した。しかしクローンした NetBSD サー バは HDD ボリュームサイズが小さく、WIDE クラウドには HDD ボリュームを追 加する機能が存在しないため、この計画も断念することとなった。最終的に、OS まで含めた移行は断念し two サーバ上のデータのみコピーすることにした。WIDE クラウド上に、Ubuntu Linux のサーバをセットアップし two サーバ上のコンテン ツとアカウント情報をコピーした。 3.2 移行と構築 two サーバは two WG メンバーのみが利用するホストであり、公開サービスな どは行なっていないためインフラとしての要素が低く、可能な限り WIDE クラウ ド環境の実験に協力する構成とした。インターネットへのアクセスは固定の IP ア ドレスを割り振るのではなく、WIDE クラウドが自動でホストに割り振るアドレ スを利用した。EUI-64 で付与される IPv6 グローバルアドレスと DHCP で付与さ れる IPv4 プライベートアドレスを用いている。IPv6 では、このアドレスを DNS の AAAA レコードに登録を行った。IPv4 は WIDE クラウドの map646 機構を用 いて、IPv4 グローバルアドレスと IPv6 アドレスのマッピングを実施した。この機 構により、two サーバへの IPv4 アクセスは、サーバ側では IPv6 アクセスとして認 識される。また、この構成を採ることにより WIDE クラウド上での仮想サーバマ イグレーションが可能となる。 28 3.3 今後の課題 旧来の two サーバでは管理用ドキュメント以外に計測ツール類などが稼働して いたが、今回の移行作業では環境をそのまま移行できなかったことと、計測ツー ルが動作している環境が古いため新設サーバ上で稼働させることができなかった。 今後、現在の WIDE インターネットに則した計測ツールを新たに作成することで 対応したい。 29 4 おわりに 本年度も WIDE バックボーンネットワークの安定運用を行ってきた。来年度の 計画として、新たに慶應大学大学院メディアデザイン研究科内に日吉 NOC の設立 とバックボーンのレイヤ 2 ネットワークを EtherOAM 化することが計画されてい る。また、引き続き WIDE バックボーンネットワークの安定運用を行っていきつ つ,安定したドメイン間 IPv4/IPv6 マルチキャストの運用,安定運用のための計 測,管理システムの研究開発と運用実験,また,若手の育成や技術伝承による教 育活動など,精力的にネットワーク運用と研究開発を行っていく. 5 CopyRight c ⃝2011 WIDE Project Two Working Group 30