PRIMEPOWER2000/1000/800の実装， 冷却，電源技術

特
集
PRIMEPOWER2000/1000/800の実装，
冷却，電源技術
Packaging, Cooling, and Power Supply Technologies for
PRIMEPOWER2000/1000/800
あらまし
本稿では大規模基幹システムとして高性能，高信頼性が求められているハイエンド
UNIXサーバPRIMEPOWER2000/1000/800の実装，冷却，電源技術について述べる。本
装置では，高密度な実装技術および効率良い冷却技術を開発した。また，高性能化のた
め，高速信号の接続技術および多層プリント配線の技術を開発した。さらに電源システ
ムにおいては，高信頼の電源を開発した。
Abstract
This paper describes the packaging, cooling, and power supply technologies used in the
PRIMEPOWER2000/1000/800 high-end UNIX servers designed for use as high-performance,
high-reliability large-scale backbone systems. Fujitsu has developed high-density packaging
and high-efficiency cooling technologies for these servers. Fujitsu has also developed highspeed interconnection and multi-layer printed-wiring board technologies to enhance the servers’
performance and a high-reliability power supply system to improve the quality and availability
of power supply.
青野正秋
（あおの まさあき）
第三コンピュータ事業部
第一開発部 所属
現在，UNIXサーバ装置の
構造設計に従事。
214
小出正輝
（こいで まさてる）
実装テクノロジ統括部
第一実装技術開発部 所属
現在，ミッドレンジサーバ
C P U モジュールの実装冷
却構造の開発に従事。
鵜塚良典
（うづか よしのり）
実装テクノロジ統括部
第一実装技術開発部 所属
現在，サーバの実装技術開
発に従事｡
影山弘進
（かげやま ひろのぶ）
第三コンピュータ事業部
第一開発部 所属
現在，サーバの電源システ
ム開発に従事｡
FUJITSU.51, 4, pp.214-219 (07,2000)
PRIMEPOWER2000/1000/800の実装，冷却，電源技術
○○○○○○○
ま え が き
このため，部品実装密度の増加を許容する基板とク
ロックアップに伴うプロセッサ部の消費電力増を許容す
PRIMEPOWERはインターネット時代の中核サーバと
る冷却の実現が課題であった。
して高い性能と高い信頼性が求められている。また高密
● 高密度高速伝送基板
度実装およびCPUの高速化に伴う発熱量・発熱密度増大
部品実装密度の増加に加え，高周波伝送および高消費
への対応が必要となってきている。PRIMEPOWER2000/
電流に耐えうる配線を実現するため，プロセッサのLSI開
1000/800の開発では，より信頼性の高いシステム構築と
発部門と設計初期の段階から，CPUモジュール基板仕様
高密度実装技術および高性能冷却技術の確立を重要課題
の検討を行った。
として掲げ開発に取り組んだ。信頼性の向上のため，シ
まず，プロセッサ２次キャッシュ間，およびプロセッ
ステムボード（System Board）の活性交換，電源供給系に
サUPA
（Ultra Port Architecture）
コネクタ間はともに等長
ついては２系統受電機構のサポート，LCI
（Local Cabinet
配線が必要なため，配線が多数集中する。
Interface）
採用による迅速な電源故障解析を可能とした。
そこで，各部品間の配線本数およびクロストークノイ
また，システムボード内実装物の３次元実装による高密
ズなどの電気的制約条件を考慮し，モジュール基板へ搭
度実装を実現した。冷却性能向上のため，CPUモジュー
載する部品の配置，プロセッサの端子ピン割り当ての最
○○○○○○○
ル用の低圧損冷却フィンおよび高性能ファンを新規に開
(1)
発した。本稿では，これらの技術について紹介する。
CPU モジュール実装冷却構造の開発
適化を行った。この結果から基板の厚さは1.6 mmとし，
層構成は16層
（電源層 ×４，GND層 ×３，信号層 ×７）
とした。さらに配線効率を上げるため，当初，信号層間
の接続にはIVH（Inner Via Hole）が必要とされた。IVHは
● CPUモジュールの構造
スルーホールビアのみに比べ，一般的に製造プロセス工
CPUモジュールの構造を図-１に示す。モジュール基板
程が増加するマイナス要素を持つが，微細ビアの寸法メ
上の中央部に“SPARC64 GP”
プロセッサがBGA（Ball Grid
リットを重視した。これらの仕様と諸条件をCADに入力
Array）
で接合され，その両脇に２次キャッシュ用SRAM
し，ラウタートライアルを繰返し，さらに最適化を図る
が基板両面で９個搭載されている。プロセッサは冷却
ことにより当初1,300個使用していたIVHも不要とするこ
フィンと高熱伝導性コンパウンドにより接合され，この
とができた
（図-２）。
冷却フィンはバネ付きナットによって裏面から挿入され
以上の検討プロセスを経ることにより，実際の配置配
るスティフナと固定される。
線作業は部品の再配置などの手戻りがなく短時間に終わ
このCPUモジュールはGP7000Fモデル600に搭載されて
り，高周波伝送特性に優れたローコストのモジュール基
いるCPUモジュールと比較し，モジュール基板面積比で
板を実現した。
27％減となっている。また，モジュール前方の通風口面
● 高性能冷却技術
積が12％減，消費電力が53％増となり，通風口断面あた
冷却では，30 W/cm という高発熱密度のプロセッサを
りの発熱密度も75％増となっている。
冷却するため，モジュール全体の低熱抵抗化，モジュー
2
ル風下に搭載される主記憶用RAMカードへ十分な風量を
流せる冷却フィンの低圧損化が課題であった。これらの
2次キャッシュ用SRAM
SPARC64 GPプロセッサ
スティフナ
バネ付きナット
冷却フィン
モジュール基板
図-1 CPUモジュールの構造
Fig.1-CPU module structure.
FUJITSU.51, 4, (07,2000)
図-2 CPUモジュール基板トライアルラウト結果
Fig.2-Trial route result of CPU module substrate.
215
PRIMEPOWER2000/1000/800の実装，冷却，電源技術
Air
フィン
ベースプレート
モジュール基板
プロセッサパッケージ
図-3 CPUモジュールの熱流体解析結果
Fig.3-Thermo-fluid dynamics analysis result of CPU module.
課題を解決するためにまず，LSIチップを含むパッケージ
から冷却フィンまでを統合したモデルを作成し，パッ
ケージおよび冷却フィン内部での熱拡散と冷却フィン周
りの冷却風の流れに着目し，シミュレーションでの検討
を進めた。
図-３は熱流体シミュレーション結果で，モジュール断
面での冷却風の流れを示している。LSIを直接接合するプ
ロセッサのパッケージには熱拡散が十分果たせる熱伝導
率と厚さの材料を選択した。冷却フィンは熱流体シミュ
レーションにより，ベースプレート上の熱拡散とフィン
部形状の最適化を図り，低熱抵抗と低圧損を両立させた。
また，プロセッサと冷却フィンとの間には富士通研究
図-4 SBの外観
Fig.4-Appearance of SB.
○○○○○○○
所で開発した高熱伝導性コンパウンドを接合材として採
用した。
システムボード（System Board）
の実装・冷却技術
システムボード（System Board，以下SB）の外観を図-４
に，実装構造の概略を図-５に示す。SBは限られた空間に
様々な部品を高密度実装し，素子間の信号線長を短縮す
ることにより高速伝送する必要があった。さらに，高速
動作する各素子からの発熱を効率よく冷却するため，以
下の工夫をこらす必要があった。
● 高密度実装
冷却風
SB上には，最大四つのCPUモジュール，32枚のメモリ
冷却風
モジュール，６枚のPCIカード，クロスバスイッチおよび
システム制御などのMCM（Multi Chip Module），各種オ
ンボードDDC
（DC/DC Converter）などを搭載する。ま
た，MCMのはんだ付け信頼性を高めるため，プリント配
線板のひずみを抑制するスティフナ
（補強）
などの構造部
品を設置している。 C P U モジュールおよびメモリモ
ジュールは，コネクタにより容易に増設や交換を可能とし
た。PCIカードおよびプロセッサ電源用のオンボードDDC
216
a ：CPUモジュール
b ：メモリモジュール
c ：PCIカード
d ：クロスバスイッチMCM
e ：システム制御MCM
f ：オンボードDDC
g ：スティフナ
h ：信号コネクタ
i ：電源供給コネクタ
j ：PCIライザカード
k ：モジュールフレーム
図-5 SBの実装構造概略
Fig.5-Packaging structure of SB.
FUJITSU.51, 4, (07,2000)
PRIMEPOWER2000/1000/800の実装，冷却，電源技術
の実装には３次元実装方式を採用した。これによってSB
ション結果をフィードバックし，SBレベルでのシミュ
上の空間を有効利用し，高密度実装を実現した。また，
レーションを実施した。SBの発熱のうち，70％がCPUを
これらの３次元実装した部品も容易に着脱可能とした。
中心とした部分
（CPUモジュール・メモリモジュール・ク
● 高性能多層のプリント配線板
ロスバスイッチMCM・システム制御MCMなどを搭載し
SBのプリント配線板は信号層を12層，電源・グランド
た部分）
であるため，冷却風量の配分を考慮する必要が
層を12層とし，高速信号の伝搬を行うため，信号インピー
あった。そこで，PCIR
（PCIライザカード）
をSBの冷却風
ダンスを高精度に整合（50 Ω ±５％）した。板厚は3.6 mm
の流れを妨げる方向に実装し，さらにPCIRに最適化した
となり，高アスペクト比（10以上）のスルーホールメッキ
通風孔を設置した。これにより，PCIカード部への必要風
接続信頼性を確保するため，材料を変性ポリイミド樹脂
量を確保するとともに，CPUを中心とした部分に，より
とした。また，回路が高速動作する際に発生する電磁波
多くの風量を配分した。また，CPUモジュール実装部分
を抑えるため，電磁波抑制用の配線パターンおよびス
のモジュールフレームを有効利用して，冷却風の流路を
ルーホールを設置した。
形成した。さらに，クロスバスイッチMCM・システム制
● 高密度・高速伝送用コネクタ
御MCMの放熱フィンは，流路形成と冷却風のバランスを
PRIMEPOWER2000は，バックパネルに最大８枚のSB
取ることで極力コンパクトなものとした。これらの工夫
を搭載し，SB間をクロスバ接続している。SBあたり最大
により，SBレベルでバランス良い冷却を実現している。
○○○○○○○
四つのCPUを搭載するため，キャビネットあたりの最大
電源システム
CPU数は32となる。バックパネルとSBを接続するため
に，SBの端部には信号コネクタと電源コネクタを配置し
電源システムでは，電源供給系の高品質化および電源
ている。限られたSB上のエリアで多くの信号を接続し，
システムの可用性を向上させるため，分散給電方式を採
メモリバンド幅の高性能化を実現するために，高密度・
用した。
高速信号対応のコネクタを新規に採用した。また，SBの
● 電源供給系の高品質化
活性交換を可能とするための電源コネクタも新規に採用
SB内の素子が必要とする電源は＋1.8 Vdc，＋2.5 Vdcな
した。
ど低電圧化された。電圧が低くなるほど電源電圧変動範
● 高効率冷却技術
囲の要求は厳しくなる。また，素子の高速化に伴い最大
SBの冷却に当たってはCPUモジュールでのシミュレー
60 Aの大電流になり，高速パルス電流による電源供給ラ
INPUT＃00
200-240V AC
ACS ＃0
FEP
SB
×（3 + 1冗長）
INPUT＃01
200-240V AC
ACS ＃1
負荷
+1.8 Vdc,
+2.5 Vdcなど
FEP
+48 Vdc
×（3 + 1冗長）
INPUT＃10
200-240V AC
+2.5 Vdc
ACS ＃2
FEP
×3
INPUT＃11
200-240V AC
INPUT＃12
200-240V AC
2系統受電オプション
オンボード
DDC
ACS ＃3
XB-DDC
負荷
（XB）
×（2 + 1冗長）
FEP
・ACS : AC Section
ACS ＃4
×3
・FEP : Front End Power
FEP
・SB : System Board
×1
・オンボードDDC : オンボードDC/DC Converter
×（6 + 1冗長）
・XB-DDC : XB-DC/DC Converter
・XB : Crossbar Board
図-6 PRIMEPOWER2000電源系統
Fig.6-PRIMEPOWER2000 power configuration.
FUJITSU.51, 4, (07,2000)
217
PRIMEPOWER2000/1000/800の実装，冷却，電源技術
インでの電圧変動が増大することになる。これらの問題
の創造をテーマとして掲げた。その結果，従来の装置（四
を解決するには，電源供給ラインのインピーダンスを低
角い箱）
というイメージを払拭するため，装置正面，側
減する必要があった。そのため，SB内の素子の近傍に電
面，後面にいくつものシルバーの柱とグレーの塊が集合
源を配置して素子までの配線長を短くした。それにより
して一つの物体として見えるようにし，どこから見ても
過渡応答特性の改善を図った。
同一イメージの表情になっている。また三角の柱は陰影
● 電源システムの可用性向上
を強調させ，シルバーとグレーのカラーリングが相伴っ
PRIMEPOWER2000電源系統を図-６に示す。電源ユ
てハイテクかつ先進的な印象を与えている。
ニットは，入力ACを装置内中間電圧である＋48 Vdcに変
● 実装構造の特徴
換するFEP
（Front End Power），SB内に実装し＋48 Vdcを
PRIMEPOWER2000の内部実装を図-７に示す。本装置
各素子用の電圧に変換するオンボードDDCおよび＋48 Vdc
では，装置内各ユニットの状態監視インタフェースにシ
をクロスバボード（Crossbar Board，以下XB）
用の＋2.5 Vdc
リアルインタフェース“LCI”
を採用し，各ユニット間を
に変換するXB-DDC（XB-DC/DC Converter）
の３種類を開
Daisy Chain接続（図-８）している。このため，従来の監視
発した。
部と各ユニットをパラレル接続した装置に比べ，装置内
電源システムの可用性を向上させるため，電源システ
ケーブル本数が格段に減少し，かつ採取できる情報量の
ムのFT
（Fault Tolerant）化，および電源ユニットの保守性
制限がなくなった。さらに，このLCI接続ケーブルを装置
の改善を行った。
内部中央に集中させ，装置前後面より各ユニット（電源ユ
【電源システムのFT化】
ニット，ファンユニットなど）をプラグイン実装する方式
FEP，XB-DDCに並列冗長運転機能を備え，n ＋１冗長
をとった。これにより，SBから出るI/O接続ケーブル以
構成とした。１台のFEP，XB-DDCが故障した場合でも，
外は装置表面にケーブルがないため，各ユニットの活性
故障した電源ユニットのみが停止し，残りの正常な電源
交換を容易にするとともに，装置の扉を開けてもケーブ
ユニットにより装置は運用を継続できるようにしている。
ルの束が見えず，装置内部の美観にも寄与している。
さらにオプションとして，入力部 { ACS
（ AC Section）
，
● 装置の冷却
FEP} を二重化することによる入力ACの２系統受電機構
をサポートした。片系で停電が発生した場合でも，もう
【高性能ファンの開発】
装置の冷却としては，SBの冷却が主要課題であった。
一方の系からAC供給が得られるため，装置の運用に影響
SBは高発熱（１枚あたり約510 Wの消費電力）
および高発
がないようにしている。
熱密度に加え，高密度実装による圧力損失値が大きく，
【電源ユニットの保守性の改善】
3
SB単体シミュレーション結果より，３m /分以上の高風
FEP，XB-DDCは入力側に突入電流防止回路，出力側に
量が必要であった。この冷却に既存ファンを適用した場
突合せダイオードを付加し，コネクタはシーケンス付き
合，ファン数が多くなり装置の小型化を妨げる。そのた
にすることにより活電挿抜を可能とした。また，構造も
プラグインタイプとし，イジェクトレバーでの挿抜によ
19インチラックスペース
ACS
り保守作業をしやすくした。さらにFEP，XB-DDCの電源
制御には，インテリジェントシリアルバス制御を行うLCI
を内蔵し，電源の投入・切断制御および故障の詳細情報
FEP
（× 8）
通知（過電圧，低電圧，過電流，温度上昇など）
を行える
○○○○○○○
ようにした。これにより，迅速な障害解析を可能にして
いる。
SBファンユニット
（× 8）
SCFw
（× 2）
装置の実装構造の概要
XBファンユニット
（× 3）
XB-DDC（× 3）
XB（× 11）&BP
SB（× 8）
● デザインコンセプト
PRIMEPOWER2000/1000/800のデザインコンセプト
は，富士通としての独自性，新世代のUNIXサーバとして
の高機能性・高信頼性，市場インパクトのある表情を実
現するため，ハイエンドサーバとして威厳のある存在感
218
正面図
後面図
図-7 PRIMEPOWER2000内部の実装
Fig.7-PRIMEPOWER2000 internal mounting.
FUJITSU.51, 4, (07,2000)
PRIMEPOWER2000/1000/800の実装，冷却，電源技術
XBファンユニット
（× 3）
パネル
ノード
排気口
ファン
FEP
FEP
XB-DDC（× 3）
ファン
ファン
SCFw（× 2）
バックパネル
（a）Parallel 接続方式（従来）
XB（× 11）
Air
図-9 冷却ルート図（装置後面）
Fig.9-Cooling route chart
（Rear side of device）.
ランスを取ることができた。これらを実施することによ
り，装置幅の拡大防止とファン個数の低減を図ることが
できた。
（b）Daisy Chain 接続方式
● XBケーブルの開発
PRIMEPOWER2000は32CPU/１キャビネットを基本と
図-8 接続方式の比較
Fig.8-Comparison of connection methods.
し，最大128CPU/４キャビネット構成まで拡張できる。４
キャビネット間はケーブルで接続する。各キャビネット
間を高速信号接続する必要があるため，3.7 ns/mの高速伝
めファン単体サイズはそのままで，高風量を出すために，
送ケーブルを新規に開発した。また，各ケーブルの伝播
回転数のアップと羽根形状改良を行った高性能ファン（既
遅延時間のバラツキも最低限に抑えた。さらにこのケー
存ファン：140Pa-6.5 m3/分，新ファン：240Pa-8.2 m3/分）
ブルを接続するため，100信号高速伝送コネクタも新規に
を新規に開発した。またSB２枚に対してファン３個をユ
開発した。
ニット化し，それを２段に配置して，トータルファン数
６（内１個は冗長ファン）
で冷却グループを構成した。そ
○○○○○○○
む す び
の結果，必要風量および最適実装スペースが確保できSB
PRIMEPOWER2000/1000/800では，より信頼性の高い
の冷却が可能となった。
システム構築のため，活性保守可能コンポーネントの拡
【複雑な冷却系に対する冷却手法の実現】
大と，LCI採用による迅速な故障解析を実現した。また
XB，XB-DDCおよびSCFⅡユニット部の冷却ルートを
CPUモジュールとSBの高密度実装を実現し，かつCPUの
図-９に示す。通常この冷却には冷却対象物の横にファン
高速化による発熱量，発熱密度増大に対応した高効率冷
を配置（ボードに対してファンを直交して配置）
するが，
却技術を開発した。今後ますます信頼性向上への要求が
装置幅が拡大する問題があった。それを防ぐため冷却対
高まり，またCPUの高速化に伴う高発熱化に対応した新
象物の上部にファンを集中配置し，XBボード，SCFⅡ，
冷却技術が必要となってくることは明らかである。今後
XB-DDCの順に蛇行して冷却風を流す一体冷却方式を採
もこのような状況に対応できる製品開発に向け積極的に
用した。
取り組む所存である。
なお，冷却風が蛇行して流れる複雑な形態であるた
め，熱流体シミュレーションにより冷却対象物の風量バ
ランスを詳細に検討した。その結果冷却ルート内に簡単
な風量調整板を付加することで，各冷却対象物の風量バ
FUJITSU.51, 4, (07,2000)
参考文献
（1） 結城，佐藤，市橋：GRANPOWER7000シリーズの高信頼
化技術． FUJITSU，49，1，pp.31-36（1998）
．
219