「冷却ネットワークとナノ流体伝熱による集中管理 型先進冷却システムの

グリーンネットワーク・システム技術研究開発プロジェクト
(グリーンITプロジェクト） 成果報告会： 2013年7月17日
「冷却ネットワークとナノ流体伝熱による集中管理
型先進冷却システムの開発」<2008 2012年度>
型先進冷却システムの開発」<2008〜2012年度>
株式会社 SOHKi（そーき）
独）産業技術総合研究所
国）九州大学 大学院工学研究院
国）宇都宮大 工学研究科
学際先端ｼｽﾃﾑ学専攻
* 発表者
深萱 正人*
阿部宜之
大田治彦 新本康久
佐藤正秀
飯村兼一
１
発表内容
１． 研究開発の背景、目的、目標
２． 研究開発の技術内容
研究開発 技術内容
３ 省エネルギ
３．
省エネルギー効果及び今後の課題
効果及び今後の課題
2
1.2 課題・目的及び目標値
１）課題：現状の空冷システムでは、空調機によりIT機器のみならず部屋、建屋等を必
ず
要以上に冷却しており、冷却効率が極めて悪い。
２）目的：サーバラック内、ラック間の液体冷却ﾈｯﾄﾜｰｸｼｽﾃﾑを開発し、IT機器を
２）目的
サ バラ ク内 ラ ク間の液体冷却ﾈ ﾄﾜ ｸｼｽﾃﾑを開発し IT機器を
冷却ネットワークシステムで集中管理的に冷却することで、空調消費電力を
大幅に抑制することを目的とする。
３）目標値：空調消費電力５０％以上削減。（空調電力はﾃﾞｰﾀｾﾝﾀ電力40%相当）
（ｸﾞﾘｰﾝITﾌﾟﾛｼﾞｪｸﾄ全体：ﾃﾞｰﾀｾﾝﾀ年間消費電力の省ｴﾈﾙｷﾞｰ３０％以上削減）
DC一般の空調
CPU温度を下げる
ために室内全体を
過剰にエアコンで
冷却。
冷却ﾈｯﾄﾜｰｸｼｽﾃﾑ
CPU発熱を選択的に
外部に放出し熱暴走を
防ぐことが可能となり
室内温度条件も緩和
室内温度条件も緩和。
3
２．研究開発の技術内容
⑤冷却ネットワーク
・効率的に外部に熱を放出
効率的に外部に熱を放出
・DC空調負荷源→省エネ
2.1 技術内容 2.1.1関連図
☆CPU冷却3方式を並行開発
①直接液冷
①
接
・単相流
〜２００W CPU
・沸騰二相流
〜３００W
②間接冷却
②
接
・ﾋｰﾄﾊﾟｲﾌﾟ
〜１００W
サーバCPU部
部
抜熱(冷却）
③ナノ流体
( 作動液）
高性能化
熱伝導性を向上
④プラグイン 冷却ﾈｯﾄﾜｰｸ接続技術
ラック内：一次冷却：フッ化炭化水素系
ラック外：単相流 二次冷却：水→外気熱交換
沸騰二相流 外気と熱交換後
4
2.1.2.研究開発項目・目標（液体冷却ﾈｯﾄﾜｰｸｼｽﾃﾑの要素技術開発）
研究開発項目（個別テーマ）
①直接液冷技術
・単相流及び沸騰２相流の
単相流及び沸騰２相流の
研究開発
②間接冷却技術
高性能ヒートパイプ(ﾋｰﾄｽﾌﾟﾚｯ
ﾀﾞｰ）技術の研究開発
③ナノ流体技術
③
流体技術
・伝熱促進技術の研究開発
④プラグイン技術
・冷却ネットワーク技術の
研究開発
⑤冷却ネットワーク
・実証に関する研究開発
研究開発目標
理由
単相流による冷却技術においては
100～200WのCPU冷却を目指す
沸騰２相流による冷却技術において
は300W以上のCPU冷却を目指す
汎用サーバー搭載のCPU、およびHPC
等の高性能機のCPUのロードマップに
より設定。
1.5～2mm厚の薄型ヒートパイプ複数
厚の薄型
ト イプ複数
本を用い、100WのCPU除熱時に
0.4K/W以下の熱抵抗値を目指す
実用薄型
実用薄型ヒートパイプでは達成不可能
ト イプでは達成不可能
な目標であるが、これまでの研究開発
成果より設定。
水溶液ベース、およびフッ化炭化水 実用ナノ流体では達成不可能であるが、
素系ベ
素系ベースで、粒子寸法、形状制御
粒
法
状制御 これまでの研究開発成果より設定。
れま
究開発成
設定
されたナノ流体を短時間（2分以下）、
低価格（200円/リットル以下）での合
成を目指す
ワンタッチで着脱でき、液漏れがなく、 ネットワークの実現に際して、必須の要
素技術とし設定。
熱抵抗の小さいコネクター、ケーブ
ルの開発を行う
サーバーラックの冷却ネットワークシ
ステムを用い、サーバールームでの
技術実証を目指す
◎省エネルギー目標値→空調電力５０％省エネ
プロジェクト終了後、早期の実用化を目
指すためには、プロジェクト最終年度に
運用実証を設定。
5
2.1.3. 研究開発の実施体制 (H23年度より委託研究→共同研究に変更）
ﾌﾟﾛｼﾞｪｸﾄﾘｰﾀﾞｰ
（独）産総研
指示
NEDO
協議
伊藤SPL
株式会社ＳＯＨＫｉ
[共同研究先]
・研究開発項目：
①直接液冷：単相流
④プラグイン
④プラグイ
⑤冷却ネットワーク
[共同実施]
産業技術総合研究所
②間接冷却
高性能ヒートパイプ
(ﾋｰﾄｽﾌﾟﾚｯﾀﾞｰ）技術
(ﾋ
ﾄｽﾌ ﾚｯﾀ ）技術
九州大学
・
①直接液冷：沸騰２相流
④プラグイン
宇都宮大学
③ナノ流体
伝熱促進技術
6
2.2 直接液冷：単相流（SOHKi)
2.2.1 単相流冷却ジャケット搭載 １Ｕサーバ改造評価
CPU部分からの抜熱・良好/選択的
空冷ファン省エネの可能性
CPU抜熱部分の冷却良好
(他デバイスの抜熱余地）
＜空冷＞
空冷ファン
12W×6
＜液冷＞
空冷ファン
12W×6
空冷ファン
全停止
ＣＰＵ－１
５７℃
２９℃
２９℃
ＣＰＵ ２
ＣＰＵ－２
５８℃
２９℃
２９℃
CPU： Intel Xeon E5540
2.53GHz 80 W×2
ファン： 12 W×6
冷却液体：フ 化炭化水素
冷却液体：フッ化炭化水素
（非水系による冷却）
入口温度： ２０℃
流量： 0.9 リットル/分
7
2.2.2 空冷部(CPU-1)と液冷部(CPU-2)の同時比較：冷却効果高
(参考）液冷化 より
(参考）液冷化によりファンレス化（産総研つくばﾓｼﾞｭﾗｰ型DC）
化（産総研 くば ｼﾞ
型 ） ファン省エネ化
省 ネ化
8
8
2.2.3 ｻｰﾊﾞｰ単体冷却から複数ｻｰﾊﾞｰ冷却へ → (ﾈｯﾄﾜｰｸ冷却：ﾗｯｸ連結)へ
模擬ｻｰﾊﾞｰﾗｯｸ搭載検討
→単相流でのラック単位
冷却実証
9
2.3 直接冷却：沸騰二相流（九州大学）：高発熱ﾃﾞﾊﾞｲｽ冷却用途
沸騰・二相冷却用薄型冷却ジャケットの構造と原理
空冷（２３１ Ｗ）
模擬サーバー冷却実験
沸騰２相流（２７８ Ｗ）
基板上模擬ＣＰＵの冷却実験結果（冷却効果有） 10
データサーバ用沸騰・二相冷却システム評価検証装置
模擬ｻｰﾊﾞｰ3台の同時冷却実証
• 300W発熱体を有する模擬サーバ3台
300W発熱体を有する模擬サ バ3台
• 時間経過による熱伝達特性安定
• 300W除熱時の伝熱面表面温度
90°C以下
•作動温度は高めだが除熱能力高い
模擬サーバ内の冷却ｼﾞｬｹｯﾄ
11
2.4 間接冷却：ヒートパイプ開発（産総研）
2.4.1薄型プレートタイプヒートパイプの開発
0.5
従来薄型ﾋｰﾄﾊ
従来薄型ﾋ
ﾄﾊﾟｲﾌﾟ：管圧延成形
ｲﾌ ：管圧延成形
変形含めて取り扱いに課題
R, K/W
R
04
0.4
従来ﾋｰﾄﾊﾟｲﾌﾟ技術
0.3
大幅に特性向上
0.2
0.1
0
0
20
40
Q, W
60
80
ﾌﾟﾚｰﾄﾀｲﾌﾟ試作品の熱輸送特性
薄板積層・熱＋圧接による成形
- レイアウト簡素化（幅広対応）
- 熱抵抗低減
- プラグイン・コネクター
プラグイン・コネクタ
- 長尺化及び部品とし剛性向上
ｻｰﾊﾞｰ実装・評価
12
2.4.2.薄型プレートタイプヒートパイプ（長尺化）の実装と評価
従来のプレート型ヒートパイプでは、凝縮部の液冷熱交換器がサーバー内に留まるため
（上図）、ヒートパイプ熱輸送システムの利点が十分に発揮されなかったが
（下図）長尺化（3.8mm×40mm×375mm）し、液体系をサーバー外に完全分離し
１Uｻｰﾊﾞｰに実装し実機評価を実施。 間接冷却とし実用域の冷却特性を示す↓
長尺ヒートパイプ冷却におけるCPU温度
長尺ヒ
トパイプ冷却におけるCPU温度
60
CP
PU case Te
emp., °C
55
50
45
40
25%
35
30
長尺ヒートパイプ
0
50%
1
75%
2
Time, hour
100%
3
4
13
2.5 ナノ流体（作動液：伝熱促進技術）開発（宇都宮大）
ナノ流体
流体
合成・分散
銀ナノ粒子／ナノワイヤ分散型
ヒートパイプ作動液への適用検討
<アルコール系水溶液へ銀ナノ粒子添加>
系水溶液 銀ナ 粒 添
分散
ナノ水滴分散型
単相流・沸騰２層流への適用検討
＜フッ化炭化水素系へナノ水添加>
＜フッ化炭化水素系
ナ 水添加>
目的：ナノ粒子を添加する事で、伝熱促進による
目的
ナノ粒子を添加する事で 伝熱促進による
冷却特性などの改善を狙う
応用：高熱伝導性ペースト、シート等へ
簡易型マイクロ波合成装置
14
2.5.1 銀（Ag）ナノ流体の開発
PVP保護層
保護層
Agナノ粒子
2CH2OH – CH2OH
CH3COCOCH3 ＋ 2H2O ＋ 2H＋
+ polyvinylpyrrolidone
(PVP)
Agナノワイヤ
2Ag＋
PVP保護層
Single Crystals and Twins
PVP40kAgナノ流体
ﾅﾉ粒子
1.20
PVP55kAgナノ流体（アスペクト比 1,000）
＜熱伝導率評価＞
ﾅﾉﾜｲﾔｰ
1.20
球状Ag粒子
H-C Model
Measured at 30℃
H-T Model
Measured at 30℃
k/k 0
k/k0
1.10
←有効熱伝導率
ﾅﾉﾜｲﾔｰ〜1
ﾅﾉﾜｲﾔ
〜1.12倍
12倍
（ヒートパイプ等への適用検討）
1.10
1 00
1.00
1.00
0.90
0
0.2
0.4
0.6
0.8
volume fraction ( % )
1
0
0.2
0.4
0.6
volume fraction ( % )
0.8
1
15
1.5
R, K//W
1
0.5
0
0
25
50
75
100
125
Q W
Q,
銀ナノ・ワイヤ流体を用いた薄型ヒートパイプ
（1.5mm×8.7mm×150mm）の熱輸送特性
１００Wを越える熱輸送能力を示す
（比較・同形状の従来タイプは75W未満）
16
2.5.2 水滴分散型ナノ流体
フッ化炭化水素系
電気絶縁性，不燃・引火点なし，熱的・化学的安定性，低環境負荷
欠点：伝熱性能が低い→改良目的
ベース流体 (HFE‐7200)+超純水+界面活性剤
平均水滴径100〜110nmﾅﾉ水滴分散ナノ流体
13
1.3
@ 30℃
k/k0
1.2
run1
run2
run3
1.1
1
0.9
↑ベース流体HFE7200に比べ
1 1 1 2倍熱伝導率が向上
1.1〜1.2倍熱伝導率が向上
sampleA
sampleB
sampleC
sampleD
Water
conc.
[wt. %]
0.59
1.17
0.59
1.17
AOT： DFHA
（モル比）
1:10
1:10
1:5
1:5
water：surfactant Surfactant conc.
[wt. %]
（モル比）
9: 1
9: 1
8: 1
8: 1
0.64
1.32
0.74
1.47
17
HFE-7200ベース 水滴分散型ナノ流体添加による抜熱の検証
ナノ水滴濃度 大
ヒーター熱量： 100W
ナノ水滴濃度 小
・ナノ水滴濃度大:最大２℃レベル表面温度低下効果、約20%流量低減効果
18
2.6 プラグイン技術（SOHKi）
2 6 1 プラグインCPU冷却ジャケットの開発
2.6.1
↑固定式
CPU冷却ジャケ ト
CPU冷却ジャケット
CPU冷却ｼﾞｬｹｯﾄ
↑プラグイン
CPU冷却ジャケット
熱抵抗(K/W)
(100Wﾋｰﾀｰ測定）
固定式
0 27
0.27
プラグイン方式
0.27
←CPU装着状態
装着状態
（着脱可能により冷却ﾈｯﾄ
ﾜｰｸ作業性向上）
19
2.6.2 プラグインサーバー開発
（CPUプラグイン チ
（CPUプラグイン、チューブ及びサーバー試作開発）
ブ及びサ バ 試作開発）
CPUプラグイン（垂直取り付けタイプ）
プラグイン対応試作サーバー（２U))
ラック搭載→
CPUプラグイン（水平取り付けタイプ）
20
2.7 冷却ネットワーク・実証に関する研究開発(SOHKi)
2 7 1 冷却ネットワークの構成
2.7.1
冷却ネ トワ クの構成
液冷（単相流）をラック内及びラック間で冷却ネットワークを構築し実証評価
21
2.7.2 ブース型データセンタ実験室の構築
室外
熱交換
チラー
チラ
→ｸｰﾘﾝｸﾞﾀﾜｰ
ブレード (NEC)ラック
(Xeon X5670 2.93GHz
95W×2 下段Tesla GPU)
95W×2,
１Ｕ (Stingley)×10段ラック
(Xeon E5540 2.53GHz 80W×2)
１Ｕ (Dell)×36段ラック
(Pentium 4
2.66GHz 66W)
22
3．省エネルギー効果、研究開発達成及び課題
3.1.消費電力
1）ブース型データセンタ：空調機（エアコン）冷却（25℃）
）ブ
型デ タセ タ 空調機（
）冷却（ ℃）
ＩＴ機器 約10.2ｋW(相当）に対して約3.54ｋＷ（空調電力）
*ＰＵＥ＝1.35
2)ブース型データセンタ：冷却ネットワークシステムによる
ＩＴ機器
機器 約
約10.2ｋW(相当）に対して約1.49ｋＷ（ポンプ＋ｸｰﾘﾝｸﾞﾀﾜｰ等）
(相当）に対して約
（ポン
ｸ ﾘﾝｸ ﾀﾜ 等）
*PUE=1.15(今後の改善含み有）
33.2.省エネ効果：空調電力削減の効果
2 省エネ効果：空調電力削減の効果
(3.54ｰ1.49)kW/3.54kW=約58% （目標値達成）
*PUE: Power Usage
g Effectiveness
（IT機器消費電力＋空調電力）/IT機器消費電力
23
3.3.研究開発達成状況
研究開発項目（個別テ マ）
研究開発項目（個別テーマ）
①直接液冷技術
・単相流及び沸騰２相流の
研究開発
②間接冷却技術
高性能ヒートパイプ(ﾋｰﾄｽﾌﾟﾚｯ
ﾀﾞｰ）技術の研究開発
③ナノ流体技術
・伝熱促進技術の研究開発
④プラグイン技術
・冷却ネットワーク技術の
研究開発
⑤冷却ネットワーク
⑤冷却ネットワ
ク
・実証に関する研究開発
研究開発目標
達成状況
単相流による冷却技術においては
100～200WのCPU冷却を目指す
沸騰２相流による冷却技術において
沸騰
相流
る冷却技術 お
は300W以上のCPU冷却を目指す
◎達成：単相流及び沸騰２層流の
冷却能力を達成
1.5～2mm厚の薄型ヒートパイプ複数
本を用い、100WのCPU除熱時に
以 の熱抵抗値を目指す
0.4K/W以下の熱抵抗値を目指す
◎達成：プレート型ヒートパイプの
開発により目標達成
水溶液ベース、およびフッ化炭化水
素系ベースで、粒子寸法、形状制御
されたナノ流体を短時間（2分以下）
されたナノ流体を短時間（2分以下）、
低価格（200円/リットル以下）での合
成を目指す
○達成するも課題含み
ナノ流体としての冷却特性につい
て伝熱促進の系を見いだし、コス
伝熱促進 系を見 だし
ト可能性を示すも実機検討に課題
ワンタッチで着脱でき、液漏れがなく、 ◎達成：プラグインコネクタ
◎達成：プラグインコネクター等を
等を
熱抵抗の小さいコネクター、ケーブ
開発しネットワーク組込み
ルの開発を行う
サーバーラックの冷却ネットワークシ
ステムを用い、サーバールームでの
技術実証を目指す
◎達成：ブース型データセンタ実
験室を構築しネットワーク構築及
び省エネを達成
◎省エネルギー目標値→空調電力５０％省エネ 達成！
・特許出願６件 誌上発表論文 12件 研究発表 31件 プレス発表・展示会等 7件
24
3.４ 今後の課題
１）ファン停止・IT機器消費電力アップ含めた省エネ効果の改善検討
２）実用化及び実証化の研究開発を含めた2014年度の実業化
3.5 波及効果（直近）
１）モジュラー型データセンタ NEDO加速P/J（産総研等）向け液冷システム活用
２）デ タセンタ関係事業者との技術検討のコラボレ ション開始
２）データセンタ関係事業者との技術検討のコラボレーション開始
３）HPC化コンテナ&ブース型DCへの適用可能性についての検討開始
４）省エネ性の更なる改善（継続研究）及び再生可能エネルギーとの連携
25