VFS and Block I/O

VFS and Block I/O
VA Linux Systems Japan
Hirotaka.Sasaki
[email protected]
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.
目次
●　ファイルシステム概要
●　VFS（仮想ファイルシステム）
●　ページキャッシュとバッファキャッシュ
●　ブロックI/O共通レイヤ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ファイルシステム概要
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.
ファイルシステムとは？
記憶デバイス上のデータをファイルという論理的な
構造で抽象化し利用するための機構
●　論理的なファイルと物理的なディスクブロックの対応を管理
●　ファイルに対するアクセス要求を、ディスクブロックへのアク
セス要求へ変換
●　ファイルの生成、拡張、削除に応じた、ディスクブロックの割
り当て
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ファイルシステムのレイヤ構造
システムコールエントリ　open() read() write() lseek() close() …
ＶＦＳ
ｉノードキャッシュ
ページキャッシュ
ページキャッシュ I/O
共通ルーチン
バッファキャッシュ
バッファ I/O
共通ルーチン
ｅｘｔ２
ｅｘｔ３
ｉｓｏ９６６０
・
・
・
ブロック I/O 共通レイヤ
Ｌｏｏｐ
デバイス
ＬＶＭ
ｄｅｎｔｒｙキャッシュ
ｐｒｏｃ
ＮＦＳ
kernel
内部データ
ＲＰＣ
ＴＣＰ／ＩＰ
ＳｏｆｔＷａｒｅ
Ｒａｉｄ
ブロック型デバイスドライバ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ＮＩＣドライバ
ＶＦＳの概要
read (ファイルB)
read (ファイルA)
ＶＦＳ
sys_read()
ｅｘｔ２用ファイル操作テーブル
ｅｘｔ2用ファイルリード関数（）
ｉｓｏ９６６０用ファイル操作テーブル
iso9660用ファイルリード関数（）
ｅｘｔ２
iso9660
ファイルA
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ファイルB
さまざまなファイルシステム
●　ローカルファイルシステム
ー　ローカルディスク上のファイルシステム
－　Ｌｉｎｕｘの標準はｅｘｔ２ファイルシステム
－　他、ＦＦＳ（ＢＳＤ）、ＶＦＡＴ（Ｗｉｎ９８）、ｉｓｏ９６６０など多数
－　ｅｘｔ３、ＸＦＳなどのジャーナリングＦＳもサポート
●　ネットワークファイルシステム
－　ネットワークの先にあるファイルシステムを共有
－　代表的（Ｕｎｉｘ系）なものはＮＦＳ
－　他、ＣＯＤＡ、ＳＭＢ、ＮＣＰ、Ｉｎｔｅｒｍｅｚｚｏなど
●　特殊なファイルシステム
－　ｐｒｏｃファイルシステム
－　ｋｅｒｎｅｌ内部データをファイルとして抽象化
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ブロックＩ／Ｏ共通レイヤ
●　ディスクブロックのアクセス要求をもとに
ブロック型デバイスドライバを起動
●　ファイルシステム構造には関与しない
●　バッファＩ／Ｏ要求のクラスタリング
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
さまざまなキャッシュ
キャッシュによる処理の高速化
●　ページキャッシュ
（ファイルデータのキャッシュ）
●　バッファキャッシュ
（ディスクブロックのキャッシュ）
●　ｉノードキャッシュ
●　ｄｅｎｔｒｙキャッシュ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ＶＦＳ
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.
ＶＦＳのデータオブジェクト
●　ｆｉｌｅ_ｓｙｓｔｅｍ_ｔｙｐｅオブジェクト
●　ｓｕｐｅｒ_ｂｌｏｃｋオブジェクト
●　ｉｎｏｄｅオブジェクト
●　ｄｅｎｔｒｙオブジェクト
●　ｆｉｌｅオブジェクト
●　ａｄｄｒｅｓｓ_ｓｐａｃｅオブジェクト
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｉノードオブジェクト
ｓｔｒｕｃｔ　ｉｎｏｄｅ　｛
ｉノード番号；
利用カウンタ；
デバイス番号；
ハードリンク数；
：
ｕｎｉｏｎ　｛
ｍｉｎｉｘ固有のｉノード情報；
ｅｘｔ２固有のｉノード情報；
：
｝
｝
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｍｉｎｉｘ固有のｉノード情報
ｅｘｔ２固有のｉノード情報
ｅｘｔ３固有のｉノード情報
ｎｆｓ固有のｉノード情報
：
ｉノードオブジェクトとｄｅｎｔｒｙオブジェクト
ファイルの管理情報
ファイル名とディレクトリ階層
ｄｅｎｔｒｙ
ｉｎｏｄｅ
ｉ_ｄｅｎｔｒｙ；
ｄ_ｉｎｏｄｅ；
ｄ_ａｌｉａｓ；
ｄ_ｎａｍｅ；
ｄ_ｉａｍｅ；
１５文字までの名前
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
１６文字以上
の名前
プロセスとファイル
プロセス　（ｓｔｒｕｃｔ　ｔａｓｋ_ｓｔｒｕｃｔ）
：
ｆｓ；
ｆｉｌｅｓ；
ｆｄ配列
ｆｉｌｅオブジェクト
０
１
ｆｉｌｅオブジェクト
２
３
ｆｉｌｅオブジェクト
４
：
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｆｉｌｅオブジェクト
：
ＶＦＳとファイルシステムのＩ／Ｆ
●　ｓｕｐｅｒ_ｂｌｏｃｋ読み込みメソッド
（ｆｉｌｅ_ｓｙｓｔｅｍ_ｔｙｐｅオブジェクトのｒｅａｄ_ｓｕｐｅｒメンバ）
●　ｓｕｐｅｒ_ｏｐｅｒａｔｉｏｎｓテーブル
（ｓｕｐｅｒ_ｂｌｏｃｋオブジェクトのｓ_ｏｐメンバ）
●　ｉｎｏｄｅ_ｏｐｅｒａｔｉｏｎｓテーブル
（ｉｎｏｄｅオブジェクトのｉ_ｏｐメンバ）
●　ｄｅｎｔｒｙ_ｏｐｅｒａｔｉｏｎｓテーブル
（ｄｅｎｔｒｙオブジェクトのｄ_ｏｐメンバ）
●　ｆｉｌｅ_ｏｐｅｒａｔｉｏｎｓテーブル
（ｆｉｌｅオブジェクトのｆ_ｏｐメンバ）
●　ａｄｄｒｅｓｓ_ｓｐａｃｅ_ｏｐｅｒａｔｉｏｎｓテーブル
（ａｄｄｒｅｓｓ_ｓｐａｃｅオブジェクトのａ_ｏｐｓメンバ）
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ＶＦＳとファイルシステムのＩ／Ｆ（通常ファイル）
ＶＦＳ
ｆｉｌｅ
f_dentry;
f_op;
ｉｎｏｄｅ
ｄｅｎｔｒｙ
d_inode;
d_op;
i_op;
i_mapping;
i_data;
ｆｉｌｅ
f_dentry;
f_op;
ｉｎｏｄｅ
ｄｅｎｔｒｙ
d_inode;
d_op;
i_op;
i_mapping;
i_data;
host;
a_ops;
ｎｆｓ_ｆｉｌｅ_ａｏｐｓ
ｎｆｓ_ｆｉｌｅ_ｉｎｏｄｅ_ｏｐｅｒａｔｉｏｎｓ
ｎｆｓ_ｄｅｎｔｒｙ_ｏｐｅｒａｔｉｏｎｓ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｎｆｓ_ｆｉｌｅ_ｏｐｅｒａｔｉｏｎｓ
ｅｘｔ２_ａｏｐｓ
ｅｘｔ２_ｆｉｌｅ_ｉｎｏｄｅ_ｏｐｅｒａｔｉｏｎｓ
未定義　ｅｘｔ２_ｆｉｌｅ_ｏｐｅｒａｔｉｏｎｓ
ＥＸＴ２
host;
a_ops;
ＮＦＳ
パスの解析
／ｂａｒ／ｆｏｏ
パスの解析
ｄｅｎｔｒｙ
／
ｉｎｏｄｅ
ｄｅｎｔｒｙ
ｂａｒ
ｉｎｏｄｅ
ｄｅｎｔｒｙ
ｆｏｏ
ｉｎｏｄｅ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ファイルのオープン
ｏｐｅｎ（／ｂａｒ／ｆｏｏ）
ファイルのオープン
ｆｄ
ｔａｓｋ_ｓｔｒｕｃｔ
パス解析
ｆｉｌｅ
ｆｄ
ファイルの
オープン
状態管理
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｆｏｏ
ｄｅｎｔｒｙ
ｉｎｏｄｅ
ファイルの読み込み
ｒｅａｄ（ｆｄ）
ｆｄ
ファイルのオープン
ファイルの読み込み
依頼先を決定
ｆｄ
読み込み依頼
EXT2
NFS
EXT３
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｆｉｌｅ
ｄｅｎｔｒｙ
ｉｎｏｄｅ
ページキャッシュ
と
バッファキャッシュ
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.
ファイルＩ／Ｏの処理階層
ＶＦＳ
ファイル
ページキャッシュI／Ｏ
ページキャッシュ
バッファキャッシュＩ／Ｏ
Ｐａｇｅ
Ｐａｇｅ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｐａｇｅ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
バッファキャッシュ
Ｉ／Ｏリクエスト
ブロックＩ／Ｏ
デバイスドライバ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
Ｂｈ
バッファキャッシュI／Ｏの概要
バッファI／Ｏ要求
デバイス番号；
ブロック番号；
I/O待ち
起床
I／Ｏ完了通知関数；
（ｅｎｄ_ｂｕｆｆｅｒ_ｉｏ_ｓｙｎｃ）
バッファキャッシュI/O
ｅｎｄ_ｂｕｆｆｅｒ_ｉｏ_ｓｙｎｃ
ブロックI/O
デバイスドライバ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
I/O完了通知
実行再開
バッファのＩ／Ｏ要求
ｂｕｆｆｅｒ　I/O要求
ｂｕｆｆｅｒ　I/O要求
バッファキャッシュI/O
ｌｌ_ｒｗ_ｂｌｏｃｋ
ｓｕｂｍｉｔ_ｂｈ
I/Oリクエストキュー
ブロックI/O
デバイスドライバ
ｂｕｆｆｅｒ　I/O要求
ｂｕｆｆｅｒ　I/O要求
I/Oリクエスト
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
バッファのＩ／Ｏ実行
ｗａｉｔ_ｏｎ_ｂｕｆｆｅｒ
バッファキャッシュI/O
ｒｕｎ_ｔａｓｋ_ｑｕｅｕｅ
I/Oリクエストキュー
ブロックI/O
デバイスドライバ
ｂｕｆｆｅｒ　I/O要求
ｂｕｆｆｅｒ　I/O要求
I/Oリクエスト
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ファイルとページキャッシュ
ｉｎｏｄｅ
ｍａｐｐｉｎｇ；
ｄｅｎｔｒｙ
ａｄｄｒｅｓｓ_ｓｐａｃｅ
ａｄｄｒｅｓｓ_ｓｐａｃｅ_ｏｐｅｒａｔｉｏｎｓ
ｎｒｐａｇｅｓ（３）；
ｗｒｉｔｅｐａｇｅ
ｒｅａｄｐａｇｅ
ｓｙｎｃ_ｐａｇｅ
ａ_ｏｐｓ；
ｃｌｅａｎ_ｐａｇｅｓ；
ｄ_ｉｎｏｄｅ；
ｈｏｓｔ；
：
ｆｉｌｅ
ｆ_ｄｅｎｔｒｙ；
ｆ_ｐｏｓ；
ファイル
０
ｐａｇｅ
ｌｉｓｔ；
ｉｎｄｅｘ（０）；
ｍａｐｐｉｎｇ；
１
ｐａｇｅ
２
ｌｉｓｔ；
ｉｎｄｅｘ（１）；
ｍａｐｐｉｎｇ；
：
ｐａｇｅ
ｌｉｓｔ；
ｉｎｄｅｘ（ｎ）；
ｎ
ｍａｐｐｉｎｇ；
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
メモリ空間
ページキャッシュI／Ｏの概要
ファイル
ページキャッシュI/O
Ｐａｇｅ　I/O要求
I/O待ち
起床
バッファキャッシュI/O
ｂｕｆｆｅｒ　ｂｕｆｆｅｒ　ｂｕｆｆｅｒ　I/O要求
ｂｕｆｆｅｒ　I/O要求
I/O要求
I/O要求
ｅｎｄ_ｂｕｆｆｅｒ_ｉｏ_ａｓｙｎｃ
ブロックI/O
デバイスドライバ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
I/O完了通知
実行再開
通常ファイル読み込みの流れ
ページキャッシュ I/O
ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｒｅａｄ
ｄｏ_ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｒｅａｄ
ｇｅｎｅｒｉｃ_ｒｅａｄａｈｅａｄ
ファイル
キャッシュ検索
Page
ｅｘｔ２_ａｐｏｓ（アドレススペース操作テーブル）
Page
Page
ｒｅａｄｐａｇｅメソッド
EXT2
：
ｅｘｔ２_ｒｅａｄｐａｇｅ
ｅｘｔ２_ｇｅｔ_ｂｌｏｃｋ
ｂｌｏｃｋ番号取得
Page
ｂｒｅａｄ
ｂｌｏｃｋ_ｒｅａｄ_ｆｕｌｌ_ｐａｇｅ
キャッシュ検索
バッファキャッシュ I/O
ｌｌ_ｒｗ_ｂｌｏｃｋ
ｓｕｂｍｉｔ_ｂｈ
ブロック I/O
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｂｈ
ｂｈ
ｂｈ
ｂｈ
通常ファイルの書き込み
●　ｐｒｅｐａｒｅ_ｗｒｉｔｅ
●　書き込みデータコピー
●　ｃｏｍｍｉｔ_ｗｒｉｔｅ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
通常ファイル書き込みの流れ（ｐｒｅｐａｒｅ_ｗｒｉｔｅ）
ページキャッシュ I/O
ファイル
ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｗｒｉｔｅ
キャッシュ検索
Page
ｅｘｔ２_ａｐｏｓ（アドレススペース操作テーブル）
Page
Page
ｐｒｅｐａｒｅ_ｗｒｉｔｅメソッド
EXT2
：
データを書き込む部分
ｅｘｔ２_ｇｅｔ_ｂｌｏｃｋ
ｅｘｔ２_ｐｒｅｐａｒｅ_ｗｒｉｔｅ
ｂｌｏｃｋ番号取得
ｂｒｅａｄ
ｂｌｏｃｋ_ｐｒｅｐａｒｅ_ｗｒｉｔｅ
バッファキャッシュ I/O
キャッシュ検索
Page
読み込み要求
ｌｌ_ｒｗ_ｂｌｏｃｋ
ｂｈ
ブロック I/O
ｓｕｂｍｉｔ_ｂｈ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｂｈ
通常ファイル書き込みの流れ（ｃｏｍｍｉｔ_ｗｒｉｔｅ）
ページキャッシュ I/O
ファイル
ｇｅｎｅｒｉｃ_ｆｉｌｅ_ｗｒｉｔｅ
Page
ｅｘｔ２_ａｐｏｓ（アドレススペース操作テーブル）
Page
Page
ｃｏｍｍｉｔ_ｗｒｉｔｅメソッド
EXT2
：
ｆｌｕｓｈｔｉｍｅ
Ｄｉｒｔｙ
ｇｅｎｅｒｉｃ_ｃｏｍｍｉｔ_ｗｒｉｔｅ
ｂｈ
ｆｌｕｓｈｔｉｍｅ
Ｄｉｒｔｙ
ｂｈ
__ｍａｒｋ_ｄｉｒｔｙ
__ｂｌｏｃｋ_ｃｏｍｍｉｔ_ｗｒｉｔｅ
ｂｌａｎｃｅ_ｄｉｒｔｙ
ｂｄｆｌｕｓｈデーモン
ｂｌａｎｃｅ_ｄｉｒｔｙ_ｓｔａｔｅ
起床
ｗａｋｅｕｐ_ｂｄｆｌｕｓｈ
バッファキャッシュ I/O
ｗｒｉｔｅ_ｓｏｍｅ_ｂｕｆｆｅｒｓ
ｂｕｆｆｅｒ　ＷＲＩＴＥ要求
ブロック I/O
ｓｕｂｍｉｔ_ｂｈ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ｂｄｆｌｕｓｈとｋｕｐｄａｔｅデーモン
●　ｂｄｆｌｕｓｈデーモン
－　Dirty属性（遅延書き込み）のバッファが一定数
以上になったらディスクに書き戻す
●　ｋｕｐｄａｔｅデーモン
－　Dirty属性になって一定時間を経過したバッファ　をディスクに書き戻す
●　その他のディスクへの書き戻し処理
－　ｕｐｄａｔｅコマンド（ｂｄｆｌｕｓｈシステムコール）
－　ｓｙｎｃコマンド（ｓｙｎｃシステムコール）
－　空きメモリの枯渇
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
ブロックＩ／Ｏ共通レイヤ
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.
バッファI/OとブロックI/O
バッファI/O
－　ブロック単位で処理
－　ブロックサイズはファイルシステム依存
（ページサイズは超えられない）
ｂｌｏｃｋ
ブロックI/O共通レイヤ
sector
sector
sector
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
sector
－　セクタ単位で処理
－　セクタサイズは５１２バイト
（ファイルシステムサイズの制限）
I/Oリクエストの作成
VFS
buffer
I/O
buffer
I/O
buffer
I/O
buffer
I/O
バッファキャッシュI/O
ｓｕｂｍｉｔ_ｂｈ
ｔｑ_ｄｉｓｋ
ｇｅｎｅｒｉｃ_ｍａｋｅ_ｒｅｑｕｅｓｔ
ｌｏｏｐ__ｍａｋｅ_ｒｅｑｕｅｓｔ
__ｍａｋｅ_ｒｅｑｕｅｓｔ
I/Oタスクキュー
．．．
ブロックI/O
IDE
SCSI
ｒｅｑｕｅｓｔキュー
ｒｅｑｕｅｓｔキュー
ｒｅｑｕｅｓｔキュー
I/O
リクエスト
I/O
リクエスト
I/O
リクエスト
ブロックデバイスドライバ
I/O
リクエスト
I/O
リクエスト
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
I/O
リクエスト
I/Oタスクの実行
ｒｕｎ_ｔａｓｋ_ｑｕｅｕｅ（ｔｑ_ｄｉｓｋ）
ｔｑ_ｄｉｓｋ
I/Oタスクキュー
ｔａｓk実行ルーチン
・・
ｇｅｎｅｒｉｃ_ｕｎｐｌｕｇ_ｄｅｖｉｃｅ
ブロックI/O
IDE
SCSI
ｒｅｑｕｅｓｔキュー
ｒｅｑｕｅｓｔキュー
ｒｅｑｕｅｓｔキュー
I/O
リクエスト
I/O
リクエスト
I/O
リクエスト
ブロックデバイスドライバ
I/O
リクエスト
I/O
リクエスト
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
I/O
リクエスト
ブロックＩ／Ｏのクラスタリング
ｂｕｆｆｅｒI/O要求
ｒｅｑｕｅｓｔ_ｑｕｅｕｅ
ｒｅｑｕｅｓｔ
ｒｅｑｕｅｓｔ
ｒｅｑｕｅｓｔ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｒｅｑｕｅｓｔ_ｑｕｅｕｅ
ｒｅｑｕｅｓｔ
ｒｅｑｕｅｓｔ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
ｂｕｆｆｅｒ_ｈｅａｄ
Copyright (C) 2002, VA Linux Systems Japan K.K., All rights reserved.
おわり
http:/valinux.co.jp/
Copyright© 2002, VA Linux Systems Japan K.K. All right reserved.