画像内特徴抽出に基づく非写実的描画方法の検討

特 別 研 究 報 告 書
題
目
画像内特徴抽出に基づく非写実的描画方法の検討
～芸術的効果生成のための画像処理ソフトウェアの開発～
A study of Non-Photorealistic Rendering
based on feature extraction of two-dimensional digital images
～Development of an image processing software for artistic effects generation～
指 導 教 員
山本 真行
助教授
報 告 者
学籍番号：1095323
氏名：渡辺 量也
平成 19 年
高知工科大学大学院
2 月 19 日
工学研究科
基盤工学専攻
電子・光システム工学コース
論文概要
1､ 目的
各種ディジタル機器の普及によりディジタル画
像処理が一般化され，その需要と重要性が増して
いる．取得した画像（写真）から多様な効果を持
った画像を誰でも簡単に生成できることは，単に
【処理フロー】対象画像入力→階調数低減→エッ
ジ検出・付加→ランダムテクスチャマッピング→
ハイライトぼかし→ストローク付加→輪郭検出・
付加→テクスチャマッピング→結果画像出力
撮影した画像という用途を超えて，新たな素材と
して活用できるといえる．
図２
処理フロー
ジ検出，テクスチャマッピング，ストローク生成
本研究は，コンピュータ画像処理によって２次
などが挙げられる．鉛筆画に特化した処理手法で
元ディジタル画像に非写実的効果を与えることに
は，これらを図２に示す流れで組み合わせること
より，多様な表現の画像を自動生成させるシステ
を様々な試行の結果から見出し，最終的に一括処
ムの構築，及びそれに特化した画像処理ソフトウ
理可能な機能を有するソフトウェアが仕上がった．
ェアの開発を目的とする．
2､ ソフトウェア開発
非写実的効果とは，油彩画調，水彩画調，鉛筆
4､ 処理結果
本研究で開発した画像処理ソフトウェアにより
生成された鉛筆画風画像の生成例を図３に示す．
画調など様々な表現効果のことを示す．これらの
関連研究や関連ソフトウェアの現状を踏まえ，本
研究では特に鉛筆画の生成に着目し，既存処理の
考察・検討を行い鉛筆画効果の生成方法を開発し
た．さらに，その応用として認識技術を取り入れ
た際の局所処理による顔画像の非写実化処理につ
いて検討した．
3､ 処理フロー
さまざまな画像処理フィルタや濃度変換処理を
組み合わせることにより，非写実的効果を生成さ
せる．図 1 のような処理機能を実装したソフトウ
ェアを開発し非写実的効果の生成を行った．主な
処理項目としては，階調数低減，輝度補正，エッ
図３
鉛筆画処理実行結果(高知工科大学A棟)
5､ 考察とまとめ
画像に非写実的効果を与え，様々な美術的表現を
持つ画像を自動生成させるシステムを構築した．同
システムを用いた検討の結果，画像の濃度分布を考
慮した多様な角度のストロークの重ね書きによっ
て，良好な鉛筆画風画像を短時間かつ簡潔なプロセ
スで生成することに成功した(図３)．人物画の顔画
像においては局所的に処理を施すことによる結果
図 1 非写実的画像生成ソフトウェア
画像に対する影響を調べ，局所処理の適用による画
質改善について良好な結果が得えられた．
目次
第１章
序論 .................................................................. 1
1.1 背景と目的 ............................................................. 1
1.2 論文構成 ............................................................... 3
第２章
非写実的表現 .......................................................... 4
2.1 非写実的効果・非写実的画像とは.......................................... 4
2.2 芸術的効果（表現の多様性）.............................................. 5
2.3 非写実的画像の生成に関する研究・取り組み................................ 5
2.3.1
NON-PHOTO REALISTIC RENDERING(NPR)................................ 5
2.3.2
SYNERGISTIC IMAGE CREATOR (SIC)................................... 6
2.4 関連分野・活用分野...................................................... 6
2.5 既存の画像処理ソフトウェア.............................................. 6
2.6 非写実的画像作成に特化した画像処理ソフトウェアの開発 .................... 7
2.6.1 開発環境・動作環境 ................................................ 7
2.6.2 GUI設計 ........................................................... 7
第３章
コンピュータにおける画像処理 .......................................... 9
3.1 ディジタル ............................................................. 9
3.1.1 アナログからディジタルへの変換 ................................... 10
3.1.2 ディジタル画像の表現 ............................................. 11
3.2 コンピュータ画像処理................................................... 20
3.2.1 画像処理技術 ..................................................... 20
3.2.2 具体的画像処理例（特徴量の抽出・比較・認識） ..................... 21
第４章
鉛筆画風画像の生成 ................................................... 28
4.1 鉛筆画の特徴........................................................... 28
4.2 鉛筆画風画像生成方法の検討............................................. 30
4.3 ストロークによる鉛筆画風画像生成....................................... 31
4.3.1 処理の流れ ....................................................... 31
i
4.3.2
4.3.3
4.3.5
4.3.6
4.3.7
階調数の操作 ..................................................... 34
輪郭抽出 ......................................................... 37
ストローク ....................................................... 40
ぼかし ........................................................... 41
テクスチャ ....................................................... 42
4.4 ストロークのクロスハッチング技法、ストロークの重ね描画 ................. 44
4.5 完成画像からの新たなアプローチ......................................... 45
4.6 輝度の調整 ............................................................ 47
4.7 顔画像認識技術を利用した非写実効果生成手法の提案 ....................... 49
4.7.1 顔画像における自動処理の問題点 ................................... 49
4.7.2 局所処理の方法 ................................................... 49
５章
結果 ................................................................... 51
5.1 鉛筆画風画像生成....................................................... 51
5.2 顔画像における局所処理の適用........................................... 52
5.3 ソフトウェア開発....................................................... 54
第６章
考察・問題点と課題 ................................................... 56
6.1 考察・問題点と課題..................................................... 56
6.1.1
6.1.2
6.1.3
6.1.4
ソフトウェア ..................................................... 56
初期画像及び処理パラメータの結果画像への影響 ..................... 57
処理方法 ......................................................... 57
感性表現と評価方法 ............................................... 57
6.2 展望・将来性........................................................... 58
第７章
結論 ................................................................. 59
謝辞 ......................................................................... 60
参考文献 ..................................................................... 61
付録 ......................................................................... 63
ii
第１章 序論
本章では、研究の背景と主なる目的、および本論文の構成を示す。
1.1 背景と目的
近年、パーソナルコンピュータ（パソコン＝PC）はその性能を上げ益々発展し「各家庭
に 1 台」から「各自１台」へと、更なる普及を見せている。企業ではなく一般家庭でもコ
ンピュータの知識さえあれば、ある程度高度な処理が行えるようになった。また、コンピ
ュータだけでなく、ディジタルカメラやプリンタ・スキャナなどの高性能化と低価格化に
より、個人でもある程度高度な作業が可能となった。例えば、ディジタルカメラで撮影し
た写真を自宅でレタッチ加工してプリントアウトしたり、ディジタルビデオカメラで撮影
した動画を編集しメディアに記録させたり、画像処理（加工や補正）を行いブログやホー
ムページなどのＷＥＢ素材を制作したりできるほか、ポスター・年賀状などに使用する画
像のデザインなども個人で簡単に行える。さらに、その他の用途としては、アニメ・映画、
ゲーム、をはじめとしたエンターテイメント分野、医療分野、工業分野など様々である。
私たちの生活の様々な場面でディジタル画像が扱われており、画像処理知識の少ない人で
も扱うことが容易に可能になってきた。しかし、身近になってきた反面、画像処理知識の
ない人や、デザイン加工の不得意な人などにとってはコンピュータ（ここでは主に画像処
理ソフトウェア）というもの扱いが難しく感じるのが現状である。
そこで、これらディジタル画像処理の需要と重要性を踏まえ、解析、処理・加工、再生
成などの工程を自動化しディジタル画像（写真）から多様な効果を持った画像を誰でも簡
単に生成させることが出来れば、それは同時に表現の幅を広げ、ディジタル画像が単に撮
影した画像という用途を超えて新しいコミュニケーションの道具のひとつとして活用でき
るのではないかと考えた。
本研究では、この多様な表現の作成というものをテーマに、具体的には非写実的な画像
を自動で簡単に生成できることを目指した。主な研究目的は、コンピュータ画像処理によ
ってディジタル画像に非写実的画像効果（芸術的効果）を与え様々な表現の画像を自動生
成させるシステムの構築、及びそれに特化した画像処理ソフトウェアを開発することであ
る（図 1.1 研究概念図参照）。
本論文では特に、鉛筆画風画像の生成に着目し、現在の主な手法とその問題点などの考
察を交え、新しい手法を検討し、その生成方法を確立しを示した。さらに顔画像において、
画像全体を処理対象とする一括処理の際に顕著となる、暗部や細部の潰れ・崩れなどの問
題解決方法として顔面画像認識を視野に入れた局所処理を検討した。
1
写真画像
写実的画像
【写真撮影】
【用途】
ディジタルカメラ
ブログ、ホームページ
ディジタルビデオカメラ
ポスター、名刺、年賀状
携帯電話、Web カメラ
ロゴ、ステッカー、T シャツ
コンピュータ画像処理
（加工・変換・補正・再構成）
による表現の付加
【主な研究課題】
その処理手法は？
人間的な芸術効果を与えるには？
ユーザーの意図を反映させるには？
使いやすいソフトウェアとは？
画像処理ソフトウェア
非写実的効果
【様々な表現効果】
油彩画調、水彩画調、鉛筆画調、色鉛筆画調、クレヨン・クレパス
調、木炭調、水墨画調、貼り絵調、モザイク調、点画調、線画調、
漫画調、イラスト調、ステンドグラス調、ポリゴン調、コイン調
図 1.1 研究概念図
2
1.2 論文構成
本論文は全７章から構成されており、本章（第１章）の研究背景と目的に続き、次章の
第２章では、非写実的表現についてその基本的な説明及び関連研究の現状、関連分野や活
用分野、芸術的表現を生み出す画像処理ソフトウェアと実験用に開発を進めてきたソフト
ウェアの開発環境や現有機能を説明する。第３章では、ディジタル画像と画像処理技術に
ついて特に本研究で扱った処理などの理論と方法を画像例を交えながら説明し、第４章で
は、今回の実験内容として特に注目して取り組んだ鉛筆画風画像の生成とその応用的処理
として顔画像認識を取り入れた顔画像の非写実化についての検討を記す。その後、第５章
で実験内容の総合的な結果を述べ、第６章で考察・問題点を挙げると共に今後の展望・将
来性を述べた。最後に、第７章で結論を示した。
3
第２章 非写実的表現
本章では、本研究の主なテーマである非写実的表現、非写実的効果、非写実的画像とは
どのような概念なのかを説明し、関連研究や画像処理ソフトウェアの現状について述べる。
2.1 非写実的効果・非写実的画像とは
ディジタルカメラなどで得られた画像を写実画像と呼ぶのに対し、画家やクリエイター
など人間が描いたような絵画や、抽象的で複雑な形態の画像など様々な風合いを持たせた
画像を非写実的画像と呼ぶ。その例を４種類の画像（図 2.1(a)～(d)）とともに示す。
このような画像表現の例としては、油彩画調、水彩画調、水墨画調、鉛筆画調、色鉛筆
画調、クレヨン・クレパス調、木炭調、貼り絵調、モザイク調、点画調、線画調、漫画調、
イラスト調、ステンドグラス調、ポリゴン調、コイン調などがある。
(a)元画像
(b)イラスト調
(c)銅版画調
(d)貼り絵調
図 2.1 非写実画像例（本研究開発ソフトウェアA-IPro使用）
4
2.2 芸術的効果（表現の多様性）
非写実的画像の中でも油絵調や水彩画調、鉛筆画調画像といった主に人間が描くような
画像の生成は、人間の感性を表現しアーティストが描いたような風合いを持たせること、
すなわち画像処理という分野の感性情報処理あるいは芸術工学的領域に位置づけられる。
非写実的効果を生成するということは、芸術的効果を持たせることとも換言できる。芸術
と科学は相反するというイメージもあるが、科学の力（コンピュータ画像処理）を使い芸
術的効果を生み出そうという試みである。
たとえば、筆によるストロークの角度や形状、筆圧による微妙な濃度や太さの変化、何
通りもの色の種類とその分布など、様々な要因によって浮かび上がる個々のアーティスト
による表現の違い・独自の描画法・不規則性・曖昧さなどをコンピュータで構築・再現す
ることが出来れば、自分の感じたことや想いを画像に付加し視覚的に伝えることによって
誰でも簡単に表現の多様性を生み出すことが可能になる。このような自己表現の豊かさを
もった非写実的表現は、相手に対しいろいろな印象を与えることができると同時に抽象化
の効果により、近年盛んなインターネットでのコミュニケーションにおける個人情報の保
護にも役立つと考えられる。
2.3 非写実的画像の生成に関する研究・取り組み
コンピュータ性能の向上やインターネットの普及により、これらの研究が盛んとなって
いる。コンピュータを用いて非写実的画像を生成する手法は、一般的に Non-Photorealistic
Rendering (NPR) と呼ばれている（2.3.1 項で説明）。処理画像の入力は 2 次元画像と３次
元画像があり、本研究は２次元画像を入力とする生成に当てはまる。本研究と同じ２次元
画像を入力とする NPR 法には、ボロノイ図によるアート風画像生成法[1]や多重スケール解
析を用いた非写実的顔画像生成法[2]など様々な生成法が提案されている。また、Synergistic
Image Creator (SIC) と呼ばれる写真画像を細かく特徴ごとに分解し絵画表現を付加する
ことで多彩な視覚表現を作り出せるアルゴリズムの研究開発も進められている[3]。
2.3.1 Non-Photo Realistic Rendering(NPR)
現在、一般的に CG（Computer Graphic）分野の研究において、写真のような写実的な
画像を生成する技術を Photo Realistic Rendering と呼ぶのに対し、本研究のように非写実
的画像を生成する技術は Non-Photorealistic Rendering（NPR）と呼ばれている。NPR 技
術は、歴史的には SIGGRAPH ※１の論文セッション名として初めて登場したとされる比
較的新しい研究開発分野であり、最先端 CG 技術として様々な研究が行われている。
5
※１
SIGGRAPH とは、ＡＣＭ（Association of Computing Machinery）が主催するコ
ンピュータグラフィックの学会および展示会。ＣＧに関する学術論文発表、先端技術を
使ったアート展、ＣＧ作品のコンテスト、企業による製品展示など、研究者だけでなく
業界に携わる人々の大きな注目を集めるイベントである。
2.3.2 Synergistic Image Creator (SIC)
非写実的画像生成において、人間の感性を考慮した画像生成として SIC というものが
存在する。SIC とは、写真から特徴を抽出し、それをもとに絵画的な作品を生み出すプロ
グラムのことである。画像の特徴を人間の感覚に合わせて段階的に処理するという独自の
特徴がある。複数のプラグインに分かれており、それらを変更することで個性的な画像の
表現を実現させている。現在、世界中の webcam に写っている画像をもとに SIC で CG を
作成し、それを作品のもとになった webcam の管理者に見てもらい、その CG に関するコ
メントと CG をまとめて一つの作品として展示するというプロジェクトや、多くのプログ
ラマーが協力して SIC の表現力を増やしていこうというプロジェクトがあり、これらイン
タラクティブなプロジェクトにより更なる発展が期待されている。
2.4 関連分野・活用分野
NPR の手法やその応用分野は多種多様である。映画、アニメ、ポスター、インターネッ
ト、ブログ、年賀状、名刺、などに使用するグラフィックのデザインにおけるディジタル
画像の表現においてはその活用度は非常に大きいといえる。絵画のような表現を作り出す
フィルタなどは一般的なフォトレタッチソフトやグラフィック系ソフトの機能のひとつと
して付いている場合が多い。アニメーションの分野では、３D により構成された各オブジ
ェクトをシェーディングによりアニメ調に変換する技術や、漫画の陰影テクニックやデフ
ォルメを取り入れた描画技術など、様々な分野で NPR 技術が研究され活用されている。
2.5 既存の画像処理ソフトウェア
芸術的効果を有するフィルタなどを用いることで、絵画風画像への変換が可能なソフトウ
ェアや、その変換処理過程がプログラムとしてシステム化されており、パラメータ等を任
意に変更することで指定の非写実的画像の生成が可能なソフトウェア（画像処理ソフトや
フォトレタッチソフト）が存在する。代表例としては、Photoshop[4]や Gimp[5]などが挙
げられる。これらのソフトで得られる画像は、必ずしもユーザの望むものになるとは言い
難く、多様な結果を得られるものの生成過程での試行錯誤性は非常に高い。また機能が多
く用途が充実している反面、複雑になりすぎている面があり、画像処理に関する専門知識
6
の必要性が感じられる場面も少なくない。
2.6
非写実的画像作成に特化した画像処理ソフトウェアの開発
上述のように、様々な非写実的効果を生み出す画像処理ソフトウェアが既に存在してい
る。そこで、開発するソフトウェアのテーマは、非写実的描画に特化することと、よりグ
ラフィカルで視覚的な GUI を取り入れ、ユーザの意図を反映させ易いような仕様とするこ
とである。本研究では、多様な効果をもった画像の作成を行う際にいくつもの処理を組み
合わせていくため、画像の色調変更・輝度補正・サイズ変更、フォーマット変換をはじめ
様々な機能が必要となる。それらの必要な機能を随時追加しながら、実験用の画像処理ソ
フトウェアとして開発を進めた。最終的には、非写実的画像処理に特化した一般公開可能
な画像処理ソフトウェアの開発を目指したが、本研究の範囲では、まだ一般的な製品に比
べると開発段階の領域を超えない。以下に、その開発環境や動作環境を示す。
2.6.1
開発環境・動作環境
本研究における画像処理ソフトウェアの開発は Visual Studio.net Version2003 の環境の
もと、全て Visual C#言語によって行った。また、処理を実行する PC は表 2.1 に示す通り
である。
表 2.1 動作環境（PCスペック）
OS
Microsoft Windows XP Professional Version2002
プロセッサ
Intel(R) Pentium(R)4 CPU 2.40GHz（2.41GHz）
メインメモリ
496MB RAM
HDD
ファイルシステム：NTFS
ビデオエンジン
Intel(R) 82865G Graphics Controller
VRAM 容量
64.0MB
モニタ
I-O
ディスプレイモード
1280×960(32bit)(60Hz)
2.6.2
DATA
容量：74.5G
LCD-A173Vx
GUI 設計
GUI（Graphical User Interface）とは、ユーザに対する情報の表示にグラフィックを使
用し、基礎的な操作をマウスなどのポインティングデバイスによって行なうことができる
ユーザインターフェースのことである。この GUI の構成やデザインは使いやすさを追求す
る上で非常に重要なものとなる。ボタン配置、画像情報、処理情報、選択項目・方法、値
設定など、ソフトウェアの操作性に関わる重要な役割を果たすため、より簡単明瞭かつ機
7
能性充実の両立が必要とされる。図 2.2 に Visual C#による GUI の作成画面の例を示す。
図 2.2 Visual C#によるGUIの作成の例
8
第３章 コンピュータにおける画像処理
コンピュータにおいては、画像情報をはじめとするデータはすべてディジタルとして処
理されている。本研究におけるパソコンでの画像処理においても、画像は全てディジタル
データとして扱われることとなる。離散化した数値では本来定義できない連続情報である
アナログデータのままでは、コンピュータで扱うことが出来ないからである。本章では、
画像処理におけるディジタルデータの扱いや、基本的な画像処理手法の理論を実際の画像
処理例を踏まえながら説明していく。
3.1 ディジタル
パソコンやネットワークの普及に伴い、文字、音声、画像、映像などの情報はアナログ
からディジタルへと急速に移行している。昨今の地上テレビ放送のディジタル化もその一
例であり、今後ますます、ディジタル化は進んで行くと考えられる。ディジタル化には多
くの利点があり、表 3.1 に示すような一般的ディジタル情報の利点と主に絵画を扱う際の利
点がある。
表 3.1 ディジタル情報の利点
【ディジタル情報の利点】
・コンピュータ処理が可能
・劣化が少ない
・複製・加工・編集・再利用が容易
・計算・処理・検索・伝達が容易
・ノイズに強くデータを完全に保持できる
・データの圧縮・暗号化が可能
【ディジタル画像(主に絵画を扱う際)の利点】
・部分的にコピー・カット・ペーストが可能
・重複パターンやグラデーションの描画が容易
・色塗り作業の柔軟性
・保存・管理も手間がかからなく利便性が高い
・再加工・再利用も容易
・プリンター、スキャナ、タブレットなどの進歩で、
よりディジタルでのデザイン・編集・制作が盛んに
9
3.1.1
アナログからディジタルへの変換
画像をコンピュータで処理するためには、画像がコンピュータに理解さなければならず、
そのため画像を数値（データ）として扱うことが必要となる。写真や絵画などのアナログ
画像はその濃淡が連続的に変化しているため離散的に区別したディジタル値に変換（ＡＤ
変換）しなければならない。手順として「標本化」「量子化」「符号化」の過程を取る。
一般的に、静止画像は平面座標（ｘ，ｙ）に対する連続関数ｆ（ｘ，ｙ）として表現す
ることができる。それぞれの座標点は輝度情報を持っており、２次元信号として考えるこ
とができる。図 3.1 に、アナログ信号が標本化（サンプリング＝Sampling）され、さらに
量子化、符号化を経て、ディジタル信号に変換される過程を示す。標本化によって連続的
な値をとびとびの値にし、さらにその値を量子化によって一定の段階（量子化レベル）に
整数値として区分し、その整数値を読み取り２進数に再変換し（符号化）、ディジタル信号
となる。図 3.2 にアナログ画像とディジタル画像の例を示す。アナログ画像は連続的に表さ
れているのに対し、ディジタル画像は離散的に表現されている。
アナログ
標本化
量子化
符号化
図 3.1 アナログからディジタルへの変換過程
図 3.2 アナログ画像とディジタル画像
10
ディジタル
3.1.2
ディジタル画像の表現
ここでは、AD 変換によりディジタルデータとして表された画像をコンピュータ上でどの
ように扱っているかを説明する。
1)画像の種類（ベクタ形式とラスタ形式）
コンピュータ上で画像を表現する方法として，主にラスタ表現とベクタ表現の２種類が
ある。画像を点の座標とそれを結ぶ線や面の数学的方程式のパラメータ、および、塗りつ
ぶしや線、図形（方形、弧、楕円、曲線など）
、特殊効果などの描画情報の集合をデータと
して表現した形式をベクタ形式（ベクトル形式）と呼ぶ。それに対し、画像を色のついた
点(ピクセル)の羅列として表現する形式をラスタ形式（ビットマップ形式）という。本研究
で扱う形式（画像）は、ラスタ形式ビットマップ画像として処理する。
ベクタ形式の画像は表示する都度、計算を行なって画像を再現するため、画像を拡大・
縮小したり変形したりしても、輪郭の処理などがその都度行なわれ、解像度に見合った画
質が維持される。また、基本的にサイズの縮小や変形などによってデータが失われること
はなく、ディティールや鮮明さが損なわれない。線や面の輪郭がはっきりした、人工的な
画像(イラストやロゴマーク、図面など)を作成する場合に適している。しかし、本研究の原
画像として適切な写真や自然画などを表現するには向かないため、こうした画像はラスタ
形式として扱われるのが一般的である。ラスタ形式の画像は、拡大や変形するとドットが
正方形や長方形になるため、画像が粗くなりディティールが損なわれることがある。表 3.2
にベクタ形式とラスタ形式の特徴をまとめた。
表 3.2 ラスタ形式とベクタ形式の特徴
ラスタ形式（ビットマップ画像） ベクタ形式（ベクトル画像）
編集単位
点（ピクセル＝Pixel）
図形（線、円、多角形）
変形（拡大・縮小） ディティールが損なわれる
ディティールが損なわれない
使用例
写真、自然画、絵画
線画、図形、イラスト、ロゴマーク
対応ソフト
ペイント系
ドロー系
2)画像生成モデル（位置情報と輝度情報）
AD 変換して得られた画像は、画素（ピクセル＝pixel）とよばれる小さな点の集まりとし
て表現される。正方形格子で、横方向（水平方向）にＭ個、縦方向（垂直方向）にＮ個の
マス目に分けるとき、画像はＭ×Ｎ個の画素から構成されることになり、その画像をＭ画
素×Ｎ画素の画像と考えることができる。
各画素はそれぞれ輝度値（濃度値や画素値ともいう）とよばれる明るさの値を持ってお
11
り量子化数に基づく階調で表現される。たとえば２階調の画像というのは０（黒）と１（白）
の２値で表現された白黒２色のものをいう。
ディジタル画像は図 3.3 のように座標点（ｉ，ｊ）において輝度値ｆ（ｉ，ｊ）を持つと
考えると、２次元ピクセルを、横方向１からＭまでの要素ｉならびに縦方向１からＮまで
の要素ｊの２次元集合として表すことができる。
従って、画像情報は要素ｉとｊを用いて配列として表すことが可能であり、この２次元
配列での画像の表現がプログラムを作成しコンピュータで処理する場合において重要とな
っている。
図 3.3 ディジタル画像の表現
3)画像生成モデル（色の表現）
通常、ディジタル画像の色は R・G・B それぞれの画素値で表現し、加法混色の原理に従
って合成されてディスプレイに表示される。RGB とは、それぞれ Red(赤)、Green(緑)、
Blue(青)の省略形で光の三原色であり、光を合成して画面に色を出すような場合に使用され
る。例えば R・G・B がともにゼロというのは、どの色も発色させないことなので黒となり、
三原色とも最も強く発光させた時の色が白となる。つまり三原色を同量混ぜていくと真っ
黒から真っ白に変わっていくグレイスケールとなる。８ビットであれば２５６通りの階調
が利用でき、３色それぞれに０～２５５の値で表される。R、G、B それぞれ８ビットを持
つ場合、２５６³（=16，777，216）通りの色を表現できる（現在これをフルカラー表示
と呼んでいる）。
本研究での画像処理の際に扱うディジタル画像は、基本的には R、G、B 各８bit の計２
４bit のビットマップとして処理を行っている。輝度をｆ（ｚ，ｉ，ｊ）とし、z=0 のとき
R、z=1 のとき G、z=2 のとき B として RGB 値と座標によって画像を３次元配列で表現し
ている。図 3.4 にサンプル画像とその RGB 成分ごとの画像及びヒストグラムを図 3.5 の(a)、
(b)、(c)に示す。なお、ヒストグラムについては次の項目で詳しく説明する。
12
図 3.4 サンプル画像A
(a)
R 画像と R ヒストグラム
(b)
G 画像と G ヒストグラム
(c)
B 画像と B ヒストグラム
図 3.5 R、G、B成分画像とそれぞれのヒストグラム
13
4)ヒストグラム（histogram）
ディジタル画像は、画素の集合と考えることが出来る。そこで、画像内の画素の持つ濃
度値の分布がどのようになっているかを調べることで、画像の性質を把握することが出来
る。その方法として、ヒストグラム(濃度ヒストグラム)がある。濃度ヒストグラムとは、各
濃度値に対し画像全体で同じ濃度値を持つ濃度値の画素数（頻度）を求め、横軸に濃度値、
縦軸をその濃度値の頻度（画素の個数）としてグラフ化したものである。例えば、濃度値
０の画素数、濃度値 1 の画素数、濃度値２の画素数、と数えていき、各濃度値における画
素数データをグラフとして可視化したものである。このグラフの傾きや分布を調整するこ
とで、画像の濃度やコントラストの変更をグラフで確認することが可能になり、濃度変換
をどのようにすべきかの判断にも利用される。画像をデータ化した場合の代表的な表現例
であり、他にも 2 値化閾値の決定や対象物体の面積の計算などにも応用される。図 3.6 にサ
ンプル画像と、その R(赤)・G(緑)・B(青)・L（明度）のそれぞれのヒストグラムを示す。
原画像
図 3.6 画像とRGBLヒストグラム
画像の特徴を抽出するために、このヒストグラムの最大値・最小値、中央値、分散、平
均値などを調べれば画像の性質を定量的に表すことが出来る。画像データの圧縮や画像の
14
対象を認識する際に、画像データの統計的な性質が重要となるが、分散や平均は統計量の
基本的なものである。これらの値の意味及び求め方を以下に記す。
5）画像の特徴量（最小値、最大値、最頻値、中央値、平均値、分散、標準偏差）
あ る 画 像 の 画 素 値 の 中 で 、 最 小 の も の を 最 小 値 (minimum) 、 最 大 の も の を 最 大 値
(maximum)という。この最小値と最大値により、画像のコントラストを調べることができ
る。コントラストが低い画像では最小値と最大値の差が小さく、コントラストが高い画像
では差が大きい。最も頻度が高い画素値を最頻値(mode)、ヒストグラム中の面積比として
画素値の小さい（または大きい）方から数えてちょうど真ん中に位置する画素値を中央値
(median)という。中央値は、メディアンフィルタなどの画像処理で利用される。さらに、
画像サイズ M×N 画素の画像中の位置（ｉ，ｊ）の画素値をｆ（ｉ，ｊ）とするとき、画
像の平均値(mean)μ、分散(variance)σ は、次式 3.1、3.2 のように求めることが出来る。
2
平均値：μ=
分散：σ =
2
1
M ×N
1
M ×N
N −1 M −1
∑ ∑ f (i, j )
（3.1）
j =0 i =0
N −1 M −1
∑ ∑ ( f (i, j ) −μ)
2
（3.2）
j =0 i =0
分散の平方根σ（σ≧0）は標準偏差(standard deviation)と呼ばれ分布の広がり具合のパ
ラメータとして利用される。図 3.7 に、画像のヒストグラムと、ヒストグラム上での最小値、
最大値、最頻値、中央値の位置を示す。
図 3.7 ヒストグラムと各値
15
6)コントラスト(contrast)
コントラストは画像の明るい部分と暗い部分の明るさの比を表し、画像の濃淡情報の分
布の広さに関する性質である。画素値の最大値を Lmax 、最小値を Lmin とするとき、次式（3.3）
で表すことが出来る。
C=
Lmax − Lmin
Lmax + Lmin
（3.3）
この式を用いてコントラストを求めた結果を画像と共に図 3.8 に示す。(a)がコントラス
トの高い画像。(b)がコントラストの低い画像である。コントラスト値の高い方の画像が明
暗のはっきりとした色調になっていることがわかる。しかし、コントラストの値が同じで
も人間が画像を見たときに感じる主観的なコントラストは異なることや、画像に含まれる
ノイズの影響で誤差が生じ、見た目のコントラストと完全には対応しない場合もある。
また、ヒストグラムを見るとコントラストの悪い方は、最大値と最小値の差（ダイナミ
ックレンジ）が小さい。すなわち、このダイナミックレンジを広げることでコントラスト
を改善することが可能である。本研究の鉛筆画生成においても輝度の改善は非常に重要な
処理のひとつである。
原画像
16
(a) 最大値 255
最小値 0 平均値 159.5
(b) 最大値 227
最小値 34
平均値 138.7
コントラスト
1.000
コントラスト 0.739
図 3.8 画像とコントラストの関係
7)カラー画像処理（色の扱いについて）
7-1)グレイスケール化
RGB の各成分に同じ値を設定し、各画素を２５６階調８bit で表した画像をグレイスケー
ル（gray scale）またはグレイスケール画像という。フルカラー画像からグレイスケール画
像へ変換する処理をグレイスケール化といい、最も単純なグレイスケール化処理は次式
（3.4）に示すような RGB 値の平均を取る方法である。
GrayValue = ( R + G + B) / 3
（3.4）
ただし、この式を用いて処理を行うと青色部分が明るい感じ、または緑色部分が暗い感じ
を受ける画像が生成されることがある。これは人間の視覚における色に対する感度特性が、
一般的に緑色の輝度には敏感に反応し、青色の輝度は反応が薄いという傾向があるためで
ある。これを考慮し、本研究においてグレイスケール化は NTSC 系加重平均法と呼ばれる
ガンマ値 2.2 のテレビ放送規格 NTSC における YCC カラーパターンの計算式（式 3.5）で
Gray 値を算出している。図 3.9(a)に RGB の平均を用いたグレイスケール化、図 3.9(b)に
YCC カラーパターンを用いたグレイスケール化を実行して生成した画像をヒストグラムと
ともに示す。
GlayValue = 0.299 R + 0.587G + 0.114 B
17
（3.5）
サンプル画像Ｂ
(a)RGB 平均を用いたグレイスケール画像
(b)YCC カラーパターンを用いたグレイスケール画像
図 3.9 グレイスケール化処理
18
7-2)色空間（HSL・HSV）
ＲＧＢ表色系はコンピュータ処理には適しているが、人間の感覚に合った色彩に関する
処理を行うことは難しい。そこで直感的にわかりやすいＨSL 色空間やＨＳＶ（またはＨＳ
Ｉ）色空間のモデルに変換することで、色に関する処理をより直感的に行うことが可能と
なる。HSL とは、色相（Hue）、彩度（Saturation）、明度（Lightness/Luminance）の 3
つの成分のことをいい、
このような成分で構成された空間を HSL 色空間という（図 3.10(a)）。
色相は、色味（色の種類）を 0 度～359 度の範囲の角度で表す。輝度は、輝度 0%を黒、100%
を白とし、その中間（50%）を純色とする。
非写実的処理においては、RGB と HSL など色空間における相互変換を利用することで
水彩画やパステル画などの風合いを出すことが可能である。
(a)
HLS空間
図 3.10 色空間モデル
7-3)アルファ値
各点（ピクセル）に設定された透過度情報のことをアルファ値という。色の透明度を決
定するもので、色を背景色とブレンドする度合いともいえる。完全な透明(無色)から、完全
な不透明(背景の色をまったく通さない)まで設定することができる。アルファ値(alpha)を用
いて、対象の色データ(sourceColor)と背景色データ(backgroundColor)をピクセルごとにブ
レンドする場合、対象の色データの 3 つの各要素(R、G、B)は、次の数式（3.6）に基づい
て、背景色の対応する要素とブレンドされる。
displayColor = sourceColor × alpha / 255 + backgroundColor × (255 - alpha) / 255 （3.6）
とりわけ、アルファ値はデータ形式やソフトウェアによって扱える場合と扱えない場合が
19
あるが、扱える場合は各点の色を表すデータに追加する形で表現される。すなわち、透明
度を扱う場合、色情報として R、G、B の三原色の情報 24bit に８bit を加え 1 ピクセル当
たり 32bit の情報量を持つことになる。この追加されたデータ領域をアルファチャンネルと
いう。本プログラムにおいてアルファ値は、0～255（8bit）の範囲で指定し、255 が完全不
透明を表す。
本研究におけるアルファ値を用いた主な処理については、鉛筆画のストローク（線）の
重なり具合を表現する際などに用いている。
3.2 コンピュータ画像処理
ここではパソコンでの画像処理について述べる。画像処理は、医療、工業、そしてマス
メディアなど様々な分野で活用されている。例えば、医療におけるレントゲン写真の解析、
工業における部品の自動認識、そしてセキュリティ分野における自動認証など、多種多様
な分野で利用されている。表 3.3 に分野別画像処理用途をまとめた。
表 3.3 分野別画像処理用途
分野
用途
医療
レントゲン写真のディジタル化
アニメ・映画・漫画
ディジタルアニメ、ディジタル漫画、CG による映画製作
マスコミ・出版社
広告、編集作業、DTP
工業
CAD、工場における自動検査
セキュリティ
指紋認証、顔画像認証、網膜認証、防犯カメラ
警察
指紋照合、防犯映像解析、車ナンバーの自動識別
個人
デザイン一般（ホームページ，ブログ，ポスター，年賀状）
3.2.1
画像処理技術
印画紙にフィルム通しした光を焼きつけて、フィルムの像を写真に出力するようなアナ
ログ処理においては処理の内容が原理的に限られる。しかし PC を用いたディジタル処理で
は画像をデータ（数値）として扱い、必要に応じていつでも取り出すことが可能である。
さらに信号として送ったり、プログラムを自由に変更することによって、様々な処理がで
きる柔軟性を持っている。さらに、半導体製造技術やハードウェアの飛躍的な進歩によっ
て、パソコンやディジタル入出力機器でも高解像度で大容量の画像が扱えるようになり、
画像処理の分野も急速に進歩している。
この急速な進歩に伴い、ディジタル化される画像の情報量は増加し、画像処理の必要性
が大きくなってきている。画像処理の種類は、画像を見やすいものに変換したり、画像か
20
らの物体構成や前後関係を理解したりという処理など様々である。これら画像処理は処理
手法により、画像改善、画像解析、画像圧縮、画像再構成などに分類できる。
本研究においてもデータ・特徴の抽出や解析などに様々な画像処理技術を使い、それら
をうまく組み合わせることにより目的の画像を作成している。
3.2.2
具体的画像処理例（特徴量の抽出・比較・認識）
画像処理の基本的なものとして本研究でも多く用いる処理である、1)濃度変換による明る
さ・コントラストの改善、2)空間フィルタリング処理、について簡単に説明する。
1)明るさ・コントラストの変換処理
画像の見え方として、最も一般的かつ有用なものは、画像の明るさやコントラストの
変化である。明るすぎる画像や暗すぎる画像は背景と対象物の区別がはっきりしない。こ
のようなコントラストの悪い画像は非写実的画像処理においても悪影響を及ぼすことがあ
る。ここでは、濃度の線形変換・非線形変換やヒストグラム操作における画質改善方法に
ついて述べる。
1-1)トーンカーブ
ディジタル画像は、濃度値または輝度値と呼ばれる濃淡を表す値を持つ点（画素）によ
り構成されている。そこで、画像の濃淡を変化させるには、入力画像のそれぞれの画素に
対し、出力画像の輝度値をどのように対応付けるかを指定すればよい。そのような対応関
係を与える関数のことを階調変換関数、またそれをグラフで表したものをトーンカーブと
いう。図 3.11 に３種類のトーンカーブの例を示す。グラフの横軸は入力画像の画素値を、
縦軸はその変換後の画像（出力画像）の画素値を表している。図 3.11(a)の場合、左図の場
合は入力画像に対して明るい画像が出力される。一方、右図の場合は暗い画像が出力され
る。このように曲線（非線形）によって階調変化を表している。他にもＳ字曲線などの 2
次曲線、３次曲線による非線形変換(図 3.11(b))や、図 3.11(c)のような折れ線（線形変換）
もある。(b)のように単調増加しない曲線を用いることは一般的には望ましくない。
21
(a)
(b)
トーンカーブ（非線形）
トーンカーブ（非線形‐多次元）
(c) トーンカーブ（折れ線型）
図 3.11 トーンカーブによる画像の濃度変換
22
1-2)ガンマ変換
先に述べた画像濃淡の非線形変換の一種で、トーンカーブの濃度変換の代表的なものと
してガンマ変換がある。もともと CRT ディスプレイの補正のために用いられていたが、現
在は一般にガンマ補正などとよばれ、ディジタル画像の輝度調整によく使われる処理であ
る。座標（ｉ，ｊ）の入力画素値をｆ（ｉ，ｊ）、出力画素値をｇ（ｉ，ｊ）とするとき、
このトーンカーブは次式で（3.7）表される。
1
f (i , j ) γ
g (i , j ) = 255 (
)
255
(3.7)
ここで、γの値によりトーンカーブの形状が変化し、明るくするときはγ＞１（上に凸
のトーンカーブ）、暗くするときはγ＜１（下に凸のトーンカーブ）に設定すればよい。図
3.12 に計算式（3.8）により実際に処理した画像とそのトーンカーブを示す。図 3.12(b)は
原画像である同図(a)をガンマ値 2.0 で処理したもの、図 3.12(c)はガンマ値 0.4 で処理した
ものである。γ＝2.0 で処理した画像は影の部分などが明るくなっているのがよくわかる。
図 3.12 各γ値のトーンカーブ
23
(a)原画像
(b)
(c) ガンマ値γ＝0.40
ガンマ値γ＝2.00
図 3.13 ガンマ値による濃度変換結果画像
1-3)ヒストグラムの平滑化（平坦化）
コントラストを調節する方法として、ヒストグラムの平滑化(histogram equalization)が
挙げられる。ヒストグラムの分布は、画像によりまちまちで、一般に隔たりがある。ヒス
トグラムの平坦化は、結果として出力画像のヒストグラムが図 3.14 のように画素値の全領
域にわたってなるべく均等に分布するように変換するものである。
図 3.14 ヒストグラムの平滑化
24
2)空間フィルタリング
ここでは、本研究においては輪郭抽出などの際に用いている技術である空間フィルタリ
ングについて述べる。出力画像（処理画像）のある注目点（ｉ，ｊ）の濃度値を決定する
際に、入力画像（原画像）の（ｉ，ｊ）点を含めたその近傍画素を利用し処理する方法を
近傍処理または局所処理という。空間フィルタリングは、その代表的な処理である。まず、
図 3.15 に、近傍画素を利用せず入力側も（ｉ，ｊ）の一点だけの濃度値を使用する点処理
（Pixel to Pixel 処理）について説明する。トーンカーブによる輝度調整や 2 値化・階調数
の操作、濃淡反転などもこの処理にあたる。例えば、濃淡反転（ネガポジ反転）処理の場
合、画像の横の長さを N、縦の長さを M、それぞれの画素の最大輝度を Lmax とするとき、
入力画像ｆ（ｉ，ｊ）と出力画像ｇ（ｉ，ｊ）を用いて式（3.8）のように表すことが出来
る。この式を反転させたい画像に対して適用すれば、図 3.16 のような反転画像が得られる。
N
N
M
M
( i, j )
( i, j )
入力画像 f ( i, j )
出力画像 g ( i, j )
図 3.15 画素単位の濃淡変換（Pixel to Pixel）
g (i, j ) = Lmax − f (i, j )
(0 ≦ i < N , 0 ≦ j < M )
図 3.16 反転処理
25
(3.8)
以上のような点処理に対し、入力画像の対応する画素値だけでなく、その周囲の画素も
含めた領域内の画素値を用いて計算する処理のことを空間フィルタリングとよぶ。画像の
ノイズ除去、輪郭線の抽出、鮮鋭化など画像処理において重要な処理である。この処理を
数式で示すと、式（3.9）のような積和演算によって表現できる。フィルタの大きさは(2w +
1)×(2w + 1)で表される（ｗ＝１の場合は３×３のフィルタサイズ）。空間フィルタ（マス
ク）サイズが３×３の場合、着目画素の濃度値ｘ0 を周囲の画素の濃度値ｘ1～ｘ8 を参考
にして変換する方法である（図 3.17 参照）。
g (i, j ) =
k
k
∑ ∑
f (i + n , j + m ) h ( n , m )
（3.9）
n=− k m =− k
f( i, j )：入力画像
g( i, j )：出力画像
( 0 ≦ i < N , 0 ≦ j < M )
h( m, n )：フィルタの係数(重み係数)を表す配列
X1
X2
X3
X4
X0
X5
X6
X7
X8
注目画素
フィルタ領域
N
N
M
M
( i, j )
( i, j )
フィルタ領域
入力画像 f ( i, j )
出力画像 g ( i, j )
図 3.17 領域に基づく濃淡変換（Filtering）
26
以下に、３×３のマスクサイズの空間フィルタリング処理の一例として平均化フィルタ
を挙げる。平均化フィルタは画像に含まれるノイズ（雑音）を軽減する際などに利用され
る平滑化(smoothing)処理であり、注目画素の周囲８画素の濃度値の平均を出力濃度値とす
る。平均を取りながら移動して処理を進めるので移動平均処理(moving average 又は
running average)とも呼ばれる。通常左から右へ走査する（ラスタスキャン）。３×３のマ
スクサイズであるので、フィルタ係数は 1/9 となり、1/9×9 = 1 を満たしている。画像の明
るさを変化させないためには、フィルタ係数行列の和は１になる必要がある。図 3.18 に適
用マスク図とフィルタ係数行列を、図 3.19 に処理結果画像を示す。
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
9
1
h(n, m ) =
9
1
1
1
1
1
1
1
1
1
h(n,m)：フィルタ係数
平均化フィルタ（マスク）
フィルタ係数行列
図 3.18 平均化フィルタ
図 3.19 平均化フィルタの適用例
27
第４章 鉛筆画風画像の生成
本章では、非写実的画像のうち特に注目して取り組んだ鉛筆画風画像の生成について述
べる。はじめに、鉛筆画の特徴を整理し、現在までの学会・論文で発表された主な鉛筆画
生成手法について概説する。さらに本研究における鉛筆画風画像生成の処理アルゴリズム
について、処理項目ごとに詳述する。最後に、応用として顔画像認識技術を用いた局所処
理についても触れる。
4.1 鉛筆画の特徴
ここで鉛筆画の一般的な特徴について述べる。鉛筆画は文字通り鉛筆によって描かれた
絵のことを指す。描く下地（基底材）としてはスケッチブックや画用紙などの紙素材が主
である。H 系・B 系の様々な硬さ・削り具合の鉛筆で筆圧や筆の角度を調整したりするこ
とで、濃淡のみによって表現する。対象に見える明暗と陰影・色彩の差異を手がかりに、
対象の形状・質感・色味・透明感などを、鉛筆によって表現し基底材に構成する。主な描
き方の種類、表現技法は以下の通りである。
(1)鉛筆スケッチ
鉛筆で対象物（モチーフ）の概略や全体的な印象を描くラフなタッチの様式。下書きな
どに用いられ、簡略化され大体の形を描くため輪郭の重なりや歪みがあるものもあり、ス
トロークがはっきりと分かり幅が一定のものが多い。絵コンテなどにも用いられる。
(2)鉛筆デッサン
鉛筆で対象物の形や明暗をスケッチよりもリアルに表現する。様々なタッチのストロー
クの積み重ねによって構成され、細部まで描きこむことで対象物の立体感・質感・明暗・
陰影などを描画する。
(3)擦筆やガーゼによるぼかし
擦筆やガーゼなどを用いて、対象物に馴染ませたり鉛筆のタッチを効果的に消し去った
りする技法。一見してモノクロ写真かと思えるようなリアルな表現が可能となる。
(4)消し具による消し
練り消しゴムやプラスチック消しゴムなどの消し具を用いて、ハイライトの効果や柔ら
かい白色などにより光の表現・金属性の質感を生み出すことが可能となる。
28
その他、鉛筆の太さ、濃さ（硬さ）、角度（筆の寝かせ方）などを変えることによって
図 4.1 のような多様な表現が可能である。このような表現を実際に使って筆者の手描きで
描いた鉛筆画例を示す（図 4.2）。
(a)
(b)
(c)
(d)
(e)
(f)
図 4.1 鉛筆画表現の例
(a)濃淡表現、(b)ストローク濃淡表現、(c)鉛筆を寝かせたタッチ、(d)回転のタッチ、(e)様々
なストロークのタッチ、(f)消し具を使った淡いぼかし表現
図 4.2 鉛筆画
29
4.2 鉛筆画風画像生成方法の検討
本研究と同じく２次元画像を入力とする鉛筆画風画像生成法において、現在までに紹介さ
れている手法を大きく２つに分類すると、１つはストロークを使って描画する方法、もう
１つはストロークを描画せず濃淡情報を利用した方法である、さらにそれらに紙質のテク
スチャを付加する表現方法がある。
ストロークをつかった鉛筆画の生成では、Line Integral Convolution（LIC）法を施す手
法がよく用いられる[3]。本研究の鉛筆画生成手法もこれと類似している。鉛筆のストロー
ク自体はうまく表現できるが、ストロークの向き、角度、形状（太さ・長さ・形）などの
対象物の形状を考慮した設定は困難である。また、画用紙のテクスチャを反映することで
鉛筆画風画像の生成を行った研究においては、紙材質の構造に着目し、画像の持つ濃淡情
報を保持したまま付加させ、紙のリアルな質感を表現している[4]。この手法は対象物自体
には処理を行っていないため、写実的な印象を与える。非写実的画像生成では、リアルさ
を追求しすぎると絵画風に感じられなくなるという問題もあり、本研究では、ストローク
で表現した場合とストロークを強調しない場合の両面からあくまでも人が描いたような画
像（絵画）を目指すこととした。
これまで述べてきたように、ひとえに鉛筆画といっても、多種多様な描き方・表現技法
がある。デッサンのようなリアルな表現か、スケッチのような簡略化した表現か、ストロ
ークベースであるかによって、その処理は違ってくる。本研究では鉛筆らしさを出すため
にストロークベースで描画する鉛筆画を生成することにした。まず、その方法についての
具体的検討のため、まず実際に人間が描く際の手順について考察してみた（図 4.3）。
紙や鉛筆の濃さなどの選択は、紙素材テクスチャの貼り付け、描画線の濃さ・太さの設
定をコンピュータ上で設定すれば可能となるが、問題は人間の感性・個性を左右する認識
力と判断力であることが明らかになった。また、人間が絵を描く時には、対象物と描画中
の絵の比較からのフィードバック過程を常に経ていると考えられる。物体の形状を読み取
り、その物体に沿ったストロークや、微妙な色変化を独自の視点感覚で時には正確に時に
は誇張しながら、また重要と感じない部分は省略しながら表現していく。コンピュータで
その様なことを可能にするには単にランダムさを与えるだけでは難しい。いかに画像内の
特徴を取得し、その特徴を用いてどのように処理して行くかが最大のテーマである。
30
描画対象物の決定
基底材の選別
画用紙、スケッチブックなど
鉛筆の選別（濃さ、太さなど）
物体の認識・観察
輪郭の描画（構図を決める）
物体の認識・観察
筆圧や筆の角度で濃淡表現
ストロークの描画、ぼかし
物体の認識・観察
仕上げ
細部まで細かく描画、消しゴムで修正
鉛筆画完成
図 4.3 人間の一般的な描画手順
4.3 ストロークによる鉛筆画風画像生成
様々なフィルタの組み合わせの試行錯誤の結果、コンピュータによるストロークベース
の鉛筆画風画像生成手法を提案、検討した。以下に、処理の流れと各処理項目の画像処理
技術を踏まえた実験内容を記す。
4.3.1
処理の流れ
本研究における鉛筆画風画像の生成手法としては、画像処理フィルタを組み合わせ、明暗
の輝度差で対象物（モチーフ）を表現するなどして、先に挙げた特徴をもった鉛筆画風画
像の実現を目指した。実際の鉛筆画を描く工程を考慮しながら以下に示すようにコンピュ
ータでの処理工程(1)～(6)を検討した。簡単な処理フローチャートを図 4.4 に示す。
31
処理対象画像
(１)階調数の低減（レベル設定）
Yes
輪郭線を入れるか
No
現画像のエッジ検出・付加
（検出法・付加レベル設定）
(２)ランダムテクスチャマッピング
（輝度調整設定）
Yes
ぼかしを入れるか
No
(４)ぼかし処理
（レベル設定）
(３)ストロークの付加
（長さ・角度設定）
(５)元画像のエッジ検出・付加
（検出方法・付加レベル設定）
(６)テクスチャマッピング
処理結果画像
図 4.4 処理工程のフローチャート
(1)階調数低減
入力画像（カラーまたはモノクロ）は８ビット（２５６階調）で表現されているとする。
まず原画像（図 4.5(a)）の階調を低減させ、同濃度の領域を作成する（図 4.5(b)）。通常の
鉛筆画はグレイスケールのため、入力画像がカラー画像の場合はグレイスケールに変換し
256 階調の明度を利用する。なお、階調低減の度合いは任意で入力することも可能である。
(2)ランダムテクスチャのマッピング
乱数を使いランダムな輝度を持った雑音画像テクスチャを作成、それを元画像にマッピ
ングすることによって原画像の輝度情報を保持した画像を生成する（図 4.5(c)）。この際、
画像全体の輝度調整も行う（任意設定可能）。
32
(3)ストローク付加
ランダムテクスチャをマッピングした画像にストローク処理を適用させる。この際、ス
トロークの角度や長さは任意で入力することも出来る（図 4.5(d)）。
(4)ぼかし
擦筆や消し具を使用する表現のぼかし効果を加える場合は、移動平均やメディアンフィ
ルタを適用してぼかしを入れる。尚ストロークを強調したい場合は実施しない。
(5)輪郭線の検出
現在、輪郭の検出には微分フィルタを用いている。輪郭検出フィルタの処理結果を図
4.5(e)に示す。原画像より検出した輪郭線をフィルタ処理後の結果画像またはぼかし処理後
の結果画像に付加する（図 4.5(f)）。
(6)テクスチャマッピング
最後に紙の質感を表現するために画用紙のテクスチャ（図 4.6）をマッピングする。処理
は紙質を強調したい場合に用いればよい。
(a)原画像
(d)ストローク付加画像
(b)階調数低減画像
(e)輪郭抽出画像
図 4.5 処理工程画像
33
(c)ランダムテクスチャ画像
(f)輪郭付加画像
図 4.6 画用紙テクスチャ
4.3.2
階調数の操作
階調数の操作により階調数を低減させ、濃淡にメリハリをつけるための操作である。ま
ず、階調数についての基本的な処理である 2 値化について述べ、本研究における実際の階
調数の操作について説明する。
1)２値化
画像を白（輝度値＝255）と黒（輝度値＝0）の２つに分けて画像を２値だけの輝度に変
換して表現することを２値化という。図 4.7 は、本研究ソフトウェアの２値化処理画面であ
る。ヒストグラムの下に配置した境界にするスライドバー（又はテキストボックス）で決
めた階調を境にして以上を白、未満を黒にする。この値を閾値という。
図 4.7 画像の２値化
34
2)階調数低減における閾値の設定
階調数を減らすことによって、特定の色数で表現したり、特定の輝度値の画素をまとめ
たりすることが可能である。本研究ではランダムテクスチャ画像の作成の前処理として、
階調を低減させる処理を入れている。これは、写真の微妙な濃淡変化が与える写実感を濃
度の近いものをある程度まとめることで抑え、結果として濃度にめりはりをつけさせるた
めである。単に階調を粗くする操作ではなく、設定した分解数ｋに応じて分解されたｋ個
の階調分布を全て階調数の中に作ることになる。本プログラムでは、任意で階調数ｋを指
定し各階調数ごとの分布を決めている。その変換結果画像とヒストグラムを図 4.8 に示す。
はっきりと階調を分断させずにある程度境界をぼかす様子がヒストグラムから見て取れる。
原画像
ｋ＝２のとき
35
K=４のとき
K=6 のとき
ｋ＝８のとき
図 4.8 階調数低減結果画像
36
4.3.3
輪郭抽出
鉛筆画の輪郭描画のために行う、画像の特徴抽出方法として代表的な輪郭線抽出の方
法の種類と、画像への付加への検討およびエッジ方向の取得によるストローク角度の自動
決定を目指し、適用させるフィルタを検討する。
1)様々な輪郭抽出（エッジ検出）方法
エッジ検出手法は様々だが、その代表的なものとして画像の濃淡の急激な変化を検出す
ることでエッジを抽出する方法と、予め用意したテンプレートをマッチングさせていくテ
ンプレート型がある。まずは、もっとも一般的輪郭抽出方法である微分フィルタについて
述べる。微分フィルタは数式 4.1 で表すことが出来る。マスクで表すと図 4.9 のようなマス
クとなる。また、各画素における横方向の差分を ⊿(⊿x f (i, j), ⊿f y (i, j))は、画素値の勾配を
表す。
1-1)微分フィルタ
f ' ( x) =
lim
h→0
f ( x + h) − f ( x)
h
0
0
0
0
1
0
-1
1
0
-1
0
0
0
0
0
横方向
（4.1）
0
0
0
縦方向
図 4.9 微分フィルタマスク
1-2)微分平滑フィルタ
微分フィルタでは、画像の濃淡が急激に変化するエッジ部分を検出できるが、同時に画
像に含まれるノイズに対しても敏感に反応する傾向がある。そこで、ノイズを抑えながら
エッジを検出するために、縦方向のエッジを検出したい場合には、横方向に対して微分し
た後、それと直交する縦方向に対して平滑化を施すことで、縦方向のエッジは残しつつノ
イズを低減する。
横方向の微分、縦方向の平滑化として縦３画素の平均化処理を施すとすると、その処理
37
全体は図 4.10(a)のようなフィルタを施すことと等価となる。このようなフィルタはプリュ
ーウィットフィルタ(Prewit filter)とよばれている(式 4.2)。
同様に、縦方向の平滑化のときに、中央に重みを付けた平均化を行った場合、図 4.10(b)
に示すフィルタと等価となる。このようなフィルタをソベルフィルタ(Sobel filter)という
(式 4.3)。
⊿ x f (i, j ) = f (i − 1, j − 1) + f (i − 1, j ) + f (i − 1, j + 1)
− { f (i + 1, j − 1) + f (i + 1, j ) + f (i + 1, j + 1)}
⊿ y f (i, j ) = f (i − 1, j − 1) + f (i, j − 1) + f (i + 1, j − 1)
− { f (i − 1, j + 1) + f (i, j + 1) + f (i + 1, j + 1)}
（4.2）
⊿ x f (i, j ) = f (i − 1, j − 1) + 2 f (i − 1, j ) + f (i − 1, j + 1)
− { f (i + 1, j − 1) + 2 f (i + 1, j ) + f (i + 1, j + 1)}
⊿ y f (i, j ) = f (i − 1, j − 1) + 2 f (i, j − 1) + f (i + 1, j − 1)
− { f (i − 1, j + 1) + 2 f (i, j + 1) + f (i + 1, j + 1)}
-1
0
1
1
1
-1
0
1
0
0
0
-1
0
1
-1
-1
-1
横方向
(a)
1
縦方向
Prewit filter のマスク
-1
0
1
1
2
-2
0
2
0
0
0
-1
0
1
-1
-2
-1
横方向
(b)
縦方向
Sobel filterのマスク
図 4.10 微分平滑フィルタ
38
1
（4.3）
1-3)２次微分
ラプラシアン
2 次微分は微分を 2 回繰り返すことであるから、
ディジタル画像では差分を 2 回繰り返す。
この 2 次微分を用いて、ラプラシアンを求めることが出来る。一般にラプラシアンは、式
（4.4）で表される。ディジタル画像では、横方向の 2 次微分の結果と縦方向の 2 次微分の
結果を足し合わせることによりラプラシアンの値が得られる。このフィルタをラプラシア
ンフィルタ(Laplacian filter)という。図 4.11 に 2 次微分フィルタのマスク図を示す。
∂2
∂2
f
(
x
,
y
)
+
f ( x, y )
∂x 2
∂y 2
0
1
1
-4
0
-1
（4.4）
0
1
0
図 4.11 Laplacian filterのマスク
1-4)最適なエッジ検出方法の検討
ここまでで説明したエッジ検出処理方法の中で、どれが最適といえるだろうか。まずは
本研究ソフト（図 4.12）でそれぞれのフィルタによって検出した実際のエッジ検出結果を
図 4.13 に示す。
図 4.12 輪郭処理フォーム
39
(a) 1 次微分
(b) 2 次微分
(c) Prewit filter
(d) Sobel filter
図 4.13 輪郭線の検出
それぞれのこれら結果をもとに本研究では、輪郭線付加の際には Sobel を適用させ付加
させることにした。また、画像によって輪郭線検出の精度、また画像内に含まれるノイズ
の影響などを考慮し、前処理としてノイズ除去フィルタを適用させた。なお、輪郭付加の
際の輪郭線検出方法、フィルタ重み、閾値は選択可能な仕様にしてある。
4.3.5
ストローク
画素の置き換えによるストロークの濃淡表現である。鉛筆書きの一筆分に相当する。
入力画像ｆ（ｉ，ｊ）からランダムに決定した注目画素の画素値と位置を取得、そして出
力画像ｇ（ｉ，ｊ）に同画素値で、設定した角度・長さ・太さのストロークで描画すると
いう方法である（図 4.14 参照）。
40
図 4.14 ストロークの描画
4.3.6
ぼかし
画像になめらかな濃淡変化を与える処理。画像に含まれるノイズなどの不要な濃淡変動を
軽減するためにも用いられる。本研究では、コンピュータにおける消し具などによるぼか
しの表現に適用させる。全体及びハイライト領域にぼかし処理を加える。処理としては 3.3.2
項で説明した平均化フィルタを適用することでもぼかし処理は得られるが、以下のフィル
タでも検討を行った。
1)重み付き平均化
単純な平均値ではなく、フィルタの原点に近いほど大きな重みを付ける、加重平均フィ
ルタ(weighted averaging filter)もある（フィルタ係数の行列式は式 4.5 参照）。さらにそ
の重みをガウス分布(Gaussian distribution)に近づけたものを、ガウシアンフィルタ
(Gaussian filter)という。平均０、分散 σ のガウス分布は式 4.6 で表される。より滑らか
2
で自然な平滑化が期待できる。
⎡1 2 1 ⎤
1 ⎢
フィルタ係数： h( n, m) =
2 4 2⎥⎥
16 ⎢
⎢⎣1 2 1 ⎥⎦
hg ( x) =
1
2π σ
exp( −
x2
)
2σ 2
（4.5）
（4.6）
そして、これを画像に対する２次元に拡張した２次元ガウス分布は次式で表される。
hg (i, j ) =
1
2πσ 2
exp(−
41
i2 + j2
)
2σ 2
（4.7）
2)メディアンフィルタ(median filter)
平均値の代わりに、ある領域内の中央値を出力とするフィルタである。たとえば、3×3
のマスクサイズの場合、注目画素の回り８画素、計９画素の中央値を出力することになる。
メディアンフィルタは、平均化フィルタに比べ、入力時のエッジがあまり影響されずに画
像内のノイズなどを除去することが可能である。
例として図 4.15(a)に示した紙のテクスチャ画像に対し、加重平均化フィルタを適用した
画像が同(b)、メディアンフィルタを適用した画像が同(c)、ガウシアンフィルタを適用した
画像が同(d)である。
(a)原画像
(b)加重平均化フィルタ
(c)メディアンフィルタ
(d)ガウシアンフィルタ
図 4.15 ぼかし処理結果
4.3.7
テクスチャ
非写実的画像の生成において、その描画方法に合った下地（例えば、鉛筆画であれば画
用紙など、油彩画であればキャンバスなど）の質感を付加させることによって、より非写
実的な画像の生成が可能になる。テクスチャ画像を作成する方法としては、実際に画用紙
やスケッチブックなどの素材をスキャナやディジタルカメラによって取得しそれを PC で
処理することによりテクスチャ画像を作成する方法とフラクタルなどを用いて幾何学的模
様を一から PC で作成してテクスチャとする方法がある。
42
本研究では前者の方法で、テクスチャ画像を作成した。テクスチャに使用するための元
画像の取得方法については以下の３つの方法で取得しテクスチャを作成した。
1)スキャナによる素材取得
画用紙やスケッチブックの表面をスキャナでスキャンし、PC に取り込みテクスチャ画像
として用いる方法。比較的表面にはっきりした凹凸のある紙にムラなく着色し、スキャン
する。PC に取り込んだ後、階調がはっきりわかるように色補正を行い仕上げる。ここでは
水彩で灰色に塗る・薄墨で塗る・鉛筆で塗るなどの手法が考えられる（図 4.16(a)）。鉛筆の
場合は、筆を大きく寝かせて均等な筆圧でムラなく塗りを行う必要がある。
2)ディジタルカメラによる素材取得
スキャンでは得ることができない、画用紙表面の光の加減を反映した画像を取り込むこ
とができる。画用紙表面とカメラレンズを出来るだけ平行にし、光の当たり具合に注意し
ながら明るさが均等になるように撮影する（フラッシュは使用しない）。カメラから PC に
画像を取り込んだあとスキャナの場合と同じく色補正とサイズの調整を行い仕上げる。
（図
4.16(b)）。
3）幾何学的テクスチャの生成
幾何学的な基本テクスチャの生成。紙のテクスチャを作る一般的な方法としては、ノイ
ズ画像にエンボス処理などで影を付けるという方法がある（図 4.16(c)）。
本研究では、より自然な感じを表現したかったため、スキャンした画像とディジタルカ
メラで撮影した画像をテクスチャ画像として使用することにした。
(a)
(b)
(c)
(a)スキャナによって得たテクスチャ、(b)デジカメによって得たテクスチャ
(c)雑音画像にエンボス処理を施し得たテクスチャ
図 4.16 紙のテクスチャ
43
4.4
ストロークのクロスハッチング技法、ストロークの重ね描画
従来の鉛筆画の生成においては、ストロークの方向が一定であった。そこで、以下のよ
うな工程処理を行うことで、鉛筆画におけるクロスハッチング技法を施した。
１)ドット画像（雑音画像）
まずはドット画像を作成する。先の処理で扱っていた原画像の輝度の分布を反映させた
ドット画像（ランダムテクスチャ）を用いる。さらに、もうひとつ、パターンを増やすた
め現在多く用いられているドット画像の生成手法である誤差拡散(error diffusion)法によっ
てもドット画像を生成した。これは、ドットを打っていく際、変換後のドット濃度とオリ
ジナルの濃度との誤差を近傍画素に荷重をつけて拡散させ、空間平均ではオリジナルとド
ットパターンとが類似の濃度分布をもつように工夫された方法である。以下では、ランダ
ムテクスチャと誤差拡散法によって生成したドット画像のどちらかを扱う。なお、デフォ
ルトはランダムテクスチャ画像とする。
2)ストローク画像
ストローク画像を角度を変えて数パターン用意する。先述した画素の置き換えによるス
トローク画像と、特定の方向による平均化を用いたストローク画像の生成を行った。平均
化を用いた方法は１）の工程により作成された画像に、注目画素を挟んで特定方向に一列
に並ぶ画素の平均値を算出し、一方向に流れるような効果をもった画像を生成することで
ストローク画像としたものである。ストローク角度の種類の数だけ繰り返し行い、異なる
角度のストローク画像を数枚作成する。図 4.17 にストローク角度θs を任意に設定したス
トローク画像（４パターン）を示す。尚、ストローク角度のほか、長さ、太さ、濃度も設
定可能である。
44
stroke
θs
原画像
θs= 45
θs= 120
θs= 135
θs= 150
図 4.17 異角度パターンのストローク画像の生成
３）重ね合わせ
２）の工程で生成したアルファ値を持ったストローク画像を原画像の輝度分布によって
アルファ値を設定し、一枚の画像（下絵）に描き込んでいく。ストロークパターン数を増
やすとリアルになりすぎるためストロークパターンは４種類から６種類とした。
4.5 完成画像からの新たなアプローチ
これまでの完成した鉛筆画は、ストロークがはっきりしすぎている感じを受けた。こ
れは、写真のようにリアルになりすぎないためにストロークを強調し、ストロークによる
鉛筆画として表現したからである。ここで、この画像の新たな表現として少しぼかした表
45
現を加えたいと考えた。しかし、一般にぼかし処理を施すとエッジまでぼやけてしまう。
そこで、エッジを保存した平滑化処理を施すことによってそれを実現することにした。エ
ッジを保持した平滑化処理にはメディアンフィルタの他に以下のようなものがある。
1)局所領域の選択と平均化を行うフィルタ
平均化を行う領域を選択し、なるべく画像内のエッジを含まない領域で平均化を行うも
の。9 通りの局所領域を用意し、そのなかの画素値の分散が最小になる領域を選び、その
領域の平均値を出力する。これによりエッジを避けた領域で平滑化された結果が得られる。
2)最近隣平均化フィルタ(k-nearest neighbor averaging filter)
注目画素の画素値に対し、注目画素の近傍領域中で近い値を持つ画素を一定個数選び出
し、その選ばれた画素の画素値の平均を出力とする。近傍領域の大きさをＮ×Ｎ画素、選
び出す個数をｋ個とするとき、k ≤ N / 2 とすることで、注目画素の画素値に近い、近傍領
2
域中の画素数の半分以下の個数の画素の平均化をするため、画素のエッジが保存されやす
くなる。
本研究では、鉛筆画のぼかし表現の際に、メディアンフィルタおよび最近隣平均化フィ
ルタの一種である MHN（Maximum Homogeneity Neighbour）フィルタを用いてエッジ
保存平均化を行った。処理方法は、まず注目画素の近隣画素を注目画素を含む M×N サイ
ズの４つのエリアに分割し領域を定義する。次に、４つのエリアごとに RGB 各値について、
最大値と最小値の差がもっとも小さいものを調べその領域を最大均一領域とする。最後に、
決定した最大均一領域の色平均を算出し、それを注目画素に設定する（図 4.18 参照）。ＭＨ
Ｎフィルタ結果画像を図 4.19 にそれぞれ示す。
M
注目画素
M
N
N
1
2
3
4
図 4.18 MHNフィルタ
46
図 4.19 MHNフィルタ適用結果画像
4.6 輝度の調整
鉛筆画風画像生成処理を試行錯誤する課程で、コントラストの悪い画像や影が多く暗い
画像などは鉛筆画処理の際に結果画像に大きく影響を及ぼすことがあった（図 21(a)）。そ
こで、非写実的画像変換の前処理として画像輝度の調整を施し、それから鉛筆画処理を実
行し、結果画像の改善度を検討した。今回前処理として検討したのは、３章 3.2.2 節で説明
したコントラスト補正、ガンマ補正、ヒストグラムの平滑化である。
1)コントラスト補正
線形のトーンカーブ濃度変換を用いて、暗部を明部に変換する。ヒストグラムを右（高
純度側）にシフトさせるイメージである。出力画素ｇ（ｉ，ｊ）、入力画素ｆ（ｉ，ｊ）、
輝度補正レベル level、ヒストグラム平均値を mean として、式（4.8）によりコントラスト
の補正を行った。
結果画像及を図 4.21(b)に示す。
g (i, j ) = (level × f (i, j ) − mean) + mean
（4.8）
2)ガンマ補正
上述のコントラスト補正で不足する場合は非線形処理を行うガンマ補正を施す。
ガンマ値については 3.2.2 節に説明した。結果（γ=3.0 の場合）を図 21(c)に示す。
47
(a) 輝度補正なしの画像(左)とその鉛筆画処理画像(右)
(b) 輝度補正した画像(左)とその鉛筆画処理画像(右)
(c) ガンマ補正(γ=3.0)した画像(左)とその鉛筆画処理画像(右)
図 4.21 輝度調整
3)ヒストグラムの平滑化
48
画像中に特定の輝度値の出現頻度が多い場合、画像の細かい部分がはっきりしない問題
が生じる。画像を明瞭にするための補正として、変換後の階調値の分布が均一になるよう
に輝度値を分散させヒストグラムの平滑化を行った（式 4.9 参考）。
ｇ（ｉ，ｊ）＝ K /（M×N×２５５）
（4.9）
K：各画素の輝度値の累積度数
M×N：総画素数
4.7 顔画像認識技術を利用した非写実効果生成手法の提案
ここでは、局所的パーツ認識に基づく処理パラメータの自動変更を提案する。内容とし
ては、顔画像における非写実処理結果画像の改善を目指すために行った顔画像認識処理技
術を利用した局所処理を説明する。
4.7.1
顔画像における自動処理の問題点
上述のような自動非写実化処理においての処理は、パラメータなどの設定は行ってはい
るものの、画像全体に対しては同一の処理を実行しているため細部が省略されてしまうこ
とが起こる。また、陰影の影響によって暗い部分は潰れてしまったり、明るい部分は消滅
してしまったりすることがある（図 4.21）。例えば、顔画像において目の部位は影や顔の凹
凸の影響により暗く、他の部分と同一の処理を実行するとストローク生成時や輪郭抽出時
に黒く潰れてしまうケースが少なくない（図 4.22）。また鼻は輝度の変化が微妙なため輪郭
の抽出が困難となり適切な閾値が得られず変更が必要になると考えられる。
4.7.2
局所処理の方法
これらを改善するための方法としては、人物の顔について、目、鼻、口の各部分を自動
認識させ認識箇所に対して個別の処理を与える局所処理を施し、より忠実かつ違和感のな
い鉛筆画を生成することが望ましいと考えた。個別処理内容は、細部の潰れてしまう箇所
に対してはストロークサイズを縮小し、エッジ検出方法を改善するなどである。
49
(a)元画像
(b)処理画像
図 4.21 詳細部分が潰れてしまった画像の例
(a)元画像
(b)処理画像
図 4.22 目の部位の処理例
50
第５章 結果
本章では、前章で示した試行実験に基づき最終的な結果を記す。
5.1 鉛筆画風画像生成
本研究では２次元画像を入力とした鉛筆画風画像の生成を行い、最終的に図 5.1（(b)～(e)）
し示すような風合いの画像を得た。ストロークの太さはすべて同じで、濃度は原画像をも
とに自動決定している。(b)はデフォルトの鉛筆画風画像の生成処理を実行した結果画像、
(c)は輪郭線を太く設定、(d)はクロスハッチングによる処理結果、(e)は鉛筆画風画像に平均
化フィルタを適用した結果である。これらの他にも、ストロークの長さや角度などのパラ
メータ設定、処理順序の変更、フィルタの適用などによって様々な表現の鉛筆画を得るこ
とが出来た。
(a)原画像
(b)結果画像（デフォルト）
(c)結果画像（輪郭線レベル３）
51
(d)結果画像（クロスハッチング）
(e)結果画像（平均化フィルタ）
図 5.1 作成した様々な鉛筆画風画像
5.2 顔画像における局所処理の適用
顔画像において局所的に異なる処理を施すことで細部の表現を可能にするための実験
を行った。顔のパーツの選択は今後、顔画像認識技術を用いて自動で目や口を抜き出した
いが、自動認識は今回のテーマから外れるため手動で範囲選択できる仕様とし処理を行っ
た。選択後、パーツごとにパラメータを変えて処理を実行する。このパラメータの値は任
意で行うものとした（図 5.2 参照）
。
さらに顔画像において局所的に処理を施すことによる結果画像に対する影響を調べ、局所
処理の適用による画質改善について良好な結果を得た。現在は手動での局所選択ではある
が潰れていた部分が局所処理により改善されたことがわかる（図 5.3、5.4）。
52
図 5.2 パーツごとの処理実行画面の例
(a)元画像
(b)選択画像
図 5.3 顔パーツの選択画像
(a)通常の鉛筆画風画像
(b)局所処理適用画像
図 5.4 局所処理結果画像
53
5.3 ソフトウェア開発
本研究における画像処理実験には自作のソフトウェアを使用した。このソフトウェアに
は基本的な機能が中心であるが、その組み合わせで様々な非写実的画像が生成できる。最
終的にはそれぞれの非写実効果生成に特化した画像処理ソフトの開発を目指し、使いやす
さ、汎用性、機能性、などを考慮しながら目的調の画像を出来るだけ手間なくユーザの意
思を付加し、自動で非写実的画像に変換するシステムを構築することが目標である。本研
究では鉛筆画生成に特化したシステムについては１クリックで自動生成するソフトウェア
を構築できた。すべての風合いの処理を搭載するには多大な開発時間を必要とするため、
現状では、グレイスケール、濃度反転、エンボスなど基本的な画像処理機能をはじめ、輪
郭付加やストローク生成などの鉛筆画風画像作成において必要な機能を備えている。本ソ
フトウェアに搭載した主な機能を表 5.1 に例記し、同ソフトウェア（初期 Version）実行の
様子を図 5.5、機能追加に伴い Form 形態を変更した現在の状態（Version２）を図 5.6 に示
す。
表 5.1 画像処理ソフトウェア搭載の主な機能
グレイスケール
移動平均
濃度変換
メディアンフィルタ（重さ設定）
エンボス（深さ）
Gradient フィルタ（重さ設定）
二値化（閾値）
Laplacian フィルタ（重さ設定）
階調数低減
Prewitt フィルタ（重さ設定）
RGB チャンネル表示
Sobel フィルタ（重さ設定）
ヒストグラム（RGBL）
輪郭付加（閾値）
色情報表示（RGB、HLS、YCC）
輪郭ずらし
色調補正（明るさ、コントラスト）
色相検索（０～３６０）
局所処理（手動選択）
明度検索（０～２５５）
RGB・HLS 変換
アルファ値操作
鮮鋭化
ストローク付加（長さ・角度）
ノイズ付加
画用紙テクスチャ（輝度調整）
ランダムテクスチャ（輝度調整）
画像 Viewer
最小、最大、最頻、平均、中央値取得
ファイル保存・印刷
54
図 5.5 ソフトウェアForm画像（初期Version１）
図 5.6 ソフトウェアForm画像（Version２）
55
第６章 考察・問題点と課題
以下、本研究の考察と問題点およびそれらから導き出された課題、さらに今後の展望や
将来性を記す。
6.1 考察・問題点と課題
ここで、画像処理ソフトウェアと処理方法について考察し、現システムでの問題点を述
べ、最後に本研究全般的な問題点や課題に触れることとする。
6.1.1
ソフトウェア
既存ソフトウェア製品と比較すると自作ソフトウェアとの機能的な差は明らかであるが、
鉛筆画としての完成度は少なくとも劣ってはいないと感じる。その点で、鉛筆画に特化し
たソフトウェアとしては完成の域に達したと言える。優れた画像処理ソフトウェアに共通
して言えるのは、その機能の多さと、レイヤーやウィンドウなど GUI の利便性、プレビュ
ーや様々なデータの表示、情報量とリアルタイム性、ドローやペイントやフォトレタッチ
など総合的な処理が可能なことであるといえる。しかし、本研究で開発したソフトウェア
では、現在の処理機能だけでは、画像処理の仕上げや調整の際の加工が出来ない。すなわ
ち、画像のリサイズや色調補正などの機能が必要となる。しかし、一芸に特化したソフト
ウェアとして位置づければこれらの後処理は一般の画像処理ソフトに委ねるという解もあ
る。一方、簡略化を目指しつつも、パラメータの設定においては複雑な仕組みになりつつ
ある。しかし、より簡便に全ての設定を自動化してしまえば、誰が処理しても同じ結果に
到ることになるため、設定は可能にしておくことも必要であると考えられる。その際に、
よりグラフィカルで理解しやすい GUI 設計や、簡易な処理チュートリアルに従って例に沿
って処理していく形式をとるなどして、より解り易い操作設計が必要である。
本研究ソフトウェアのテーマは一般ユーザでも扱いやすい非写実的画像生成に特化した
画像処理ソフトウェアである。現状は、画像処理ソフトウェアとしての基盤の上にようや
く鉛筆画を中心とした非写実的効果生成機能が付加されたところである。総合的な機能を
有するソフトウェアを開発するのは、ある程度の時間が必要だろう。画像処理としての機
能の追加を随時行いながら、非写実的描画機能の開発に取り組んでいかなくてはならない。
また、様々な画像処理ソフトにふれ処理プログラムを組んでいく中で、機能の多さや使い
易さとは別に、面白いと感じられる要素を付加する工夫も必要だと感じた。
56
6.1.2
初期画像及び処理パラメータの結果画像への影響
処理パラメータの結果画像への影響を元にパラメータの最適値を決定することになるが、
画像によってその特徴は異なる。単純に明るい画像、暗い画像、ぼやけた画像、構造物写
真、人物写真など、それら全ての異なる画像に対しての最適なパラメータを決定すること
は非常に困難である。そのため、ある程度のユーザの判断が要求される。そこで、知識の
ないユーザのためにもよりグラフィカルで分かりやすい操作方法の提案や、処理チュート
リアルなどの提示などを組み込む必要がある。ユーザの介入を少なくすればするほど、つ
まり自動化すれば簡単に誰でも非写実画像が生成できるが、そうなると誰でも同じ画像を
使えば同じ結果になってしまうということである。せっかく個性的な表現方法を使っても
これでは意味がないといえる。ある程度、ユーザに介入してもらうことを前提においたシ
ステム開発、画像処理ソフトウェア開発が必要不可欠な課題である。
6.1.3
処理方法
先に述べたように、全ての画像（写真）に対して有効なパラメータ・処理方法を決定する
のは難しい。結果の画像から見ても分かるように鉛筆画で描かれる様な風合いは十分に出
ている。しかし、画像上にはまだまだコンピュータ特有の規則性が発生している感が否め
ない。改善のためには、実際に鉛筆画を描くときのように対象物の特徴を判断（抽出）す
る必要がある。例えば、元画像がカラーの場合はその色情報の活用、ストロークの対象物
エッジに平行・垂直な配置及び対象物構造に合致したストローク形状や細かな長さ設定な
どが考えられる。これらは、処理結果データを比較しながら検討していく必要がある。ど
のような表現を構築したいかを考え、それをいかにコンピュータ上で再現していくかを考
えなくてはならない。テンプレート用のデータベースを用意し画像内にマッチングするこ
とで画像内の認識が出来れば、処理の際に処理対象の認識が可能となり、人間であるのか、
構造物であるのか、などの情報によってその対象物に合致した処理が可能であると考えら
れる。人間が描くときに対象物をどのように認識し捉えているのか、認識技術と兼ねあわ
せて処理を検討していくことも重要だろう。また、顔画像の局所処理においては、今回任
意で行ったパーツごとの処理パラメータ設定の最適値の検討、特に現描画方法において重
要な輪郭線検出の閾値自動決定が求められる。より複雑な処理になった場合に、各パーツ
での処理後に違和感なく全体画像へ馴染ませることが必要不可欠な課題となるだろう。
6.1.4
感性表現と評価方法
最大の課題は、ユーザの意図した画像が生成できることとユーザの個性を生み出せる
57
ことである。また、絵画においてその評価が個人の価値観に左右される点と同じく、本ソ
フトウェアによる結果画像が良い画像か悪い画像かは見る人の判断によるため、主観評価
などで評価するしか方法がないということも問題であり、この研究分野において大きな課
題だろう。今のところの結果画像の評価としては、実際に人間が描いた絵画と比較するこ
とや、美術の専門的知識を持った人と一般人とで、アンケートをとり画像の評価をしてい
く準客観的な評価方法が挙げられる。その他、画像内の輝度分布や使用輝度の割合などの
パラメータで比較していくことが考えられる。
6.2 展望・将来性
今後の展望としても、総合的な画像処理ソフトウェアとして発展させるのではなく、非
写実的画像生成に特化したソフトウェアを目指したい。しかし、色調補正やリサイズなど
画像処理ソフトウェアとして、まだ必要な機能はある。それらを追加した後、多様な効果
の画像が生成でき、それをさらに輝度調整・リサイズなどで仕上げる程度の加工を施すこ
とができれば、様々な場所・場面で活用できるだろう。また、新しい方向性として、静止
画だけでなく動画像にも対応できれば、動く鉛筆画や動く油絵画など非写実的な映像も表
現できると考えられる。これからも益々ディジタル画像はその需要を増やしていくであろ
う。それらを、簡単に、面白く、個性的に、楽しく、綺麗に、表現できれば、ユーザを選
ばず扱ってもらえるソフトウェアに発展することであろう。
58
第７章 結論
画像処理によって２次元ディジタル画像に非写実的効果を与え、様々な表現の画像を自動
生成させるシステムの構築、及びそれに特化した画像処理の手始めとして、鉛筆画風画像
の自動生成ソフトウェアを開発し、その方法を検討した。また、顔画像における局所処理
について取り組んだ。
鉛筆画風画像の生成においては、ストロークベースの鉛筆画生成を目標に、写真の特徴を
考慮した多様なストロークによって対象画像を表現する方法について特に詳細に検討した。
人間が描く場合の処理フローを考慮し、画像の濃度分布を考慮した多様な角度のストロー
クの重ね書きによって、良好な鉛筆画風画像を短時間で生成するシステムが開発できた。
また顔画像の局所処理では、局所的な個別処理で結果画像の細部の消滅などに対して改善
する有用性が得られた。これらの実験を行ってきた結果として、まだまだ基礎的段階では
あるが、それら局所的処理や鉛筆画風画像の他にも多用な効果を生み出す多くの処理機能
をもった画像処理ソフトウェア A-IProVer1.0 が完成した。
今後も非写実効果生成ソフトウェアの開発を進めると共に、自身の興味を生かして新し
い生成手法を提案していきたい。また鉛筆画だけでなく油絵画風画像、水彩画風画像など
様々な非写実的画像に変換する機能を加え、一般的なユーザにも使用可能な画像処理ソフ
トウェアの開発を行っていきたい。その際、誰もが専門的知識を持たなくても簡単に楽し
める使いやすいソフトウェアを目指すとともに、誰が使用しても同一の結果になるのでは
なく、ユーザ自身の芸術的表現をどこかに付加させる工夫も取り入れ、表現の向上とその
発展に取り組みたい。
59
謝辞
本研究、論文作成を行うにあたり、ご指導ご鞭撻を賜りました高知工科大学 電子・光シ
ステム工学科 山本真行助教授、論文副査および副指導をして頂いた植田和憲講師、星野孝
総助教授に深く感謝致します。
また、高知工科大学 電子・光システム工学科在学中ならびに大学院在学中に常日頃から
ご指導ご助言を頂きました神戸宏学科長をはじめ電子・光システム工学科教員の皆様に重
ねて感謝の意を表します。
最後に、共に画像処理研究を行いよい相談相手となって頂いた別役重佳氏をはじめ、山
本研究室の皆様、ならびに研究に関するセミナーを共に行い有益な助言・ご指摘を頂きま
した植田研究室の皆様に心から感謝いたします。
60
参考文献
[1]
ヘンリージョハン,松井一,芳賀俊之,土橋宜典,西田友是” 領域ベース・ストローク
ベ ー ス の ア ー ト 風 画 像 生 成 法 ” 電 子 情 報 通 信 学 会 論 文 誌 , vol.J88-D2, no.2,
pp.358-367. February 2005
[2]
岡部めぐみ,瀬川大勝,宮村(中村)浩子,斉藤隆文”実写画像に基づく非写実的顔画像
生成手法”情報処理学会グラフィックスと CAD 研究報告, 2004-CG-116-6, pp.29-34,
August.2004.
[3]
笠尾敦司”ノンフォトリアリスティック CG の作品性を高める要素”情報処理学会研
究報告，グラフィックスと CAD，vol.2001, no.CG-104-18, pp.83-88, September.2001.
[4] 茅暁陽，長坂好恭，山本茂文，今宮淳美“LIC 法を利用した鉛筆画の自動生成法”芸
術科学会論文誌，vol.1，no.3，pp.147-159，2002.
[5]
矢野類子，山口泰“画用紙テクスチャを反映した鉛筆画風画の生成法” Visual
Computing / グラフィクスと CAD, 2003.
本文中で引用した以上の文献に加えて、以下の文献を参考とさせて頂いた。
「画像処理工学」
[6] 村上伸一 著
[7]
磯博 著
東京電機大学出版局
1996
「ディジタル画像処理入門-コンピュータによる画像処理の基礎知識-」
能大学出版部
産
1996
[8] ディジタル画像処理編集委員会･監修 「ディジタル画像処理」 画像情報教育振興協
会（CG-ARTS 協会） 2004
酒井幸市 著 「ディジタル画像処理の基礎と応用 -基本概念から顔画像認識まで-」
[9]
ＣＱ出版株式会社 2003
[10]
株式会社ナルボ
論社
醍醐竜一
斉藤友男 著
「パーフェクトＣ＃」
株式会社技術評
2004
[11]
山口哲弘 著 「始めよう！Ｃ＃」 日経ＢＰ出版センター 2002
[12]
ハーバート・シルト 著
[13]
谷尻かおり 著
「独習Ｃ＃」
株式会社翔泳社
2002
「Visual C# 2005 実践プログラミングテクニック」
株式会社技術
評論社 2006
[14]
八木秀人
デッサン技法研究会 著 「スーパー基礎デッサンステップアップ学習法」
株式会社グラフィック社 2002
61
さらに、参考とさせて頂いた web サイトを以下に記す。
[15] ----- Jimmy --- Java による絵画風画像生成のための教育用システム
URL
http://www.ke.ics.saitama-u.ac.jp/kondo/jimmy/
[16] DOBON.NET
URL
http://dobon.net/
[17] C#Note
URL
[18]
http://www.geocities.jp/takamori700/index.htm
緑のバイク
URL
初めての C#
～覚え書き～
http://homepage3.nifty.com/midori_no_bike/CS/
[19] @IT Insider.NET
URL
[20]
++C++;// 未確認飛行 C++
URL
[21]
http://www.atmarkit.co.jp/fdotnet/index.html
http://ufcpp.net/
MemoNyanDum
URL
http://junki.lix.jp/index.html
[22] WoodenSoldier Software C# Tips
URL
http://www.woodensoldier.info/computer/CSharp.htm
[23] C# Programming
URL
http://uchukamen.com/index.htm
[24] C#,VB.NET 入門
URL
http://jeanne.wankuma.com/
62
付録
使用画像
サンプル画像 A～Ｆ：
（筆者撮影）撮影ディジタルカメラ：FUJIFILM
FinePix F410
サンプル画像Ｇ：無料写真素材 p-fan.net
サンプル画像Ｈ～Ｊ：標準画像 SIDBA
A：高知工科大学 B 棟前から（400×300.jpg）
C：紫陽花（400×300.jpg）
B：高知工科大学本館（400×300.jpg）
D：室内画像（400×300.jpg）
63
Ｅ：高知工科大学東側から（400×300.jpg）
Ｇ：1258 犬(1024×768.jpg)
Ｆ：高知工科大学Ａ棟（400×300.jpg）
Ｉ：「Woman」（256×256.bmp）
Ｈ：「Lenna」（256×256.bmp）
Ｊ：「Pepper」
（256×256.bmp）
64