イラストレーション・漫画を自動で描く研究

大抵の人は一度はそういうことを考えたことがあると思います。
もちろん、全自動ではなく、人手の（時間的）作業コストを十分に低減した半自動化ができれば十分であるはずです。




こちらも参照
実写画像のアニメ風変換実験



本当にマンガを生成すると言っている文献もあります。

オンラインゲームのプレイログを用いた漫画の自動生成
首田大仁 立命館大学
ゲーム学会誌 Vol.3, No.1 2009

漫画形式を用いた研究にはコミックダイアリという博物館や学術会議での個人の行動を漫画へ埋め込み出力する研究["コミックダイアリ：漫画表現を利用した経験や興味の伝達支援"],や動画を漫画へ要約する研究["Efficient Layout of Comic-like Video Summaries"]，
日記を漫画へ要約する研究["Generating Cartoon-Style Summary of Daily Life with Multimedia Mobile Devices"],がある．
またオンラインゲームからの漫画化にはShamir らの研究["Generating Comics from 3D Interactive Computer Graphics"],がある．

提案システムの入力は対象ゲームのクライアントに蓄積されるプレイログである．プレイログとはクライアントが検知したゲーム内での出来事をありのままに記録したものであり，動作の起こった時刻t，動作の種類a，動作の種類固有のパラメータを含む．
もし対象ゲームのプレイログにこれらのパラメータが含まれない場合はそれらを出力するように対象ゲームを設定する必要があるが，どのようなオンラインゲームであっても容易であると考えられる．

2.1. シーン分割機能

シーン分割機能ではまず，主人公に関連したインタラクションの活性度合いと主人公の移動量を用いて
h(t)を計算する．ここでインタラクションとは，動作の発生した時刻t，動作の種類a，動作に関連する主体
e，e'の組み合わせのことを言う．その後にh(t)と閾値を比較し，シーンの分割箇所を決定する．

2.2. イベント抽出機能
イベント抽出機能では各シーンからイベントを抽出する．
イベントとはいくつかのインタラクションによって構成されるひとまとまりの出来事であり，例としては会話イベントや戦闘イベントが挙げられる．


2.3. コマ候補決定機能
この機能の目的は出力される漫画に含まれるべきコマ候補のリストを作成し，レンダリング機能で必要とされるパラメータをそれぞれに格納することである．
この機能では弾丸などのプレイログに書かれていない物体の動きを再現する必要があるためゲームエンジンを用いてゲームプレイをシステム上で再現しながら実行される．
ゲームプレイの再現は，プレイログの内容を順にゲームエンジンへ入力することで実現される．



2.4. コマ候補選別機能
コマ候補選別機能では読者を飽きさせることがない
ようにHSOM（Habituated Self-Organizing Map）["A real-time novelty detector for a mobile robot"],と呼ばれるシステムを用いて類似したコマ候補を破棄する．
このシステムは競合層と馴化層からなるニューラルネットワークである．本節では筆者ら独自のアルゴリズムについて紹介するため，HSOM の仕組みと関連したより詳細な手順，および被験者実験によって検証されたその効果については["Frame Selection for Automatic Comic Generation from Game Log"]を参照されたい．

---

皆さん
多分こういう感じのことをしたいんだと思います

○ 3DCGを2DCGに変換する
○ 写真をアニメ塗りに変換する
○ 下書き、ラフ画を仕上げる

---

SilF: 3D アウトラインによる擬似3D 表現を用いたスケッチツール
米澤航太 柴山悦哉 東京工業大学
高橋伸 筑波大学
グラフィックスとCAD合同シンポジウム2004

本論文では，マンガ風のイラストレーションのための，3D空間上での視点変更や回転が可能な，新しい擬似3D表現とそのレンダリングアルゴリズムを提案する．
マンガ風のイラストレーションの場合，アウトライン（境界線）部分が濃く太く強調される．
本表現では，対象となる物体をポリゴン等の面情報を含む完全な3D 形状として表すのではなく，アウトラインのみで表現する．
このアウトラインは，一般の2Dイラストレーションと異なり，3D空間に，3D曲線として配置する．
これを3D アウトラインと呼ぶ．3D アウトラインは，まず投影面に投影変換して2D ベクタイラストレーションと全く同様の形に変換してから描画されるので，描画結果は2D ベクタイラストレーションと非常に近い風合いになる．

3D アウトラインによる表現は，従来の3D 表現と2D イラストとの中間的な位置にあるといえる．この限られた3D 情報しか持たないモデルであっても，イラストレーションを完全な3D 立体があるかのように3D 空間内で回転させて見ることが出来，十分な立体感を得ることが可能である．

これが実際の画面です。

これを横から見ると、どうなっているのかがわかるのですが...













ノンフォトリアルキャラクタへの漫画的感情表現の適応
朝倉永史奈
東京工科大学　メディア学部
2006 年度卒業論文

キャラクタの質感設定についてはセル調の質感を出すことができるトゥーンシェードを利用する。

これはアニメのように色の階調を2 色程度に分けるものであり、近年のアニメでは3 Ｄで制作したオブジェクトを2 Ｄのキャラクタを馴染ませるためにこの手法が取り入れられている。

3.2 モデリング

3D キャラクタをより2D らしく見せるためのモデリングの工夫点を紹介する。
フォトリアルな表現をする際には口角をあげた際の頬の動きや、眉をひそめた際にできる額のしわなど表情変化の際に起こる筋肉の動きを重視する。そのためモデルは一つのオブジェクト、または筋肉組織に沿ってモデリングされる場合が多い。
しかし、本研究のように誇張表現を重視したキャラクタの場合、モデルの配色は光のあたる部分と影の部分の2 色のみで表現するため、フォトリアルなモデ
ルで表現されるような細やかな筋肉の動きはレンダリング結果に反映されづらい。
また極端に眉を上げたり、目を見開いたりしたアニメーションを作る際には眉や目の動きにあわせてついてくる筋肉の動きは邪魔になる場合がある。そこで、今回は顔のオブジェクトを眉、目、口と顔の4 つに分けた。口と顔に関しては、口を大きく開いた際に顎が動くようにしたかったので、同一のオブジェクトとした。




3.3 ランプシェーダ
Maya では多種類のマテリアルとシェーダによって、異なる概観の性質を表現することができる。

今回、セル調の色調を出すためにランプシェーダという機能を利用した。

これは、ライトとビューの角度により配色を細かく設定する事ができる機能で、図3.3 はこの機能をキャラクタモデルに適応したものである。
肌や髪、眼などに使われる色を単色、もしくは2 色に制限することで、アニメでよく見られるようなはっきりと明暗の分かれたキャラクタの画像を作ることができる。




3.4 mental ray contour
mental ray はMaya のプラグインの一つとして提供されている機能であり、contourはその機能の一部である。

この機能を使ってキャラクタに輪郭線を描いていく。設定方法は少し複雑だがその表現力は高く、輪郭線の幅、色はもちろん、不透明度や線のタッチ、線を描く条件等、様々な設定が可能になる。
今回はキャラクタの髪と肌にこの機能を適応した。髪はオブジェクトとオブジェクトの境界線に輪郭線を描き、肌は他のオブジェクトの境界線とオブジェクトの背後に何もない場合はオブジェクトと背景の境界線に輪郭線を描くように設定した。

本論文のテーマは「漫画的感情表現の適応」なので
3DCGを2DCG風にするテクニックはこれだけです














画像を絵画風に変換する画像処理ソフトウェアの機能は多くあります




画風を伴った絵画風画像の自動生成に関する研究
山口泰 　　東京大学
研究報告 放送文化基金

写真のような現実感を伴わない画像、すなわち、画家やデザイナーの描く絵に似た画像の生成手法は一般にノンフォトリアリスティックレンダリング（nonphotorealistic rendering）と呼ばれる[Expressive Rendering: a Review of Nonphotorealistic Techniques]。これら
の手法の対象としては、絵画風画像[Abstract Image Representations,Processing Images and Video for an Impressionist Effect,Painterly Rendering for Animation,Painterly rendering with curved brush strokes of multiple sizes]、工業デザイン画などで見られる輪郭を強調した画像[Comprehensible Rendering of 3 - DShapes,]、ペン
画風画像[Orientable Textures for Image-Based Pen-and-Ink Illustration,]などがある。


1 絵画風画像の生成プロセス

1.1 概要
ブラシストロークモデルでは、描くブラシストロークを準備し、キャンバス上に塗り重ねることで絵画風画像を生成する。絵画風画像の生成プロセスは図２に示すように、以下の２ステップに分けられる。

要約すると、
ブラシストロークを作成して、
そのブラシで実際に描画するように元画像を近似する塗りつぶしを行うだけです。
原理は思ったよりは簡単です。

2 素材画像の部分領域の近似
前節で述べた「分布決定」「属性決定」「順序決定」における問題点を解決するためには、素材画像の部分領域を１つのブラシストロークでいかに近似するかが基本となる。つまり、ある素材画像の部分領域C_wとブラシストロークの色Cが与えられたときに、ブラシストロークがC_wをうまく近似できるように、ブラシストロークのその他の属性、すなわち、位置(x_c, y_c)、向きθ、および、大きさ(w, l)を決定する手法が重要となる。
このプロセスは、画家が絵を描く際のプロセスに似ている。画家は、まずパレット上で色を作成してから、その色で塗るのにふさわしい、位置、向き、大きさで、絵筆をキャンバス上に配置することを繰り返して、絵を描いている。




2.1 色差画像
ブラシストロークの色C、および、素材画像の部分領域の各ピクセルの色C_w(x, y)の色差をもとに色差
画像を生成する。色差画像I(x, y)は、ブラシストロークの色C に対する色の違いを表すグレースケール画
像である。すなわち、ピクセルの色Cw(x, y)がC と同じ場合にI(x, y)=1 となり、色差が大きくなると、I(x,
y)は0 に近づくものとする。
色差画像の輝度値I(x, y)を、以下の式に示すように2 つの関数fとdを用いて定義する。

ここで、d(C_1w, C₂)>0 は、色C₁と色C₂の間のCIE-L*u*v* 空間でのユークリッド距離である。
また、f(d)は、色空間での距離から色差画像の輝度値を計算する関数である。この関数としては、

を用いている。ここで、d0は同系色の範囲を定める定数である。

ディジタル環境を指向したマンガの制作プロセスのモデル化とそれに基づく制作支援
三原鉄也 杉本重雄 筑波大学
ディジタル図書館 (37) 2009

2.1 一般的なマンガの制作プロセス
マンガの作成過程を支援するシステムを提案することを目的として、初めにマンガの制作過程に関する分析を試みる。マンガの作成過程はマンガ作家や編集者によって様々ではあるが、マンガ作成の一般的な作成プロセスを以下のようにまとめることができる。
I. 構想：キャラクターや舞台、物語に関するアイデアを蓄積する。箇条書き、ラフスケッチなどの簡易的な表現を用いることが多い。
II. ネーム作り：構想を元に、コマ割を行い、コマ内にキャラクター、背景、フキダシ、オノマトペといったもののレイアウトを行う。
III. 下書き：作画のために具体的な線のアタリを取る。
IV. ペン入れ・仕上げ：印刷に反映される太い実線を引く。さらに着色(モノクロの場合はグレーの濃淡を付ける)、台詞を活字にする写植を行う。



図１に示すように、ネームの形式は作家ごとに様々であり、紙にコマ割りを行い、そのコマの中にフキダシとキャラクターを示す記号が描いてあるだけの極めて簡素なものから、ほぼ完成原稿の下書きといえるほど細部まで描き込んであるものもある。

2.4 ネーム作成プロセスの問題点の解決アプローチ

・ ネームがもつマンガに関する設計情報やネームの構造を明確に表現できるモデルを構築する。ネームはキャラクターやストーリー、舞台といったマンガの内容に関する情報とページやコマ割、コマの中の絵といったマンガの平面表現に関する情報を統合的に内包している。
これらの情報構造を提案することで、ネームの情報の外在化が可能になり、具体的な改善点の明確化の一助となると共に、再利用のためのネームのメタデータとして利用できる。
・ 作家にとって、逐一版情報や修正情報を入れたりすることは面倒な作業である。そのため、制作過程においてできるだけ無理のない方法を考えなければならない。
本研究では、ネームのエディタといったものは考えず、紙をベースにした従来のネームを用いて版管理のモデルを考える。

3.１ マンガ設計情報のモデル化とシナリオ分析手法
マンガの制作段階で作られるものの中で最も大事なネームの設計やモデル化に関し、本研究では、映像作品のシナリオライティングで用いられている「シナリオ分析手法」

を参考にして、ネームがもつマンガに関する設計情報やネームの構造のモデル化をおこなうことにした。

3.2 3つのマンガ設計情報
本研究では「シナリオ分析手法」を参考にして、ネームの持つ情報を内容情報、構造情報、遷移情報の3 つに分けて考えることにした。


(1) 内容情報： 内容情報とは、筋立て（ストーリー）を構成する知的内容に関する情報を指す。内容情報は、マンガの作者の持つ創作の動機やページ数、〆切日などマンガ制作にあたって所与の条件となる情報である
テーマ、登場キャラクターや舞台、小道具、エピソードなど物語の元となる着想・設定となる情報であるアイデア、キャラクターの行動やセリフによって表される物語中の出来事となる情報であるストーリーに分けられる。
「テーマ」「アイデア」「ストーリー」はそれぞれ前者が後者に先行して決定される。
「アイデア」は何らかの「テーマ」をその背景、根拠に持ち、「ストーリー」は「アイデア」をその背景、根拠に持つ。
従って内容情報を表現するに当たっては、これらの関連性を適切に明示する必要がある。


(2) 構造情報： 構造情報とは、内容情報をマンガ的に描写（テリング）した平面表現に関する情報を指す。ページ割りやコマ割、コマの構図、フキダシ、オノマトペといったオブジェクトのレイアウトなどの絵画的なマンガ表現の構造そのものに関する情報である。

構造情報にはこの他、マルチメディアを利用した演出とその内容も含まれる。
例えば携帯電話向けマンガ（いわゆるケータイコミック）は、フキダシがコマの表示後に表示したりコマが振動したりするなどの効果を活かした演出が組み込まれている。このような表現も構造情報に含まれるべきであると考える。

（3） 遷移情報： 遷移情報とはネームがその制作プロセスにおける変遷の過程に関する情報を指す。前節で述べたようにネームは制作プロセスの中で版を重ねる。この過程において内容情報や構造情報が段階的に決定される。そのためこれらの関係性を表現するためには遷移関係を表現し、ネームの版の変遷を保持する必要が生じる。

遷移情報の管理はソフトウェア開発におけるバージョン管理システムと類似している。
しかし、ソフトウェアのソースコードはファイルの変更点（差分）と内容の変化が直結していることに対し、ネームは一概に同じとは言えず、その管理には内容の変更と表現の変更の関連性を外在化することで版の概念を明らかにする必要がある

広く知られていますが
この漫画は3DCGで描いてます


この人はCGで漫画を描く先駆けらしいです

Comments

1. Posted by used furniture Toronto   2012年04月25日 14:41

こんにちは ! 私はあなたのすばらしいポストのためにありがとうと言いたいと思います。 それは非常に興味深いものだった、私はあなたの仕事の一部を読みたい ! すばらしい仕事 !:)