2010年01月31日
画像の部分的類似性検出
Tweet |
実験してみて、案外使い道がたくさんありそうな気がしてきました
SURF: Speeded Up Robust Features
Herbert Bay, Tinne Tuytelaars, and Luc Van Gool
Katholieke Universiteit Leuven
Computer Vision - ECCV 2006
ASIFT: A New Framework for Fully Affine Invariant Image Comparison
Jean-Michel Morel CMLA, ENS Cachan
Guoshen Yu University of Minnesota
SIAM Journal on Imaging Sciences, 2009
局所特徴量の照合による線画の部分的複製検出
孫維瀚 黄瀬浩一
大阪府立大学
電子情報通信学会技術研究報告. パターン認識・メディア理解 108(432) 2009
これは厳しすぎると思いますが....
例としてこのような絵を挙げています
この漫画が何であるかはわかりません
璃々依?
この問題には
Interest Point Detectors と Feature Descriptors
という二つの機能が必要です。
Detector が画像中の特徴点/局所領域を検出し、
Descriptor が特徴ベクトルを記述します
Detector もDescriptor にも多数のアルゴリズムが存在するようです。
Descriptor ではこういうことができると書いてあります。
ASIFTの方法は以下と書かれています
Detector ,Descriptor では
基本的にはアフィン変換による編集をカバーできるらしいです。
では実際に試してみます。
SURF: Speeded Up Robust Features
Herbert Bay, Tinne Tuytelaars, and Luc Van Gool
Katholieke Universiteit Leuven
Computer Vision - ECCV 2006
The task of finding correspondences between two images of the same scene or object is part of many computer vision applications. Camera calibration, 3D reconstruction, image registration, and object recognition are just a few.
The search for discrete image correspondences the goal of this work can be divided into three main steps.
First, ‘interest points’ are selected at distinctive locations in the image, such as corners, blobs, and T-junctions.
The most valuable property of an interest point detector is its repeatability, i.e. whether it reliably finds the same interest points under different viewing conditions. Next,
the neighbourhood of every interest point is represented by a feature vector.
This descriptor has to be distinctive and, at the same time, robust to noise, detection errors, and geometric and photometric deformations.
ASIFT: A New Framework for Fully Affine Invariant Image Comparison
Jean-Michel Morel CMLA, ENS Cachan
Guoshen Yu University of Minnesota
SIAM Journal on Imaging Sciences, 2009
Image matching aims at establishing correspondences between similar objects that appear in different images. This is a fundamental step in many computer vision and image processing applications such as image recognition, three-dimensional (3D) reconstruction, object tracking, robot localization, and image registration.
The general (solid) shape matching problem starts with several photographs of a physical object, possibly taken with different cameras and viewpoints. These digital images are the
query images. Given other digital images, the search images, the question is whether or not some of them contain a view of the object taken in the query image.
局所特徴量の照合による線画の部分的複製検出
孫維瀚 黄瀬浩一
大阪府立大学
電子情報通信学会技術研究報告. パターン認識・メディア理解 108(432) 2009
著作権を保護すべきコンテンツとしては様々なものが考えられるが,その中でも図面や漫画などの線画は重要なものの一つである.線画は,濃淡のない直線又は曲線だけで描く図形であり,単色が基本となる.
線画の不正利用者は,オリジナルをそのまま使うことは希であり,オリジナルの一部分(部分的複製)を,自分の線画の一部として使うことが多い.また,漫画などで部分的複製を作成する場合には,オリジナルの切り抜きをそのまま使うのではなく,手書きで複製するなどの改変を伴う場合が考えられる.それ故に,印刷の複製だけではなく,手書きの複製も考えなければならない.
これは厳しすぎると思いますが....
例としてこのような絵を挙げています
この漫画が何であるかはわかりません
璃々依?
この問題には
Interest Point Detectors と Feature Descriptors
という二つの機能が必要です。
Detector が画像中の特徴点/局所領域を検出し、
Descriptor が特徴ベクトルを記述します
Detector もDescriptor にも多数のアルゴリズムが存在するようです。
Descriptor ではこういうことができると書いてあります。
ASIFTの方法は以下と書かれています
The scale space representation introduces a smoothing parameter . Images u0 are smoothed at several scales to obtain , where
the SIFT detector can be summarized in one single sentence:
The SIFT method computes scale-space extrema of the spatial Laplacian of and then samples for each one of these extrema a square image patch whose
origin is , whose x-direction is one of the dominant gradients around ,
and whose sampling rate is , where the constant c = 0.8 is the tentative standard deviation of the initial image blur.
ASIFT Algorithm.
ASIFT proceeds by the following steps.
1. Each image is transformed by simulating all possible affine distortions caused by the change of camera optical axis orientation from a frontal position.
These distortions depend upon two parameters: the longitude φ and the latitude θ .
The images undergo φ-rotations followed by tilts with parameter ( A tilt by t in the direction of x is the operation u(x, y) → u(tx, y)).
For digital images, the tilt is performed by a directional t-subsampling.
It requires the previous application of an antialiasing filter in the direction of x, namely the convolution by a Gaussian with standard deviation .
The value c = 0.8 is the value chosen by Lowe for the SIFT method . As shown in , it ensures a very small aliasing error.
2. These rotations and tilts are performed for a finite and small number of latitude and longitude angles, the sampling steps of these parameters ensuring that the simulated images keep close to any other possible view generated by other values of φ and θ.
3. All simulated images are compared by a similarity invariant matching algorithm (SIFT).
Detector ,Descriptor では
基本的にはアフィン変換による編集をカバーできるらしいです。
では実際に試してみます。
こういうことを試してみたので
これはどうでしょうか?
これは全然関係ないところへ行きます。
構図が同じなだけでは
関係ないところへ行きます。
他にも1000パターンぐらい比べたのですが顕著な一致は検出できませんでした。
条件を甘くするとほとんどの領域が一致していることになり、
条件を厳しくするとマッチングが全くなくなります。
今回の試行だけでは
画風や、線の書き方などが類似しているという仮説は否定せざるを得ませんが、
他の絵のペアで別のアルゴリズムで別の条件で試せば違う結果になるかもしれません。
というわけでこの問題の本質は、
客観的に類似しているかどうかが問題なのではなく
人間が見て似ていると思うか、思わせるか が本質なのです。
人間には視聴覚的情報のほとんどは見ていないので、人間が注目するほんのわずかな点を似せれば似ていると思わせることはできます.......
となると、やっぱり類似していないわけではないということにもなりますが、
それは別問題です。
こういう感じのことも試してみたので
こういう感じのこともやってみたのですが
様々なパターンを比べたのですが、顕著な一致は検出できませんでした。
条件を甘くするとほとんど誰でも顔が一致し
厳しくすればほとんど一致しません。
だから、比較対象としてとても類似しない画像の組も用意することが必要です.....
右は左を模写したことは明らかなのですが
画像の調整が必要かもしれません
しかし画像を調整するということは
元の画像の情報を破壊するということで....ということにもなります
これはどうでしょうか?
これは全然関係ないところへ行きます。
構図が同じなだけでは
関係ないところへ行きます。
他にも1000パターンぐらい比べたのですが顕著な一致は検出できませんでした。
条件を甘くするとほとんどの領域が一致していることになり、
条件を厳しくするとマッチングが全くなくなります。
今回の試行だけでは
画風や、線の書き方などが類似しているという仮説は否定せざるを得ませんが、
他の絵のペアで別のアルゴリズムで別の条件で試せば違う結果になるかもしれません。
というわけでこの問題の本質は、
客観的に類似しているかどうかが問題なのではなく
人間が見て似ていると思うか、思わせるか が本質なのです。
人間には視聴覚的情報のほとんどは見ていないので、人間が注目するほんのわずかな点を似せれば似ていると思わせることはできます.......
となると、やっぱり類似していないわけではないということにもなりますが、
それは別問題です。
こういう感じのことも試してみたので
こういう感じのこともやってみたのですが
様々なパターンを比べたのですが、顕著な一致は検出できませんでした。
条件を甘くするとほとんど誰でも顔が一致し
厳しくすればほとんど一致しません。
だから、比較対象としてとても類似しない画像の組も用意することが必要です.....
右は左を模写したことは明らかなのですが
画像の調整が必要かもしれません
しかし画像を調整するということは
元の画像の情報を破壊するということで....ということにもなります
トラックバックURL
トラックバック一覧
1. 「画像の部分的類似性検出」 [ とりコー ] 2010年02月20日 01:13
「画像の部分的類似性検出」
http://blog.livedoor.jp/tak_tak0/archives/51535597.html
コメント一覧
5. Posted by female dog names 2012年04月17日 12:01
私はあなたの Web ページは非常に面白いことがわかった。 私は楽しみがそれを読みました。 それを保つ ! あなたの作品の一部を読むことを望んでいる ! すばらしい仕事 ! :)