2010年01月31日

画像の部分的類似性検出

このエントリーをはてなブックマークに追加
follow us in feedly
実験してみて、案外使い道がたくさんありそうな気がしてきました

SURF: Speeded Up Robust Features
Herbert Bay, Tinne Tuytelaars, and Luc Van Gool
Katholieke Universiteit Leuven
Computer Vision - ECCV 2006

The task of finding correspondences between two images of the same scene or object is part of many computer vision applications. Camera calibration, 3D reconstruction, image registration, and object recognition are just a few.
The search for discrete image correspondences the goal of this work can be divided into three main steps.
First, ‘interest points’ are selected at distinctive locations in the image, such as corners, blobs, and T-junctions.
The most valuable property of an interest point detector is its repeatability, i.e. whether it reliably finds the same interest points under different viewing conditions. Next,
the neighbourhood of every interest point is represented by a feature vector.
This descriptor has to be distinctive and, at the same time, robust to noise, detection errors, and geometric and photometric deformations.


ASIFT: A New Framework for Fully Affine Invariant Image Comparison
Jean-Michel Morel CMLA, ENS Cachan
Guoshen Yu University of Minnesota
SIAM Journal on Imaging Sciences, 2009

Image matching aims at establishing correspondences between similar objects that appear in different images. This is a fundamental step in many computer vision and image processing applications such as image recognition, three-dimensional (3D) reconstruction, object tracking, robot localization, and image registration.
The general (solid) shape matching problem starts with several photographs of a physical object, possibly taken with different cameras and viewpoints. These digital images are the
query images. Given other digital images, the search images, the question is whether or not some of them contain a view of the object taken in the query image.


局所特徴量の照合による線画の部分的複製検出
孫維瀚 黄瀬浩一
大阪府立大学
電子情報通信学会技術研究報告. パターン認識・メディア理解 108(432) 2009

著作権を保護すべきコンテンツとしては様々なものが考えられるが,その中でも図面や漫画などの線画は重要なものの一つである.線画は,濃淡のない直線又は曲線だけで描く図形であり,単色が基本となる.
線画の不正利用者は,オリジナルをそのまま使うことは希であり,オリジナルの一部分(部分的複製)を,自分の線画の一部として使うことが多い.また,漫画などで部分的複製を作成する場合には,オリジナルの切り抜きをそのまま使うのではなく,手書きで複製するなどの改変を伴う場合が考えられる.それ故に,印刷の複製だけではなく,手書きの複製も考えなければならない


これは厳しすぎると思いますが....



例としてこのような絵を挙げています
LineDrawings
この漫画が何であるかはわかりません
璃々依?









この問題には
Interest Point Detectors と Feature Descriptors
という二つの機能が必要です。

Detector が画像中の特徴点/局所領域を検出し、
Descriptor が特徴ベクトルを記述します


Detector もDescriptor にも多数のアルゴリズムが存在するようです。



Descriptor ではこういうことができると書いてあります。
5

ASIFTの方法は以下と書かれています

The scale space representation introduces a smoothing parameter . Images u0 are smoothed at several scales to obtain , where
Ashift1



the SIFT detector can be summarized in one single sentence:
The SIFT method computes scale-space extrema Ashift2 of the spatial Laplacian of Ashift3 and then samples for each one of these extrema a square image patch whose
origin is Ashift4 , whose x-direction is one of the dominant gradients around Ashift5,
and whose sampling rate is Ashift6 , where the constant c = 0.8 is the tentative standard deviation of the initial image blur.





ASIFT Algorithm.
ASIFT proceeds by the following steps.
1. Each image is transformed by simulating all possible affine distortions caused by the change of camera optical axis orientation from a frontal position.
These distortions depend upon two parameters: the longitude φ and the latitude θ .
The images undergo φ-rotations followed by tilts with parameter Ashift7( A tilt by t in the direction of x is the operation u(x, y) → u(tx, y)).
For digital images, the tilt is performed by a directional t-subsampling.
It requires the previous application of an antialiasing filter in the direction of x, namely the convolution by a Gaussian with standard deviation Ashift8 .
The value c = 0.8 is the value chosen by Lowe for the SIFT method . As shown in , it ensures a very small aliasing error.
2. These rotations and tilts are performed for a finite and small number of latitude and longitude angles, the sampling steps of these parameters ensuring that the simulated images keep close to any other possible view generated by other values of φ and θ.
3. All simulated images are compared by a similarity invariant matching algorithm (SIFT).


Detector ,Descriptor では
基本的にはアフィン変換による編集をカバーできるらしいです。


では実際に試してみます。




















こういうことを試してみたので
ruffy3

これはどうでしょうか?

ruffy natsu
これは全然関係ないところへ行きます。



構図が同じなだけでは
one piece fairy tail
関係ないところへ行きます。

他にも1000パターンぐらい比べたのですが顕著な一致は検出できませんでした。
条件を甘くするとほとんどの領域が一致していることになり、
条件を厳しくするとマッチングが全くなくなります。


今回の試行だけでは
画風や、線の書き方などが類似しているという仮説は否定せざるを得ませんが、
他の絵のペアで別のアルゴリズムで別の条件で試せば違う結果になるかもしれません。




というわけでこの問題の本質は、
客観的に類似しているかどうかが問題なのではなく
人間が見て似ていると思うか、思わせるか が本質なのです。

人間には視聴覚的情報のほとんどは見ていないので、人間が注目するほんのわずかな点を似せれば似ていると思わせることはできます.......

となると、やっぱり類似していないわけではないということにもなりますが、
それは別問題です。




y-2
こういう感じのことも試してみたので

sora1
こういう感じのこともやってみたのですが

k-s2

様々なパターンを比べたのですが、顕著な一致は検出できませんでした。

条件を甘くするとほとんど誰でも顔が一致し
厳しくすればほとんど一致しません。


だから、比較対象としてとても類似しない画像の組も用意することが必要です.....


右は左を模写したことは明らかなのですが
画像の調整が必要かもしれません
cuenca


しかし画像を調整するということは
元の画像の情報を破壊するということで....ということにもなります



トラックバックURL

トラックバック一覧

1. 「画像の部分的類似性検出」  [ とりコー ]   2010年02月20日 01:13
「画像の部分的類似性検出」 http://blog.livedoor.jp/tak_tak0/archives/51535597.html

コメント一覧

5. Posted by female dog names   2012年04月17日 12:01
私はあなたの Web ページは非常に面白いことがわかった。 私は楽しみがそれを読みました。 それを保つ ! あなたの作品の一部を読むことを望んでいる ! すばらしい仕事 ! :)

コメントする

名前:
URL:
  情報を記憶: 評価:  顔   星
 
 
 
サイト内検索
にほんブログ村 科学ブログへ
にほんブログ村
adsense
Archives
amazon
blogchart
QRコード
QRコード
Recent Comments