Iterative incremental image search

(A) search 開始

  1. まず、テキストの一部を query image として、rectangle により指定し、それを activate する。図1の左下の Window の赤い rectangle が activate されたquery image である。
  2. そして、search のコマンドを発効すると、左上のような dialog 用の window が開く。ここで、選んだイメージを編集したり、探索の範囲を指定することができる。
  3. query image が確定したら、左上の window の search button を押して、search を開始する。

図1.

seach

(B) search の結果

  1. search の結果は図2のようになる。これは図1の右の window である。グレーになっている部分が search engine が類似していると判断した部分。これが search engine が使った評価関数の良い結果順に並んでいる。この場合は、Gruppe (group) を search して、3番目までは正しい答えがでてきるが、4番目は Gleichung、5番目は大文字の G で始まる数式がsearch され、6番目では人間には類似性があるとは思えない結果がでている。
  2. 7番目以降をずっと見ていくと、かなり後に正しい答えが出てくることは珍しくない。また、この例は、特別にうまくいった場合であり、多くの場合には、最初の正しい image segment が30番あるいは、もっとそれ以後に出てくることも珍しくない。
  3. それをずっと見ていくのは大変手間な作業であるし、この一回だけの search では、search されるべきでありながら、取り落とされている箇所がないとも限らない。そこで、そういうものが、まだまだあると判断したら、次の (C) のように search を反復する。

図2

result

(C) 反復サーチ

  1. このままでは、Gruppe の他の出現を見つけることは難しい。そう判断 したら反復を行う。経験的には結果のリストを深く人間が点検するより、1-3個程度の新しい結果が見つかったら、それを使って反復サーチをした方が、早くかつ楽にすべての類似 image を見つけることができるということが知られている。
  2. 反復 search を行うには、まず、結果リストの各項目で NEW と mark されているものに着目する。これが、今回の search で新たに見つかった image segment である。そして、その中から正しい結果だと判断したものの Yes check box を check して、bucket にその segment を入れる。図1の例の search 結果の最初の3個を bucket にいれたのが、図3である。トップにあるのは、query image であり、計 4 個の image が bucket に入っている。
  3. この状態で再び search を行うと、bucket 中の4個の image が、すべて query image となる。つまり、このどれかに近いと判断されたものが、search 結果となる。
  4. 新しく追加された image に近い image も検索されるので、search 結果は増えるのが普通である。もちろん、すでに全部が見つかっていれば、そういうことはない。そこで、新しい正しい結果を追加しても、さらに新しい結果でできていないと判断するまで、あるいは、もうこの程度見つかれば十分と判断するまで、ユーザは、この反復を繰り返せばよい。
  5. 3冊あるHilbert notebook の最初のものの、およそ70ページ程度での検索の経験では、3回も繰り返せばほとんどすべての「正しい結果」が見つかる。
  6. ただし、全くうまくいかない場合もあり、また、query image の範囲を調整することによりうまく行く場合もある。後者の場合は、通常、query image を短くするとうまく行くことが多い。林の Hilbert notebook 研究で実際に使用した経験では、調べたい query image は人名や Geometrie, Gruppe のような大文字で始まる名詞が多いが、実際の研究で必要だった query image の6−8割にたいして満足のいく結果がでた。(数値に幅が大きいのは、記憶に頼っているのと、「満足」という意味が不明瞭であるから。)
  7. これは十分実用に耐える性能であった。
  8. また、search 結果リストの check box には、No もあるが、これを check すると、その segment は、異なった image として登録され、以後、search されなくなる。suspend は必要ないものと思われるので廃止する予定である。
図3

Bucket