GUIを自動で操作するフリーツール：Sikuli IDE の便利機能をメモ書き程度で記載していきます。
①画像の認識度の調整
説明
以下のような現象を防ぐときに役立ちます。
- 意図しない箇所で判断されること
- 認識度を上げる必要がある
- 実際にキャプチャした画像があるのに認識されないこと
- 認識度を下げる必要がある
実施手順
- キャプチャ画像をダブルクリックする
- 「パターン設定」が開くので、「マッチングプレビュー」タブを押下する
- ウィンドウ下部にあるスライダーで認識率を変更する
- ウィンドウ上部にある画面で認識しているかを確認する
- ウィンドウ下部の「OK」もしくは「Apply」を押下する
- ウィンドウ上部にある画面の見方について
- 赤枠：候補が単一で確定している時に表示されます。
- 青枠：複数の候補があるときに表示されます。
②ターゲットオフセットの調整
説明
画像をクリックさせたいときの動きとして、基本的にSikuli IDEではキャプチャ画像の中心点をクリックします。このクリックする点を調整する時に使用します。そのため、以下のようなときに役立ちます。
- キャプチャした画像のクリック点をずらしたい
- キャプチャ画像外の特定の位置にオフセットを設定させたい場合
実施手順
- キャプチャ画像をダブルクリックする
- 「パターン設定」が開くので、「ターゲットオフセット」タブを押下する
- 赤枠と十字印が表示されているので、オフセットに設定したい箇所をクリックして設定する
- ウィンドウ下部の「OK」もしくは「Apply」を押下する
③マルチディスプレイに対応
説明
外付けディスプレイを使用していたり、２画面以上を使用している場合でも対応しています。上記「①画像の認識度の調整」に記載している「マッチングプレビュー」でもマルチディスプレイとして表示されます。
④Regionで領域指定
説明
「左上の座標」「幅」「高さ」で指定された領域を指定する方法です。
クリックするためのキャプチャ画像として扱うものではなく、あくまで対象範囲の設定として扱われます。座標指定したい場合に有効です。
ソースで記載すると以下のように記載しないといけない所を、画像で直接指定できるのです。
Region（0,0,100,200）
実施手順
- Sikuli IDEのトップ画面上部で「Region」ボタンを押下する
- 範囲として設定した範囲をドラッグ操作で指定する
⑤Locationで座標取得
説明
指定した範囲の「中心の座標」を取得できる機能です。
ソースで記載すると以下のように記載することになりますが、GUI上で自動で取得できることになります。
Location（100,200）
実施手順
- Sikuli IDEのトップ画面上部で「Location」ボタンを押下する
- 範囲として設定した範囲をドラッグ操作で指定する
⑥Offsetで座標取得
説明
指定した範囲の「左上から見た右上の座標」を取得できる機能です。「④Region」で言うところの「幅」「高さ」に相当する値を取得できます。
ソースで記載すると以下のように記載することになりますが、GUI上で自動で取得できることになります。
Offset（100,200）
実施手順
- Sikuli IDEのトップ画面上部で「Offset」ボタンを押下する
- 範囲として設定した範囲をドラッグ操作で指定する
⑦Showで認識確認
説明
表示されているデスクトップ画面全体で対象の画像が認識されるかどうかを確認できる機能です。
ただし、こちらの機能については、「①画像の認識度の調整」で対応できてしまうので、ほぼ使うことはないと思われます。。。
実施手順
- Sikuli IDEでキャプチャ画像をドラッグで範囲選択する
- 単純にクリックで選択してしまうと、「パターン設定」が開いてしまいます。
- Sikuli IDEのトップ画面上部で「Show」ボタンを押下する
⑧Show inで認識確認
説明
指定した範囲内で対象の画像が認識されるかどうかを確認できる機能です。
こちらについても「⑦Showで認識確認」と同様に、「①画像の認識度の調整」で対応できてしまうので、使用機会は少ないと思います。
実施手順
- Sikuli IDEでキャプチャ画像をドラッグで範囲選択する
- 単純にクリックで選択してしまうと、「パターン設定」が開いてしまいます。
- Sikuli IDEのトップ画面上部で「Show in」ボタンを押下する
- 範囲として設定した範囲をドラッグ操作で指定する