GUIを自動で操作するフリーツール：SikuliX ですが、「Nightly Build」というものをご存じでしょうか？
本記事では、Nightly Build に触れながら、これからのSikuliXの魅力について記載します。
Nightly Buildって？
正式リリースする前段階であり、現在開発中の途中成果物と言えるものです。SikuliXに限らずですが、「途中成果物」のものは障害を含んでいる可能性が多いです。SikuliXでは「nightly builds – snapshot versions」として、公開されています。
Nightly Buildの実物は、以下から確認することができます。公式HPのトップ画面からでも、右側カラムにある「Get Nightly Builds」から行けます。
V2.0.1の次バージョンはすごい
今回どうしてこの記事を書こうかと思ったかですが、2019-12-28_19:38 (Build 501)にリリースされているNigthly Builds V2.1.0の変更内容が画期的だからです。
私が思う SikuliX の唯一の「デメリットの解消」と、もうちょっとこういう機能あったらな～と思っていた「痒い所」に手が届いた内容になっていました。大げさではなく画像認識で自動化を行うツールの中で、一番使いやすいのではないか？と思います。右に出るものはないでしょう。
①レコーダー機能の追加
「SikuliX Nightly Builds」内にある「Fixes, changes and notes (2019-12-28_19:38)」を見ると、以下の文言があります。
——– 2019-10-26 —————-
ADDED: API: new Feature: ServerRunner (experimental: run scripts remotely)
ADDED: IDE: new Feature: Recorder (experimental)
注目すべきは、「赤字」部分。これの意味するところは、レコーダーが搭載されたということ。今までSikuliXを使う上で、最大の不満点はココでした。直接コードを作成しなくても、行った操作を記録してくれる機能が付いていなかったのです。これが搭載されたのは非常に大きな革新で、使い勝手が何倍にもなるでしょう。
※ちなみに、記録を行うボタンは、ツールの右上の箇所に存在しています。
今までレコーダーの機能が搭載されていたGUI自動化ツールは、「UWSC」というものが有名どころです。レコーダーの機能は、同種のツールにおいて非常に優位に立てる条件の1つです。また、UWSCに関していうと、「記録」「実行」「コードのインポート／エクスポート」の機能に絞られていて、使い方が単純です。しかし、このUWSCのデメリットは「座標指定」であること。座標指定ということは、少しでも対象となるGUIの場所がずれると意図した動作をしてくれません。つまり、UWSCでエクスポートしたコードを他のPCで動かしたり、表示位置が変化する可能性があるものについては、常に同一の実行結果をもたらすとは限らないのです。
以降は、実際にNightly Build V2.1.0をダウンロードし、使用して発見した違いです。
②取得済みキャプチャ画像の微調整が可能に
SikuliXではキャプチャ画像のどこをアクションポイント（押下する場所など）を調整できます。調整方法は、キャプチャした画像をクリックして表示される画面で「ターゲットオフセット」タブを選択すると調整できます。今までは、調整する場所では、アクションポイントの調整しかできませんでしたが、このNightly Buildではキャプチャ範囲の調整もできます。これは、失敗した時のキャプチャ撮り直しを回避させてくれるので、地味だけど非常にありがたい機能です。
③キャプチャ画像の認識度調整画面の改良
SikuliXではキャプチャ画像の認識度の調整もできます。調整方法は、キャプチャした画像をクリックして表示される画面で「マッチングプレビュー」タブを選択すると調整できます。この認識度の調整ですが、今までは調整時の画面でしか確認することができませんでした。しかし、V2.1.0で取得したキャプチャ画像に関しては、調整時の画面とキャプチャ取得時の画面を切り替えることが可能です。また、調整時の画面ではRefresh（画面の更新）を行うこともできます。この機能により、起こりうる様々な状況下で画像認識が適切に行えるように調整することが可能になります。これも地味だけど非常にありがたい機能です。
まとめ
今回の記事は、SikuliXのNightly Build に触れながら、これからのSikuliXへの期待を込めた内容にしてみました。SikuliXでの話に限って記載していましたが、他のツールやアプリでも「開発中の物件：Nightly Build」が公開されている場合は試してみると面白いし、これからの展開が楽しみ（がっかり？）な気持ちにさせてくれると思います。
SikuliXにレコーダーの機能が追加されたことで、「画像認識」「記録」「Pythonによるコードのカスタマイズ」「画像認識度の調整の柔軟性UP」が揃い、ある意味 画像認識によるGUI自動化ツールでは、SikuliX 一強になるのではないか？と思えるほどです。今後のアップデートが楽しみです。