WinActorEyeの使い方③「絞り込み・変換(短形から座標を抽出)」
こんにちは、NTTデータ WinActor技術支援チームのM.Sです。
いつもユーザーフォーラムをご利用いただき、ありがとうございます。
今回は、WinActorEyeの使い方シリーズ③です!
WinActorEyeはV6.3から追加された機能ですが、使ったことがない、どういった機能なのか分からない、といった方も多いのではないでしょうか?
私もリリースされた当初は使ってみよう!と意気込んでいましたが、結局あまり使いこなせていないままでした・・・
このコラムを通して、みなさんも一緒にWinActorEyeを使ってみていただけたら嬉しいです♪
初めて読む方は、ぜひ「WinActorEyeの使い方①」からご覧ください!
WinActorEyeの使い方①
フィルタ機能 -絞り込み・変換とは-
WinActorEyeの機能の1つであるフィルタ機能は2つに分類されます
①マッチング(ヒストグラム探索・短形の検出)
②絞り込み・変換(論理演算・選択アルゴリズム・短形から座標を取得)
「マッチング」で該当の画像を探し出すことができ、
「絞り込み・変換」でマッチングで取得した複数のリソースを絞ったり、他リソースに変換することができます。
今回は、前回作成したマクロとシナリオを使って、絞り込み・変換のうちの1つ「短形から座標を抽出」を使ってみたいと思います!
前回の投稿「WinActorEyeの使い方②」
短形から座標を抽出とは
指定した矩形リソースから指定した抽出箇所の座標を抽出し、座標情報を座標リソースに登録するための機能です。
WinActorEyeで取得した座標情報をWinActor へ渡す必要があるため、WinActorEye のマクロを作成する際に必須の機能になります。
使ってみる
それでは、実際に使ってみましょう!
今回は、前回作成したファイルをコピーして、同じものをそのまま使用していきます!
※シナリオファイル名のみ、分かりやすいように変更してあります
(「WinActorEye(ヒストグラム探索).ums6」⇒「WinActorEye(短形から座標を抽出).ums6」)
①まず最初に、WinActorEyeを開き、表示タブから以下のウィンドウを表示しておきます。
・「WinActorEyeマクロ編集」
・「画像リソース」
・「短形リソース」
・「座標リソース」
②「チュートリアル.html」を開き、シナリオを試しに実行してみましょう!
ヒストグラム探索に成功しましたね!
③次に、今回のテーマである「短形から座標を抽出」を使っていきます。
WinActorEyeマクロ編集画面の、「記録」にチェックを付けます。
④WinActorEyeメイン画面のフィルタタブから「短形から座標を抽出」を表示します。
下のキャプチャのように設定し、実行します。
WinActorEyeメイン画面の白い部分に赤い○が表示され、座標リソース画面には「登録ボタン」の座標リソースが追加されました。
⑤WinActorEyeマクロ編集画面を確認すると、
座標情報を取得する操作が追加で記録されているので、これで短形から座標を抽出の処理は完成です!
「保存」を押下し、シナリオファイルと同じフォルダに「短形から座標を抽出」という名前で保存します。
⑥次に、シナリオを作成していきます。
前回作成したシナリオの「Eye:マクロ読込み実行」のマクロファイル名を、先程作成したマクロ名に変更します。
⑦次に、WinActorEyeのライブラリ「座標情報取得」を用意し、下のキャプチャのように設定します。
座標数が複数の場合、インデックスを指定することで、どの座標情報を取得するのか選ぶことができます。
今回、登録ボタンは1つしかないため、座標数も1であり、インデックスは0番目を指定しています。
⑧前回シナリオを作成した際に、「画面サイズ、位置設定」でチュートリアルのウィンドウ表示位置を設定しています。
左上(x)と左上(y)に設定した値と、先程取得した座標情報のX座標・Y座標を「四則演算」を使ってそれぞれ足します。
「画面サイズ、位置設定」プロパティ画面
左上(x):20
左上(y):30
X座標の四則演算
Y座標の四則演算
⑨「12_マウス関連」>「マウス移動」を使って、合計した座標位置にマウスを移動させます。
⑩最後に、「12_マウス関連」>「マウス左クリック」を使って左クリックを行うように設定すれば、シナリオの完成です!
実行する
それでは、シナリオを実行してみましょう!
登録ボタンがクリックされましたね!
ヒストグラム探索で登録ボタンを探し出し、短形から座標を抽出して、取得した座標情報を使って登録ボタンをクリックすることができました。
まとめ
今回は、前回作成した「ヒストグラム探索」の処理に続けて、「短形から座標を抽出」の処理を作成してみました!
WinActorEyeでは、このように色々な機能を使ってマッチング箇所を探して座標を取得し、
WinActorにその情報を渡すことで、クリックなどの処理を実行することができます。
既存の画像マッチングや輪郭マッチングのように、1つのライブラリだけで処理が完結するわけではないので、少し設定が面倒ではありますね。。
ですが、使い慣れてしまえば既存のライブラリよりも安定した処理で画像マッチングができるかもしれません。
おわりに
この記事が面白かった、参考になったと思っていただけたら、ぜひ「いいね!」ボタンを押してください。
コメントもお待ちしています。
それでは、また次回!
※「いいね」はユーザーフォーラムに会員登録済みの方がログインしているときに押下できます。
ユーザーフォーラムの会員登録はメールアドレスがあればどなたでも無料で登録できます。
会員登録すると、質問への回答が見れたり、共有シナリオや事例集のダウンロードといった特典があります!