Power automate desktop ui要素 編集

  • ホーム
  • Power Automate for desktop
  • [Power Automate for desktop]UI要素のセレクターに関するメモ書き

Power automate desktop ui要素 編集

先日ロボ研さん( @AsahiRobo_RPA )がUI要素のセレクターに関する記事を公開されていました。

ツールの紹介からセレクターの書き方まで、大変参考になります。

今回はロボ研さんの記事に乗っかって、Tipsという程ではないですが、ちょっとした豆知識的なことをまとめてみようと思います。

特定の要素を示す疑似クラス

「疑似クラス」という表現が正しいかどうかは分からないのですが、Power Automate for desktop(PAD)では、CSSで言うところの「:root」のような仕組みが用意されてます。

UI要素ピッカーを使って特定の要素を示す疑似クラスを調べたので、以下にまとめてみました。私が調べた範囲のものなので、もしかしたら他にもあるかもしれません。

  • :desktop : デスクトップ
  • :desktopicons : デスクトップのアイコン
  • :startbutton : スタートボタン
  • :startmenu : スタートメニュー
  • :taskbar : タスクバー
  • :taskbarsecondary : マルチディスプレイ上のタスクバー
  • :systemtray : 通知領域(タスクトレイ)

たとえばデスクトップ上の「PC」アイコンを指定する場合、セレクターは下図のようになります。

Power automate desktop ui要素 編集

変数を使用して動的にUI要素を指定する

あまり知られていないかもしれませんが、セレクターでは変数が使用できるため、操作対象となるUI要素を動的に切り替えることができます。

たとえば、上で例示したデスクトップ上の「PC」アイコンを指定する場合は下記のようなセレクターになりますが、

> listitem[Name="PC"]

この「PC」部分を下記のような変数に置き換えることで、変数の値を変更するだけで操作するアイコンを切り替えることができます。

> listitem[Name="%IconName%"]

Power automate desktop ui要素 編集

連番になっているボタンをループで順番に処理したり、変数が活用できる場面は多いと思います。下図は電卓の1~9ボタンを順にクリックする例です。

Power automate desktop ui要素 編集

下記のようにセレクターを外部のテキストファイルから読み込むこともできますが、さすがにここまでする機会は多くないかもしれません。

Power Automate for desktop、カスタムセレクターの式を外部のテキストファイルから読み込むのもOKなのか。なるほど。
何に使えるかは微妙なところですが・・・ #PA4d pic.twitter.com/hRjCZPTjSx

— きぬあさ (@kinuasa) January 11, 2022

以上、UI要素のセレクターに関するちょっとした豆知識をご紹介しました。
また何か思いついたら追記いたします。

  • Power Automate for desktop

RPA HACKを運営するPeaceful Morning株式会社ではRPAツール「Power Automate for Desktop(旧称:Power Automate Desktop)」の無償提供を受け、同ツールの導入を検討されている方に向けて、ノウハウをまとめた教材を公開しました。この記事では、無料公開テキストの練習問題No.1であるデスクトップフォルダに保存されたテキストファイルに指定した内容を書き込むロボットの実装方法について解説します。テキストファイルに書き込むロボットの作成を通して、UI要素への理解を深めることができます。

Power Automate Desktop基礎資料を無料でDL

※なお、こちらはPower Automate for Desktop(旧称:Power Automate Desktop)の導入を検討する企業、導入済みの企業担当者の方向けのテキストであるため、RPA導入支援、開発等のサービスを提供する同業他社の方のダウンロードはご遠慮くださいますようお願い申し上げます。

目次

  • 1 Power Automate for Desktop(旧称:Power Automate Desktop)とは
  • 2 UI要素とは
  • 3 テキストファイルに書き込むロボットの作成
    • 3.1 事前準備
    • 3.2 UI要素の追加
    • 3.3 UI要素の編集
    • 3.4 アクションの追加
    • 3.5 ロボットを実行する
  • 4 Power Automate Desktopについてより詳しく知りたい方へ
    • 4.1 Power Automate e-learningのご紹介
    • 4.2 Robo Runnerスクールのご紹介
    • 4.3 e-ラーニングのご紹介
    • 4.4 RPAの導入に踏み出そう

Power Automate for Desktop(旧称:Power Automate Desktop)とは

Power automate desktop ui要素 編集

Power Automate Desktopとは世界最大手ソフトウェアベンダーであるマイクロソフトが開発・提供しているRPA(Robotic Process Automation)ソフトウェアです。

2021年3月2日にマイクロソフトはそれまで有料であったPower Automate for Desktop(旧称:Power Automate Desktop)をWindows 10ユーザー向けに無料提供することを公式発表しました。

Power Automate for DesktopでローコードRPAを使用し日常業務を自動化することによって、私たち人間は高付加価値でクリエイティブな業務に専念することが可能となります。Power Automate for Desktopについて詳しく知りたい方は以下の記事がおすすめです。

▼Power Automate for Desktopの解説記事はこちら▼

▼Power Automate for Desktopのインストール方法解説記事はこちら▼

まずはRPAについて学びたいという方は、入門ガイドをダウンロード

UI要素とは

Power automate desktop ui要素 編集

UI要素とは、Power Automate for Desktopに画面上のどのUI(User Interface:ユーザーインターフェース)を操作すればよいか、特定させるための設定です。操作の対象としたいUIにカーソルを合わせた状態で、Ctrlキーを押しながら左クリックをすることでPower Automate for Desktop上にUI要素を追加できます。コーディングすることなく、画面上の直感的な操作によって実行できるため、初心者にとっても扱いやすい設定方法になります。

また、UI要素はその内側にセレクターと呼ばれる値を持っています。例えば、どのような文字列を含んだファイル名を選択するのか、どのアプリケーションのどのボタンを選択するのかなどといった情報はセレクターに保持されています。

実際にUI要素への操作をPower Automate for Desktopで実装する場合は、
1.UI要素をPower Automate for Desktopに追加
2.アクションの実装時に登録したUI要素を選択
といった流れとなります。

テキストファイルに書き込むロボットの作成

Power automate desktop ui要素 編集

ここから、練習問題No.1であるデスクトップフォルダに保存されたテキストファイルに指定した内容を書き込むロボットの実装する際の解答例を解説します。この先の内容をスムーズに理解するために無料公開テキストの「レッスン1. PAD_基本操作 1.3 UI要素」までをご一読いただくことをおすすめします。

事前準備

事前準備として、Windowsに標準で付属するメモ帳を使って、ファイル名を「テスト.txt」と設定したテキストファイルを作成し、デスクトップに保存をしてください。テキストファイルの内容は空欄のままで構いません。また、テスト.txtのメモ帳ウィンドウは次の「UI要素の追加」のステップで必要となるため、閉じないでください。

UI要素の追加

ここでは、フローを実装する際に必要となるUI要素をPower Automate for Desktop上に追加する方法を解説します。UI要素の追加は以下の手順で行います。

1.画面の右側にある「UI要素」のアイコンをクリックする
2.「UI要素の追加」をクリックする

どこをクリックすればよいか分からない場合は、次の画像をご覧ください。

Power automate desktop ui要素 編集

最初に、デスクトップに保存した「テスト.txt」をUI要素として追加します。先ほど説明した手順で「UI要素の追加」をクリックすると「追跡セッション」というウィンドウが表示されるので、デスクトップに移動し、「テスト.txt」のアイコンをCtrlキーを押しながら左クリックをします。

追跡セッションを起動したまま、引き続きメモ帳に関するUI要素を3つ追加します。事前準備で閉じずにいたメモ帳ウィンドウを開き、次の3つのUI要素をCtrl+左クリックで追加してください。

1.メモ帳の入力枠
2.メモ帳の「ファイル(F)」のボタン
3.ファイル(F)をクリックすると表示される「上書き保存」のボタン

追跡セッションを起動している場合、カーソルがUIの上に移動する度に、各UIが赤枠で囲まれますが、Ctrlキーを押さず左クリックのみを行えば、普段の使用と同様に選択することができます。

Power automate desktop ui要素 編集

以上、4つのUI要素が追加されていることを確認し、追跡セッションウィンドウの「完了」をクリックします。

Power automate desktop ui要素 編集

UI要素の編集

ここでは、先ほど追加したUI要素の名前やセレクターについて、3か所編集を行います。

まず、Desktop Iconsの下にある「テスト.txt」をダブルクリックすると、「UI要素”テスト.txt”のセレクター」が表示されます。表示された「>listitem[Name=”テスト.txt”]」を、ダブルクリックすると「セレクターの編集」画面に移動します。編集画面で、属性「Name」の演算子を「と等しい」から「含む」に、「Name」の「値」を「テスト.txt」から「テスト」に変更し、「更新」を押してください。

Power automate desktop ui要素 編集

次に、「ウィンドウ’テスト.txt – メモ帳’」をダブルクリックし、同様の手順で属性「Name」の演算子を「と等しい」から「含む」に、「Name」の「値」を「テスト」に変更してください。

Power automate desktop ui要素 編集

最後に、「MenuItem:ファイル(F)」左クリックし(ダブルクリックではないことに注意)、キーボードで「F2」キーを押します。すると、UI要素名を編集できるので、「MenuItem:ファイル(F)」を「上書き保存」に変更します。この要素名の変更は必須ではありませんが、要素名を「上書き保存」とすることで「Menu Item:ファイル(F)」との混同を防ぐことができます。

アクションの追加

ここでは、アクションを5つ追加します。

まず、左上の検索ボックスから「デスクトップを使用する」アクションを検索し、ドラッグアンドドロップでフローに追加してください。「デスクトップを使用する」のパラメータの選択画面で「UI要素」の欄の右側にある「V」をクリックし、UI要素として「テスト.txt 」を選択してください。また、「クリックの種類」をダブルクリックに変更してください。

Power automate desktop ui要素 編集

次に、アクションの検索ボックスから「ウィンドウ内のテキスト フィールドに入力する」を検索し、フローに追加してください。テキストとフィールドの間に半角スペースが入っている点にご注意ください。パラメータの選択画面で「テキストボックス」の欄でUI要素「Document’テキスト エディター’」を選択します。「入力するテキスト」の欄には、各々好きな文章を入力してください。この解答例では、「PADからの入力」と入力します。

Power automate desktop ui要素 編集

3つ目のアクションとして、検索ボックスから「ウィンドウの UI 要素をクリックする」を検索し、フローに追加してください。「UI」の前後に半角スペースが1つずつ入っている点にご注意ください。パラメータの選択画面の「UI要素」を「Menu Item:ファイル(F)」とします。

さらにもう一つ「ウィンドウの UI 要素をクリックする」をフローに追加します。こちらのパラメータの選択画面では「UI要素」として「上書き保存」を選択してください。

Power automate desktop ui要素 編集

最後に、「ウィンドウを閉じる」アクションをフローに追加します。「ウィンドウ」の欄にUI要素「ウィンドウ’テスト.txt – メモ帳’」を設定します。

Power automate desktop ui要素 編集

以上で、Power Automate Desktop上での設定は終了です。フロー全体が以下のようになっていれば正しく設定できています。

ロボットを実行する

メモ帳で「テスト.txt」を開いている場合はメモ帳ウィンドウを閉じてください。それでは、実装したフローを実行してみましょう。

エラーが発生することなく書き込むことができた方は、ファイル名を「テスト.txt」から「テスト_修正.txt」と変更してもロボットが動くか確かめてみてください。この際、テスト.txtに書き込まれた内容(解答例では「PADからの入力」)を一度削除した後に実行すると、ファイル名を変更した後も正しく書き込まれたかが分かりやすくなります。

ファイル名を変更しても、同じフローで同様に書き込むことができた理由は、セレクターの値にあります。「UI要素の編集」のステップで「テスト.txt」と「ウィンドウ’テスト.txt – メモ帳’」のName属性の値を「テストを含む」に変更しました。これにより、「テスト.txt」と「テスト_修正.txt」に共通して含まれる「テスト」をキーワードとして、UI要素を選択することができます。

Power Automate Desktopについてより詳しく知りたい方へ

Power automate desktop ui要素 編集

Power Automate e-learningのご紹介

Power Automate e-learningでは、無料公開テキストの解説としてトータルで10時間に及ぶコンテンツが3万円というお手軽な価格で見放題となります。実際の操作画面を撮影した動画を見ながらテキストの内容を学ぶことができます。Power Automate for DesktopとPower Automateの基本的な内容を社内の研修プログラムとして提供したい企業様向けのサービスとなります。テキストを独力で完遂できた方向けのサービスではありませんので、ご注意ください。

▼詳細・申し込みはこちらから▼

Robo Runnerスクールのご紹介

この記事を読んでPower Automate Desktopについて詳しく知りたいと思った方には、当社が提供しているPower Automateの有料オンライン学習プログラム「Robo Runnerスクール」がおすすめです。こちらのプログラムでは、Power Automate for Desktopの使い方の学習はもちろんのこと、Power AutomateとPower Automate for Desktopを組み合わせたフローなど、あなたの作りたいフロー制作のサポートをします。

Robo Runnerスクールでは経験豊富な現役エンジニアがメンターとして学習のサポートを行います。メンターとともに学習スケジューリングや目標設定を行い、効率よく学習できるオリジナルのトレーニングテキストを使って自習をしつつ、途中で分からないことはチャットサポートで気軽にメンターに質問することで、Power Automateの学習効果を最大化することを目指します。

▼詳細・申し込みはこちらから▼

Power automate desktop ui要素 編集

e-ラーニングのご紹介

Power automate desktop ui要素 編集

マイクロソフト社によるRPAツール「Power Automate Desktop」の提供を受け、同ツールの研修サービス「Robo Runner e-ラーニング」の提供を開始しました。e-ラーニングはPower Automate、Power Automate for Desktopの導入検討中、導入済の企業様において、基礎研修をリーズナブルな価格でご受講いただくことができます。
e-ラーニングは現役のPower Automateエンジニアによる監修・演習問題で手を動かしながら学べる・いつでも、どこでも好きなタイミングで受講が可能という3つの特徴を持ち、プログラミング経験のない方でも受講いただける内容となっています。

e-ラーニングに関する記事↓

e-ラーニング申し込みはこちらから↓

https://roborunner-e-learning.studio.site/

RPAの導入に踏み出そう

Power Automate DesktopではUI要素を上手く活用することで、直感的な操作でロボットを作成することができます。

これまで「RPAってよく分からない、難しそう」と感じていた方も、この記事を読んでRPAの手軽さを体感し、その導入に踏み出していただければと思います。

この記事を読んだ方には次の記事がおすすめです。

Power Automate for Desktopの使い方解説記事

Power Automateの使い方解説記事