HWRinput (手書き文字認識入力) - torazaemon2016’s blog

PCの画面にスタイラスペンで手書きしている文字をリアルタイムに認識しテキストデータ化、それをエディタやWordへ文字データとして送り込めるアプリ。もう、かな漢字変換は要りません。

apps.microsoft.com

Microsoft Storeにて公開中(2023/11/09～)の「HWRinput」 (手書き文字認識入力)という名前のアプリを作成しました。

これは、スタイラスペンで文字を書くことでリアルタイムにテキストデータに変換し、その結果をアクティブな別のウィンドウへの入力とすることができるものです。

これにより、手書きで文字を書くことで、エディタやWordなどの画面に文字が入力され、「紙にペンで書くように、コンピュータに文字を入力できる」ようになります。

最新版のVer.1.4からは、スタイラスペンが持つ消しゴム機能をサポートしました。消しゴムで消した場所にストロークを追記すると、その場所で正しく認識します。これにより、文字の書き直しが非常に容易になりました。

アプリの使用方法：

まず、テキスト編集ソフト(WordやVScodeなどのエディタ等)を起動します。
本アプリHWRinputを起動します。（一度起動しているなら、本アプリのNotifyアイコンをクリックしてウインドウを開きます）
1.で起動したWordなどの画面をクリックして、「★アクティブウィンドウ★」にします。これを行わないと、認識テキストが送られていきません。
本アプリHWRinputの入力画面に文字を書きます。
このとき、3. でアクティブウィンドウにしたアプリの名前がSPACE,ENTERボタンの上に細く表示されています。これが正しくない場合は、3.を再度行うなどして、表示を確認してください。
文字認識されていくので、その認識文字列を確定しWord等の画面に入力したい場合、右上のSendボタンを押します。(またはSPACEかEnterボタンを押します)
Word等に文字が送られ、Word画面に文字が表示されます。
4以降を繰り返します。

アプリの説明

２段の書き込み画面のどちらかに文字を書いていくと、上部のテキスト欄に認識された結果がリアルタイムに表示されます。書いている途中からどんどん変化していきます。
別の段に書き込みを変えると、テキスト欄のものが確定して、アクティブウィンドウに文字データとして渡されます（送られます）。
このおかげで、確定ボタンのようなものを押さなくても書き進められますので、思考に邪魔が入りません。
下段の「Erase」「Send」「Space」「Enter」で編集します。
「Erase」ボタンは、書いている段の手書きを「領域消去」です。
「Erase(領域消去)」は、１筆ずつ戻る手間が減り、編集しやすいです。
例をあげると、「あ」「う」「え」ならEraseボタン１回で消えますが、「い」「お」「け」などは２回になるかと思います。漢字の場合は、縦の部首単位で消えるような感じで、最終筆とＸ方向で重なっている筆跡までを１つの塊とみなして消去します。なので、右から消したいところまでがある場合、その文字の左に点を打って「Erase」すると、その点までが一気に消去できます。
描画画面になにも書いていないときの「Erase」ボタンは、アクティブウィンドウに「DEL」のキー操作を送ります。結果として、エディタ画面で文字が消えます。（DELがBSかDELかは相手先の設定によりますし、BSの動作が希望であればAutohotkeyなどを導入してください)
「Send」「Space」「Enter」は「確定」して、送り先へ渡されていきます。
その際に「Send」は文字列のまま、「Space」は最後に空白、「Enter」は改行をつけて、渡します。
描画画面になにも書いていないときに「Send」「Space」「Enter」を押すと、「Tab」「Space」「Enter」が送られます。
スタイラスペンが持つ消しゴム機能をサポートしました。
MS純正のペンをお持ちなら、ペンの頭部を使ってストロークを消去できます。
他社のペンでも、消しゴムボタンを持つものならば、そのボタンを押しながら操作することで、消去できます。
さらに、消しゴムで消した場所にストロークを追記すると、その場所で正しく認識します。これにより、文字の書き直しが非常に容易になりました。
(追記を始めた場所で文字と認識しようとしますので、消去した場所と関係ないところに追記したら、正しく認識されない場合があります)
左端ボタンの「F13」は、ファンクションキーのF13を押したのと同じ働きです。F13は機能が割り振らていないことが多いと思います。Autohotkeyなどを導入して活用してみてください。
「Win+V」は Windowsキー＋V です。クリップボードのポップアップが開かれます。クリップボードの履歴の使用をONにしてください。Ver.1.0から、確定した文字列はクリップボードにコピーされていきますので、クリップボードを活用してください。
「C-Z」「C-Y」は、それぞれ「Ctrl+Z」「Ctrl+Y」をアクティブウィンドウに送り、相手側での「元に戻す(Undo)」「Redo」になります。
消しすぎた場合、隣の「C-Z」で元に戻せます。また、戻しすぎた場合は「C-Y」でRedoもできます。
プルダウンボックスは、このPCにインストールされている手書き文字認識エンジンがリストアップされますので、認識させたい言語のものを選んでください。
多くの場合は日本語エンジンだけかと思いますが、数字や記号、アルファベットが多い場合、英語のエンジンを入れておき、英語に切り替えると便利です。
右上の「1or2」は、１段表示か２段表示かの切り替えです。
ウィンドウタイトル部に、「送信先のアクティブウィンドウの名前」を表示するようになりました。
アクティブウィンドウとして相手の名前がなかったり、HWRinput自身を指しているような場合、認識文字表示領域が赤く表示されますので、気が付きやすくなっています。(確定するタイミングによっては、アクティブ指定していても、赤いときがありますが、送ると正しく送られ、白くなります）
タスクトレイに常駐します。タスクトレイのアイコンを左クリックすれば画面が表示されます。仮想デスクトップを複数利用している場合、アイコンをクリックすれば、他のデスクトップから移動してきます。

torazaemon2016.hatenablog.jp

注意点

利用する際には、WindowsOSの「設定」「時刻と言語」「言語（Windows11では言語と地域）」の設定において、「日本語」のオプション「手書き」がインストールされていることが必要です。
文字を渡したいウィンドウをクリックなどして選択し、アクティブウィンドウにしてください。
本アプリのウィンドウはTopmost指定なので、常に最前面(エディタなどウィンドウの上)に存在します。
日本語IMEがONになっていると、文字列がうまく渡りませんので、通常はIMEは OFF にして利用してください。
逆に、日本語IMEをONにして、ひらがなを書いて「SPACE」で送ると、かな漢字変換されます。SPACE押すたびに変換が変わり、Enterで確定できます。
Windows11のメモ帳では、うまく入力されていかない場合がありますので、他のエディタ(notepad++、Wordなど)をご利用ください。
キーボードの種類によっては、記号が違うものが入力される場合があります。(106,109日本語キーボードの場合、^ (キャレット)が & となってしまいます)
ウィンドウサイズは可変ですが、最小と最大のサイズ限界があります。
最大化でも、全画面が書込画面になるのではなく、上半分程度になります。
ウィンドウのサイズ・場所を変更しても、次回起動すると、また右下にデフォルトのサイズで起動します。
購入者なら、終了時の大きさ・場所を記憶しますので、次回起動時に同じサイズ・場所に出るようになります。
試用版は30日の予定です。
試用版(ライセンスがTrial)では、100文字毎にポップアップメッセージが出ます。
ポップアップメッセージが表示されると、アクティブウィンドウのフォーカスは変わります。ポップアップが表示された際は、ポップアップの消去とアクティブウィンドウの再設定を行ってください。なお、購入版ではこの制限はありません。
本アプリは、単体だけでは、テキストファイルを作成することができません。必ずWordやVScodeなどのエディタを起動するなり、WWWブラウザの入力画面で用いるなり、他のソフトと一緒にご利用ください。

なお、単体でテキストファイルの作成、読み書きのできるアプリ「HWRpad」も公開できましたの、単体で完結して文章を作成・保存したい方は、以下のアプリのご利用もご検討ください。

apps.microsoft.com

更新

Ver.1.7 (2024-03-21)
- inkToolbarの追加(ペン、消しゴムアイコンを表示)
Ver.1.6 (2024-02-08)
- UIの更新(下部4つのボタンに編集機能を集約、1段モードの設置）
Ver.1.5 (2024-01-15)
- 多言語の判定(InkRecognizer.Nameの追加登録)を行い、多くの言語に対応できたと思います。 (ヒンディー語など)
Ver.1.4 (2023-12-21)
- スタイラスペンの消しゴム機能をサポートしました。
  (スリムペンをお持ちなら、ペンの頭部を使ってストロークを消去できます。他のペンで、消しゴムボタンを持つものならば、ボタンを押しながら操作すると、消去できます)
- 消した場所に追記すると、その場所で正しく認識します。
Ver.1.3 (2023-12-06)
- Eraseに対してUndoをサポートしました。
  消しすぎてもUndoで1筆戻すことができます。
  Eraseボタンを押して、筆跡が積まれると、Undoボタンが、1eraseとSendの間に見えてきて、確定すると消えます。
- Undoボタン追加に伴い、上部のボタン配置を変更しました。
Ver.1.2 (2023-11-29)
- 送信先のアクティブウィンドウの名前を下部に表示
- Clearボタン(全消去)を、Eraseボタン(領域消去)に変更
Ver.1.1 (2023-11-20)
- タスクトレイに常駐化。タスクトレイのアイコンを左クリックすれば画面が表示されます。仮想デスクトップを複数利用している場合、アイコンをクリックすれば、他のデスクトップから移動してきます。
- 常駐化にともない、複数同時起動ができなくなりました。
Ver.1.0 (2023-11-14)
- F13, Win+Vのボタンを追加し、C-X,C-C,C-Vのボタンを廃止しました。
  F13はAutohotkeyなどを導入することで活用してください
  torazaemon2016.hatenablog.jp
- 確定した文字列は、クリップボードに追加されるようにしました。
  Win+Vを使ってクリップボードを呼び出すことで、フォーカスがずれていた場合でも、再度書き直しの手間が減る可能性があります。
  (Windowsの設定でクリップボードの履歴をONにしておいてください)
Ver.0.9 (2023-11-10)
- 指・マウスでも描画を可能にしました(ペンのみだと、ペンのない人が、なんのアプリかわからず、描画画面をマウスを連打して終わってしまうため)
  実用的にはペンがないと文字を書くのは厳しいかと思います。
- 購入者には特典として、ウィンドウのサイズ・場所を記憶して次回も同じ環境で使えるようにしました。
Ver.0.6 (2023/11/09)
- 多言語対応
Ver.0.3 (2023/11/06)
- 初版
- 最初は、手書き文字認識入力という名前でした。