HWRinput (手書き文字認識入力) - torazaemon2016’s blog

PCの画面にスタイラスペンで手書きしている文字をリアルタイムに認識しテキストデータ化、それをエディタやWordへ文字データとして送り込めるアプリ。もう、かな漢字変換は要りません。

Ver.5.1からはUIを極力シンプルにしました。

HWRinput

Microsoft Storeにて公開中(2023/11/09～)の「HWRinput」 (手書き文字認識入力)という名前のアプリを作成しました。

apps.microsoft.com

これは、スタイラスペンで文字を書くことでリアルタイムにテキストデータに変換し、その結果をアクティブな別のウィンドウへの入力とすることができるものです。

これにより、手書きで文字を書くことで、エディタやWordなどの画面に文字が入力され、「紙にペンで書くように、コンピュータに文字を入力できる」ようになります。

認識されたテキストはエディタなどへ

Ver.1.4からは、消しゴム機能をサポートしました。消しゴムで消した場所にストロークを追記すると、その場所で正しく認識します。これにより、文字の書き直しが非常に容易になりました。

最新版では、上部にボタンが増えて編編作業やPC操作がしやすくなっています。キーボードのない夕ブレット型PCでの利便性が向上しています。

アプリの使用方法：

まず、テキスト編集ソフト(WordやVScodeなどのエディタ等)を起動します。
本アプリHWRinputを起動します。
1.で起動したWordなどの画面をクリックして、アクティブウィンドウにします。これを行わないと、認識テキストがそのアプリに送られていきません。
1. 3. でアクティブウィンドウにしたアプリの名前が、本アプリのタイトル部に表示されています。
2. これが正しくない場合は、3.を再度行うなどして、表示を確認してください。
本アプリHWRinputの入力画面に文字を書きます。
リアルタイムに文字認識されていくので、その認識文字列を確定しWord等の画面に入力したい場合、下部のSendボタンを押します。(またはSPACEかEnterボタンを押します)
Word等に文字が送られ、Word画面に文字が表示されます。
4以降を繰り返します。

アプリの説明

２段の書き込み画面のどちらかに文字を書いていくと、上部のテキスト欄に認識された結果がリアルタイムに表示されます。書いている途中からもどんどん変化していきます。
別の段に書き込みを変えると、テキスト欄のものが確定して、アクティブウィンドウに文字データとして渡されます（送られます）。
このおかげで、確定ボタンのようなものを押さなくても書き進められます。
「Erase」「Send」「Space」「Enter」が編集制御ボタンです。
「Erase」ボタンは、書いている段の手書きを「領域消去」です。
「Erase(領域消去)」は、１筆ずつ戻る手間が減り、編集しやすいです。
例をあげると、「あ」「う」「え」ならEraseボタン１回で消えますが、「い」「お」「け」などは２回になるかと思います。漢字の場合は、縦の部首単位で消えるような感じで、最終筆とＸ方向で重なっている筆跡までを１つの塊とみなして消去します。なので、右から消したいところまでがある場合、その文字の左に点を打って「Erase」すると、その点までが一気に消去できます。
描画画面になにも書いていないときの「Erase」ボタンは、アクティブウィンドウに「DEL」のキー操作を送ります。結果として、エディタ画面で文字が消えます。（DELがBSかDELかは相手先の設定によりますし、BSの動作が希望であればAutohotkeyなどを導入してください)
「Send」「Space」「Enter」は「確定」して、送り先へ渡されていきます。
その際に「Send」は文字列のまま、「Space」は最後に空白、「Enter」は改行をつけて、渡します。
描画画面になにも書いていないときに「Send」「Space」「Enter」を押すと、「Tab」「Space」「Enter」が送られます。
「1or2ボタン」は、描画領域を１段表示か２段表示かの切り替えです。
ウィンドウタイトル部に「送信先のアクティブウィンドウの名前」を表示します。
アクティブウィンドウとして相手の名前がなかったり、HWRinput自身を指しているような場合、認識文字表示領域が赤く表示されますので、気が付きやすくなっています。(確定するタイミングによっては、アクティブ指定していても、赤いときがありますが、送ると正しく送られ、白くなります）
認識された文字が表示されるテキスト領域に、スタイラスペンがホバーして入ると、アクティブウィンドウの表示が変更されます（アクティブウィンドウが変更になった場合など、ホバーしてウィンドウタイトル部の名前を変更してみてください。
スタイラスペンでなく、単なるペンの場合でも、テキスト領域をクリックすると同様にタイトル部での名前を更新できます。
スタイラスペンが持つ消しゴム機能をサポートしました。
MS純正のペンをお持ちなら、ペンの頭部を使ってストロークを消去できます。
他社のペンでも、消しゴムボタンを持つものならば、そのボタンを押しながら操作することで、消去できます。
消しゴム機能の持たないペンでも、描画領域の左上のペンと消しゴムのアイコンを切り替えることで、ペン先を消しゴムに切り替えることもできます。
消しゴムで消した場所に追記すると、その場所で正しく認識します。これにより、文字の書き直しが非常に容易になりました。
(追記を始めた場所で文字と認識しようとしますので、消去した場所と関係ないところに追記したら、正しく認識されない場合があります)
言語のプルダウンボックスは、このPCにインストールされている手書き文字認識エンジンがリストアップされますので、認識させたい言語のものを選んでください。
2つの言語を登録しておくことができ「L1/L2ボタン」は上記で登録した言語を瞬時に切り替えることができます。多くの場合は日本語エンジンだけかと思いますが、英語のエンジンもインストールしておき、数字や記号、アルファベットが多い場合、英語に切り替えると便利です。

注意点

利用する際には、WindowsOSの「設定」「時刻と言語」「言語と地域」の設定において、手書きしたい言語のオプション「手書き」がインストールされていることが必要です。インストールされていない場合は、その言語の右端にある三点リーダー(・・・）を押して、「言語のオプション」から、その言語の「手書き」オプションをインストールして追加してください。
手書きオプションがインストールされている
文字を渡したいウィンドウをクリックなどして選択し、アクティブウィンドウにしてください。
本アプリのウィンドウはTopmost指定なので、常に最前面(エディタなどウィンドウの上)に存在します。
日本語IMEがONになっていると、文字列がうまく渡りませんので、通常はIMEは OFF にして利用してください。
逆に、日本語IMEをONにして、ひらがなを書いて「SPACE」で送ると、かな漢字変換されます。SPACE押すたびに変換が変わり、Enterで確定できます。
Windows11のメモ帳では、うまく入力されていかない場合がありますので、他のエディタ(notepad++、Wordなど)をご利用ください。
キーボードの種類によっては、記号が違うものが入力される場合があります。(106,109日本語キーボードの場合、^ (キャレット)が & となってしまいます)
ウィンドウサイズは可変ですが、最小と最大のサイズ限界があります。
最大化でも、全画面が書込画面になるのではなく、上半分程度になります。
ウィンドウのサイズ・場所を変更しても、次回起動すると、また右下にデフォルトのサイズで起動します。
購入者なら、終了時の大きさ・場所を記憶しますので、次回起動時に同じサイズ・場所に出るようになります。
本アプリは、単体だけでは、テキストファイルを作成することができません。必ずWordやVScodeなどのエディタを起動するなり、WWWブラウザの入力画面で用いるなり、他のソフトと一緒にご利用ください。

単体で手書き文字認識や音声認識を用いてテキストファイルの作成、読み書きのできるアプリ「音声認識メモ」も公開しています。

torazaemon2016.hatenablog.jp

更新

Ver.3.1 (2024-09-19)
- UIボタン部の変更
- Ctrlキーの追加
- 言語選択ボタン(L1とL2切り替え)により１タップで言語を切り替え
- タスクトレイへの常駐化を止める。これにともない、複数同時起動も可能になりました。
Ver.2.0 (2024-09-03)
- UIボタン部の変更
- カーソルキの追加(キーリピート付)
- Shiftキーとカーソルキーで選択が容易に
- F1~F16のファンクションキーを追加(Shiftと合わせて32種類の利用が可能)
- 言語を2種類切替が容易に
Ver.1.7 (2024-03-21)
- inkToolbarの追加(ペン、消しゴムアイコンを表示)
Ver.1.6 (2024-02-08)
- UIの更新(下部4つのボタンに編集機能を集約、1段モードの設置）
Ver.1.5 (2024-01-15)
- 多言語の判定(InkRecognizer.Nameの追加登録)を行い、多くの言語に対応できたと思います。 (ヒンディー語など)
Ver.1.4 (2023-12-21)
- スタイラスペンの消しゴム機能をサポートしました。
  (スリムペンをお持ちなら、ペンの頭部を使ってストロークを消去できます。他のペンで、消しゴムボタンを持つものならば、ボタンを押しながら操作すると、消去できます)
- 消した場所に追記すると、その場所で正しく認識します。
Ver.1.3 (2023-12-06)
- Eraseに対してUndoをサポートしました。
  消しすぎてもUndoで1筆戻すことができます。
  Eraseボタンを押して、筆跡が積まれると、Undoボタンが、1eraseとSendの間に見えてきて、確定すると消えます。
- Undoボタン追加に伴い、上部のボタン配置を変更しました。
Ver.1.2 (2023-11-29)
- 送信先のアクティブウィンドウの名前を下部に表示
- Clearボタン(全消去)を、Eraseボタン(領域消去)に変更
Ver.1.1 (2023-11-20)
- タスクトレイに常駐化。タスクトレイのアイコンを左クリックすれば画面が表示されます。仮想デスクトップを複数利用している場合、アイコンをクリックすれば、他のデスクトップから移動してきます。
- 常駐化にともない、複数同時起動ができなくなりました。
Ver.1.0 (2023-11-14)
- F13, Win+Vのボタンを追加し、C-X,C-C,C-Vのボタンを廃止しました。
  F13はAutohotkeyなどを導入することで活用してください
  torazaemon2016.hatenablog.jp
- 確定した文字列は、クリップボードに追加されるようにしました。
  Win+Vを使ってクリップボードを呼び出すことで、フォーカスがずれていた場合でも、再度書き直しの手間が減る可能性があります。
  (Windowsの設定でクリップボードの履歴をONにしておいてください)
Ver.0.9 (2023-11-10)
- 指・マウスでも描画を可能にしました(ペンのみだと、ペンのない人が、なんのアプリかわからず、描画画面をマウスを連打して終わってしまうため)
  実用的にはペンがないと文字を書くのは厳しいかと思います。
- 購入者には特典として、ウィンドウのサイズ・場所を記憶して次回も同じ環境で使えるようにしました。
Ver.0.6 (2023/11/09)
- 多言語対応
Ver.0.3 (2023/11/06)
- 初版
- 最初は、手書き文字認識入力という名前でした。