torazaemon2016’s blog

手書き文字認識メモ開発

音声&手書き文字認識メモ (Ver.2) 手書きでひらがなを書いてかな漢字変換・再変換も可能

漢字が書けなくても、ひらがなで書いて変換。音声認識が誤変換しても、あとから再変換。

しゃべったことがどんどん文字になっていく音声認識メモに、 手書き文字認識機能も追加しました。

apps.microsoft.com

torazaemon2016.hatenablog.jp

認識された文字を「TextBox」にハイライトで表示していますが、 このことで、MS IME をONにして、SPACEキーで変換すると、かな漢字変換が可能になっています。

ひらがなを書いて、ひらがなを文字認識
ハイライト状態でSPACEキーを押してかな漢字変換

また、音声認識した結果の文字列も、誤変換により漢字が違っていた場合でも、 漢字を含んだハイライト状態でSPACEキーを押すことで「再変換」されます。

下図は、マイクに「ここではきものをぬいでください」としゃべって、中段での緑の表示が「音声認識」された結果で、上段にも確定前として表示されていたところでSPACEキーを押して「再変換」している様子です。誤変換されても、再度しゃべり直すことは不要になりそうで、感動しています。

音声認識の結果のハイライト表示
誤変換も再変換で修正可能

これまでのHWRPadなどと違い、上部のTextBoxのほうに確定結果をハイライト表示で出すようにしたら、 思わぬ効果を得ることになりました。

最近のWindowsでの常識っぽいですが(Wordなんかでも同様にできるっぽい)、そもそも自分でキーボードからIMEで変換しているときには、正しくなるように変換して入力してしまうでしょうから、再変換の必要性があまり感じなかったですが、 こんな音声認識による誤変換とか、漢字が書けないからひらがなを書いて変換というのができるとなると、WindowsのTextBoxすげぇとなっています。

HWRシリーズのアプリで、手書きでどんどん書いていこうと思っていたけど、漢字を忘れていて書けない。 そのため、辞書ひいたり、キーボードでググったりと本末転倒になりかかっていましたが、 このアプリでもう安心してペンで手書きでコンピュータに文字を入れていくことができるようになります。

漢字を忘れていても、このアプリを使うことで思い出しながら、また再度自分で漢字を書いてみてとか、ボケ防止にも活用できそうです。

2024-11-13 Ver2.3.1 で、左下にIME ONボタンを追加しました。タスクバーのは状態把握がちょっとやりにくいかったり、押しにくかったりするので、大きなボタンと色を付けて左下に設置しました。押せば緑あと赤AでON/OFFがわかりやすいかと思います。

ひらがなを書いた後でもボタンを押すことでONにしてかな漢字変換できますし、Surface stylusのように、頭に消しゴムが付いているペンで消せば、かな漢字変換中でも文字の削除や追加ができるので、大変便利です。

IME ONボタンの追加

また、物理キーボードがない場合でも、Windows11のスクリーンキーボードを使って、スペースキーで変換できます。 ただし、キーボードレイアウトは、クラシック形式の表示のものでないと、ダメでした。コンパクトなどでは、変換になりませんでした。

スクリーンキーボードならクラシック形式ならスペースキーで変換できる

これで、本当に物理キーボードがなくても、日本語の文章をペン1本で入力していける環境ができました。

他にもあろうVirtual Keyboardアプリでも行けるかもしれませんし、スペースキーとEnterキー程度のキー送出プログラムを自作して、一緒に使うのも有りかと思います。 Storeアプリ「LRButton」を改造すればというか、もともとは仮想キーボードの作成だったので、作ってみているのですが、需要ってありますかねぇ?

torazaemon2016.hatenablog.jp