AI-OCRはもう不要！？手書き文書をChatGPTとRPAでデータ化＆入力自動化してみました！
こんにちは！
弊社は主に、「クライアント企業様のRPAの導入支援・運用サポート・シナリオの開発支援」を行っております。
さて、この記事をお読みいただいているあなたは次のような悩みを抱えてはいないでしょうか。
・事務職員が手書きのアンケートや申請書、注文書などの紙文書を手入力していて大変・・・
・社内で発生した手書き伝票をAI-OCRを用いてデータ化しようとしているがうまく読み取ってくれなかった・・・
実際、このような手書き文書をデータ化するのは、OCR技術を用いてもうまくいかない場合が多いです。その原因には文字の解像度や多様性など様々な原因が考えられます。
ところで、2024年5月13日に「ChatGPT-4o（ジーピーティーフォーオー/オムニ)」がリリースされました。このアップデートによりChatGPT-4から搭載されている、画像やPDFファイルからテキストデータ化してくれる処理がより高速でかつより正確に行えるようになりました。また、英語以外の言語、特に日本語における性能が大幅に向上しています。しかし生成AIを利用するにも、手書き文書を1つずつChatGPTにアップロードして、質問を打ち込んで・・・という手間が発生します。私も実際に活用しており以前からこれらの作業が非常に手間であると感じていました。
そこでこの記事では、ChatGPT-4oとRPAを用いて手書き文書を正確に読み取り、自動でシステム入力・データベース化するための手順やコツを、サンプル動画を含めてお伝えします！
はじめに
経理が抱える紙の領収書の問題
多くの企業において、手書き文書の処理は依然として手作業に依存しています。この課題は、事務職員部門だけでなく、他部門にわたって企業全体に広がっています。例えば、営業や購買部門など、業務の中心となる部門が日々の業務に集中する中で、手書き文書の処理が煩わしい作業となり、業務効率の低下やミスのリスクを招いていませんでしょうか。特に月末や月初には大量の手書き文書が集まり、処理に追われることがあり、これが残業や業務負担の増加につながることも少なくありません。
手書き文書を一枚一枚確認し、必要な情報を手動でデータベースやシステムに入力する作業は、時間と集中力を必要とし、間違いや疲労が増える原因となっています。特に、文字の形や書き手の筆致によるばらつきがあるため、認識の精度や速度に影響を与えることがあります。手作業による処理はまた、データの一貫性や正確性を保つことが難しく、誤った情報が業務の効率性や経営判断に影響を与える恐れがあります。金額の誤入力や日付の混同が頻発し、これが後の業務報告や決算作業に混乱を招くこともあるのです。
さらに、手作業による手書き文書処理は業務のスケーラビリティ（拡大可能性）にも限界を与えます。実際、企業が成長し、取引件数や文書の数が増加するにつれて、手動での処理は追いつかなくなることがよく発生しています。これにより、業務拡大に伴う人員の追加や処理能力の向上が必要となる場合がありますが、それでも処理の効率化やミスの削減には限界があるのです。
さて、では手作業による手書き文書の処理には実際どれだけのコストがかかっていると思いますか。詳しくは次の章をご覧ください。
手書き文書の処理には年50万円以上もかかってる？
ここまで、現状の手書き文書の処理について述べてきましたが、具体的にどのぐらいの費用（人件費）がかかっているのでしょうか。ここでは、以下のような会社を想定して話を進めていきます。
・会社全体で1日平均30枚の手書き文書をPCに手入力している
・1枚当たりの所要時間は3分
・人件費は時給換算で1,500円/時間
まず、職員が1日に手書き文書作業に費やす時間は30枚×3分=90分（1.5時間）です。つまり、1日にこの会社で発生する人件費は、1,500円×1.5時間=2,250円となります。
これは月額にすると2,250円×20日=45,000円/月、年間にすると2,250円× 240日=540,000円/年になります。つまり、今までは手書き書類の処理に年間54万円ほど費やしているということです。
皆様もこのように、だいたいで構いませんので計算してみてください。
手書き文書の処理にかかるコストの大きさを感じていただけたでしょうか。今回は1日30枚程度を想定しましたが、もしもっと多くの文書数や時給が発生している企業であれば、さらに多くのコストを費やしていることでしょう。
OCR技術では手書き文書の正しい読み取りは困難なことも
このような手作業により生じる問題やコストの増大を解決するために、最近では多くの企業がOCR（Optical Character Recognition：光学文字認識）技術を導入しています。OCR技術は、スキャンした手書き文書から文字情報を自動的に読み取り、デジタルデータとして取り込むことができます。さらに近年、AI技術の導入による処理能力と読み取り精度の向上したAI-OCRが登場しました。この技術は一見非常に有用であり、実際に多くの場面で利用されています。しかし、このOCR技術にも以下の大きな２つの問題が存在しています。
１つ目は、認識精度に限界があることです。
AI-OCRは、印刷された文字を高い精度で認識することが可能ですが、手書き文字には対応が難しいです。これは手書き文字が人により様々であり多様性が高いためです。さらに、汚れや破損がある場合には、正確なデータ抽出がより困難となります。
↓上下で異なる人が書いた文字
２つ目は、フォーマットに大きく依存することです。
発行元によって文書のフォーマットが異なる場合がよく見られます。その場合、AI-OCRを用いる際は事前に読み取り箇所を指定しなけ ればならないことが多いです。例えば、「この範囲に書かれた文字は年月日として読み取ってください」といった指示を与えるわけです。ですがフォーマットが異なると別の帳票ではその範囲に取引先会社名が書かれていたり、何も書かれていないこともあります。このように読み取り箇所を事前にAI-OCRに対して指示を出すのが難しいケースがあります。
↓形式の異なる伝票
たとえ業務効率化のためにAI-OCRを用いたとしてもこのような問題があるため、読み取り精度があまりに低く実用化レベルに達しないことをで、人による手入力から抜け出せない企業は少なくありません。
かといって、人手不足も深刻で、デジタル化や省人化が推進される現代社会において、徐々に人による手入力からの脱却を進めていかなければなりません。では、どうすればよいのでしょうか？
最近の生成AIブームや自動化処理の時流により、ChatGPT、もしくはRPAという言葉を耳にしたことがある、もしくは使用した経験があるという方も多いかと思います。
そこで今回私たちは、手書き文書からの文字認識処理がより高速でかつより正確に行えるようになったChatGPT-4oを用いることで、これらの課題を解決できるのではないか？と考えました。
そしてさらに、RPAと組み合わせることで「手書き文書を生成AIにOCR処理させる業務自体も自動化できるのではないか？」と考えたわけです。
そして今回、実際に手書き文書をChatGPTとRPAで自動化処理してみました。次の章では、RPAがChatGPTを動かして手書き文書をOCR処理する様子の動画や出力結果を取り上げながら、ポイントを詳しく説明していきます。
実際に手書き文書を自動化処理してみた結果
RPA実行動画とフローについて
詳細について説明する前に、まずは実行動画をお見せしたいと思います。
以下は、記載内容の異なる「手書き伝票1」と「手書き伝票2」を、一連の流れでテキスト化するシナリオです。
↓RPA実行動画
↓ChatGPTに入力した画像
↓ChatGPTが出力したテキスト
・伝票1
以下の情報を抽出しました：
・年月日：2024年6月25日
・コード：14875
・入金先：株式会社ドットコネクト
・勘定科目：交通費, 消耗品代
・摘要：タクシー代（つくば駅 - 土浦駅）, ノート10冊
・金額：3450円, 1500円
・合計：4950円
・伝票2
以下の項目を抽出しました：
・年月日：2023年12月28日
・コード：96103
・入金先：株式会社ドットコネクト
・勘定科目：売掛金, 仮受消費税等
・摘要：つくば商事5月売上
・金額：168712円, 46103円
・合計：214815円
最後までご覧いただけましたでしょうか。今回の処理は、以下のような流れとなっています。
ここで人は事前に、画像やPDFの領収書を特定ファイルに保存しておいた状態でRPAを実行するだけです。
あとはRPAが紙の領収書をChatGPTにアップロードし適切な質問をすることで、ChatGPTのアウトプットとしてテキスト化されたデータが得られたり、処理を行った結 果が得られます。
そしてその後、RPAによりシステム入力やデータベース化ができるというわけです。動画中ではExcelに入力していましたが、自社ソフトに入力することも可能です。
今回、ChatGPTに投げかけた質問は以下の通りです。
この手書き文書の中から、以下の項目を以下の形式に追記する形で抽出してください。
勘定科目が複数ある場合はカンマ区切りで出してください。
・年月日：
・コード：
・入金先：
・勘定科目：
・摘要：
・金額：
・合計：
このように出力フォーマットを指定することで、この後RPAで特定の情報を得ることが容易になります。
0.5mmのペンで文字をきれいに書きましょう！
先ほどのサンプル動画中の出力はうまくいきましたが、1回成功しただけでは不十分では？と思われたかもしれないので、「手書き文書2」に関して新たに500回ほど実行してみました。すると、数回だけ登録番号が少し異なる出力をしました。以下は異なる出力結果の一部です
↓正しい出力結果
・年月日：2024年6月25日
・コード：14875
・入金先：株式会社ドットコネクト
・勘定科目：交通費, 消耗品代
・摘要：タクシー代（つくば駅 - 土浦駅）, ノート10冊
・金額：3450円, 1500円
・合計：4950円
↓異なる出力結果
・年月日：2024年6月25日
・コード：14875
・入金先：株式会社ドットコネクト
・勘定科目：交通費,雑費の代
・摘要：タクシー代（つばめタクシー駒場）,1〜10冊
・金額：3450円,1500円
・合計：4950円
計500回試して、正しい出力結果と完全一致している回数をカウントしてみたところ、286回で約57%でした。
できるだけ100%に近づけたいので以下の変更を行い何度も試してみました。
変更①：文字をきれいにかく
変更①として、 文字をきれいに書き直してみました。以下のように１字１字、とめ・はね・はらい・文字の重なり・はみ出しに注意しました。
↓変更①前
↓変更①後（少し丁寧）
変更②：ペンの太さを変える
変更②として、ペンの太さを変更してみました。これまでは0.3mmのボールペンで書いていたのですが、0.5mmと1.0mmのマジックペンを用いて同じ内容を記述してみました。
↓変更②前(太さ0.3mm)
↓変更②後（太さ0.5mm）
↓変更②後（太さ1.0mm）
変更①のみ、および変更①と変更②両方をそれぞれ行ってみました。それぞれ先ほどと同様に500回試し、正しい出力結果と完全一致している回数をカウントしたところ、成功率はこのようになりました。
ここで、1.0mmのときに成功率が大きく低下したのは、文字が重なってしまい形が不鮮明になってしまったことによるものだと思われます。このことから、ChatGPTの出力精度を高めるには、文字のきれいさと文書の大きさにあった太さのペンを用いることの両方が重要です。なので例えば、今回のようなA4サイズの手書き文書を作成するときは、0.5mmのペンできれいに書くことを意識してみてはいかがでしょうか。
また、紙の大きさによって適切なペンの太さが変わる可能性もありますので、まずは何回も試してみるのが良いと思います。多くの回数を試す意味でも、今回のようにRPAでテストを自動化するのも有効だと感じました。
このように工夫をすることで出力の精度を高めることができますが、今回のように何回やっても正しい出力をしてくれるとは限りません。ですが、これは人間による作業でも同じことが言えます。
なのでどうしても間違えたくないという方は、何回か試してみて不確定要素があるときには、その項目を人間がダブルチェックすることをおすすめします。ある程度、生成AIの不安定性も考慮するべきということです。かといって、すべての文書を人間がチェックするのは二度手間となってしまいます。そこで例えば、同じ文書を5回連続で入力するフローにしてみて、すべて正しい出力をした際は人間によるチェックはなしとし、１回でも1文字単位で間違いが起こったら人間によるチェックを後で行うといった流れにすると、人間によりチェックする手間も削減できると思います。
このように、100％の認識率ではなくても、全ての文字を手入力し続けるよりは、RPAと生成AIがアウトプットした結果をチェック・補正する業務フローに組み替えた方がはるかにラクになるのではないでしょうか。
記事全体のまとめ
いかがでしたでしょうか。本記事ではChatGPTとRPAを組み合わせることで手書き文書を自動化処理する検証を行いました。その結果、文字をきれいに書くことや用紙サイズに合わせた適切なペンの太さを選択することで出力精度が増加することがわかりました。費用対効果の面やツールの特性から考えると、既存の手動入力やOCR技術よりは効果的であると考えています。
今後、生成AIはますます利用されると考えられています。きっとChatGPTもアップデートを重ねてさらに精度が高まっていくでしょう。ですが今回のように生成AIを利用する際にはその不確定性を考慮し、適切に運用していくとよいと考えます。
RPAを導入済みでさらに業務を自動化したいと考えている企業様、またRPAを導入しておらず導入を検討している企業様はぜひお問い合わせください。
ご相談はお気軽に「RPA運用サポート.com」まで！
・自社の業務はRPAで自動化できるだろうか、、
・自社でもRPA活用を考えているけど、どのツールが適しているのだろうか、、
・経費請求を自動化したいけど、どうすればいいかな、、
などなど、RPAについて、あるいは自動化業務作成について、少しでも気になることがある方へ。
弊社では、「MICHIRU RPA」を活用した「個別対応型のサポート」を行っています。お気軽にお問い合わせください。
また、詳細なRPAツールの選定ポイントや活用事例、自動化対象業務の洗い出し方法など、RPAの実践ノウハウをまとめた、弊社の代表が執筆した書籍もございます。
ご一読いただければ、どのように組織としてRPA運用を成功に導けるか、きっと多くのヒントが得られることでしょう。
