23/11/30 15:44:45.66 oxe9L3uM0.net
光学文字認識（こうがくもじ にんしき、Optical character recognition）ソフト
OCRソフト 製品版
【ソースネクスト】
１．読取革命 １６
２．本格読取 ５
【メディアドライブ】
３．e.Typist v.15.0
OCRソフト フリーソフト
４．bunkoOCR
小説を自炊してテキスト化するのであれば３と４にはルビに対応している分有利かも！？
このリストって2016年とほぼ一緒
皆さんは、グーグルドライブとか使うの？
私は、PDFでは残さないのでbunkoOCRに期待しています。
2:名無しさん＠お腹いっぱい。
23/12/02 21:14:59.87 q8rl5vzO0.net
【無料アプリ】
レシート読み取りで精度が高いのは LINE レシート。撮影した画像も一応残る。
データの再利用はできないが月ごとの利用レポートと店舗単位の支出が確認できる。
品目の順番が入れ替わるのでデータとレシートを比較しにくいが読み取りはだいたいあってるのでおｋ。
たまに店舗名を読み取ってくれないがその時は不明な店舗になる。修正はできない。
たまに「登録済み」と言われて2枚目のレシートを読み取ってくれないので時刻を消して登録している。3枚あったらアウト。
これが同じ商品同じ金額同じ時間なら分かるんだけどなぜ・・・
機種変してもバックアップとかの面倒はない。
レシーピはどうも一部だけ読み取ってくれない。誤字も多い。機種によって違うかもしれない。明るいと割と正確に読み取ってくれる。
しかし、データをバックアップできる。ZIPなので頑張ればExcelデータを取り出せる。
読み取りが正確なら取り出そうと思えるんだが・・・
Googleレンズで日本語→日本語に翻訳してテキストを取得できる。レシートには向かない。位置情報込みでOCRできればいいのに。
Google Keep は音声登録と同時に認識したテキストを追加してくれる。
Google Keep に貼り付けた画像の編集画面で「画像のテキスト抽出」したらOCRしたテキストを追加してくれる。
ただし、レシートは金額が改行されてたり順不同になるのであくまでキーワード検索に使える程度。
領
収
証
みたいに縦書きになって「領収証」では検索できなくなったりするし
店舗のロゴを読み取れないのでLINEレシートのような店舗名での検索はできない。
電話番号でなら検索できるかも。
Google Keep で直接撮影すると無駄が多いので Googleドライブのスキャン機能が使えるらしい。
自分でやったら PDF で保存されるので Google Keep では開けなかった。
Google Keep と LINEレシートは保存した画像を参照できるので撮影は1回で済ませられる。
3:名無しさん＠お腹いっぱい。
23/12/02 21:27:20.06 q8rl5vzO0.net
>>2
Google Keep はタグ付けできるので店舗名や「レシート」という言葉でタグ付けしておけばいいかもしれない。
入力の手間はかかるが。
店舗名が読み取れないレシートの場合に店舗名が印刷されたものを並べて撮影したりしているので
↓のようにプリントしたメモを一緒に撮影したらタグの入力はしなくて済むかもしれない。
＃店舗名
＃レシート
何をどこで買ったか分からなくなるのでそういうのは商品名で検索できないといけないけど
ちゃんと読み取れてかつ検索できるのってないんだよね。
Google Keep なら検索楽そう。
4:名無しさん＠お腹いっぱい。
23/12/02 21:42:33.70 q8rl5vzO0.net
表形式でOCRするなら英数で読み取ればブラザープリンタの付属のスキャナで可能。
日本語対応ならレシートも読み取れるのに・・・
ScanSnap HomeのレシートOCR ってのがあるけど、これは合計額しか読み取れないので仕事で使えない。
どうしても商品ごとの価格が必要なので。
もちろん、日付、店舗名、合計額だけが欲しい場合もあるけど、
Google レンズ みたいにリアルタイムにぱっぱぱっぱと読み取ってくれる使い方がしたい。
逆にGoogle レンズ が日付、店舗名、合計額だけに絞ってくれればいいのに・・・
スクリプトで処理するにしても順不同は使えない。
LINEレシートみたいにレイアウトがはっきりしてればまだいいけど。
5:名無しさん＠お腹いっぱい。
23/12/03 13:50:52.00 1rszuTWL0.net
書類をスキャンするだけなら Evernote Scannable はいいんだけど iPhone のみ。
レシーピは iPhone 対応やめちゃって Android だけ。
vFlat Scan - PDF Scanner がお勧めらしくて両対応だけど
あいにく楽天Handには手振れ補正がない・・・
試しにスキャンしたら解像度が低くてつぶれた感じだけどそのままテキスト化したらできた。
それを Google Keep で開いて「画像のテキストを抽出」したら「画像のテキストを認識できません。」と言われた。
もう一度やってみたら認識してくれた。
撮影をやり直すと光源とカメラの角度で明るさ全く違ってるし
多分、遠くから斜めに撮影しないと領域を認識してくれないのでつぶれてしまって読みにくい。
紙のゆがみも補正されてないのはいいことなのか悪いことなのかよくわからない。
大き目横長の「領収証」の字を誤認識してるから問題外かもしれない。
6:名無しさん＠お腹いっぱい。
23/12/03 14:42:47.36 1rszuTWL0.net
Scannableだと下の方カットしても領域認識して自動で撮影してくれて
紙のゆがみ補正してくれてフラットな画像になってて
6品目買ってサイズは215kBで
「農」の字がつぶれてないから認識率よさそう。
問題は iPhone だから
EverNote に保存しないと使い勝手が悪い点。
> Evernote Free のユーザは、Evernote アプリを最大 ２ 台の端末でご利用いただけます。
> 端末を頻繁に変更していると、端末の削除を繰り返さないよう、エラーメッセージが表示されることがあります。
> これは、端末数制限の不正使用を防ぐための弊社の対策です。
ぎりぎり2台か・・・
LineレシートからはEverNote開けないから
カメラロールに保存して「戻る」にして
Evernoteにも保存すればいいか。
無駄にはなるけど手間はそうかからない。
> Evernote、無料アカウントは「最大50個のノートと1つのノートブック」に
> 関口 聖2023年11月30日 13:01
無理だな・・・
LINEレシート と GoogleKeep を iPhone に入れて Scannable で画像保存すればいいか。
iPhone でも 5S じゃカメラ性能悪いから仕事用には入れられない。個人のを使わないと。
その点複数アカウント切り替えて使える Google Keep は使い勝手が良い。
7:名無しさん＠お腹いっぱい。
23/12/03 16:52:49.57 1rszuTWL0.net
>>6
> LINEレシート と GoogleKeep を iPhone に入れて Scannable で画像保存すればいいか。
やってみたらちゃんと認識してくれた。
8:名無しさん＠お腹いっぱい。
23/12/03 23:23:20.93 90eelsAR0.net
>>1
過去スレ
【文字認識】OCRソフト【 自炊 】
2016年8月...2023年11月
ｽﾚﾘﾝｸ(software板)
9:名無しさん＠お腹いっぱい。
23/12/07 09:30:59.61 oKBk48NP0.net
スレ立て乙
10:名無しさん＠お腹いっぱい。
23/12/15 17:00:39.89 hu2nPmPKp
クールなにがしだの送り付け詐欺組織NHｋだのから薄汚い税金得てたとはいえ人生うまくいかないのは京ア二のせいだとして数十人殺した
青葉君は国民の生命と財産を強奪して私腹を肥やすだけの存在クソ公務員を狙わないあたり確かに筋違いだな、ナマポワー力一から
精神的圧迫まで受けてたって話だし世界最惡脱炭素拒否テロ國家に送られる化石賞4連続受賞して世界中から非難されながら憲法13条2５条２9条
と公然と無視してカによる一方的な現状変更によってクソ航空機倍増、閑静な住宅地から都心まで数珠つなき゛で鉄道の３0倍以上もの莫大な
温室効果ガスまき散らして騒音まみれ、巨大論理体系を腦内維持しなければ不具合だらけになる知的産業壊滅、騒音を音て゛掻き消すとか
集中力そく゛ことやってたらしいが執筆も脈絡崩壊して詰まらないご都合主義に陥るとかあり得る話、結局私利私欲のために
テロリストに天下り賄賂癒着して気候変動させて土砂崩れ、洪水、暴風、熱中症にとマッチポンプを繰り返す人類に涌いた害虫クソ公務員を
殲滅しなければ何も解決しない、少しでも来世がマ├モな社会になってるよう狙う先を考えよう!
(情報サヰト) URLﾘﾝｸ(www.call4.jp)рhp?tуpе=itеms&id=I0０00062
URLﾘﾝｸ(haneda-project.jimdofre)е.com/ , Tтps:/／flight-route.com／
Тtps:/／n-souonhigaisosyoudan.amｅbaownd.com/
11:名無しさん＠お腹いっぱい。
23/12/17 09:27:15.29 VZ5Zt6IX0.net
最近お気に入りの文庫本に水分こぼして乾かしたけどヨレヨレでインクが滲み劣化したので自炊の方法を調べたら今更ながらbunkoOCRを知った
これは凄いねこういうの作れる作者さんに敬意を払います
が如何せん古いPCでNvidiaのグラボ積んでない初代core i7_870で作業したがめっちゃ時間がかかる(笑)
1ページ10分1時間で6ページ…
元画像のスキャンを軽いものにしたら速くなるのかね？
自分で試せば分かるだろうが今やってる最中でその試しは出来ない(笑)
なんか説明書に書かれてる2枚目というのがどういう状態を指してるのか分からんが
古いPCだと仕方ないのかな
まあそれでもtext化出来るソフトを無料で配布してくれてる事に感謝(ㅅ´꒳` )
12:10
23/12/17 12:47:11.42 VZ5Zt6IX0.net
途中経過
CPUは50~55%、メモリ6.3~6.5GB使用
こういう処理はGPU処理前提なのは当然だろうけど
CPUの使用率を高くすると処理速くなるなら
CPU使用率を最高、標準以上、標準、標準以下のように選べると良いんだけどなあ
まあ新しいPC買えよって話だけどさ
13:10
23/12/17 15:54:01.02 VZ5Zt6IX0.net
まだ途中だか総括
ソをンと間違える確率7割~8割
1文字スペース部分が、空白改行2行に
「噛」や「頬」のように細かいと文字化け
ゴミの・なども文字化け
出来上がったtextは1ページ1ページ確認したほうが良い
textだから手直し出来るのは良い
無料なのでこのぐらいは仕方ないかな
また何かあれば書くかもだが
一応これで終わりにしとく
14:名無しさん＠お腹いっぱい。
23/12/18 03:34:03.44 x116ljWz0.net
ソとンが化けるのはなんとかしたい。改良版の重みデータだとよくなっていてほしい
文字の見かけの大きさが、ふりがなでも20pixelはあると思ってスキャンしに行ってるので、
適宜拡大縮小が必要かも
ゴミが化けるのは、むずい。閾値を下げるとちょっとはよくなるかもしれない
ピリオドとかもあるので、サイズで弾くわけにも行かないし…どうするか
15:名無しさん＠お腹いっぱい。
23/12/18 11:59:24.12 VCuyDPn10.net
ダウソタウソ
16:名無しさん＠お腹いっぱい。
23/12/18 17:08:37.26 D7Hl2TJD0.net
>>11-13
>水分こぼして乾かしたけどヨレヨレでインクが滲み劣化
印刷状態の良くないケースだと思うがせめて600dpiグレースケール以上でスキャンしたのか気になる
認識率にも影響するだろうから
>>14
推奨スキャン設定はありますか？
jpegノイズに弱いとか、カラーは精度落ちるとか、背景を真っ白に事前処理すると精度が上がるとか
17:10
23/12/18 19:50:49.20 VFyF28wk0.net
詳細に聞いてくる人がいるとは思わなかったので話を簡単にする為にちょっと嘘ついた…ちゃんと書きます
25年前の文庫本でかなり黄ばみあり
10ページ近く上側角が折れ曲がっていたので、アルコールを吹きかけて折れ曲がりを直そうと広範囲にアルコールを吹きかけた
1ページ中5行ぐらい上から8文字50ページぐらい濡れる
乾かして折れ曲がりは直るもヨレヨレになったので5kgぐらいの重しで1週間置くほんの1部ヨレヨレが残る
だが、50ページ分インク滲みが発生
背表紙をドライヤーをかけて文庫本全て解体
この時点でOCRというものがある事を知らなかった
知ってたらグレースケールでスキャンしてたと思う
18:10
23/12/18 19:51:16.84 VFyF28wk0.net
>>17
プリンターで1枚1枚モノクロで600dpi、BMP形式でスキャン
インク滲みのページはやはりインク滲みまで写り込むので
裏に黒画用紙を乗せて再スキャンするとインク滲みの写り込みが薄くなり、モヤがかかってる程度で読めないという事は無い
全て終わりインク滲みが写らない方法を調べてるうちにOCRというのがあるのを知る…ここでグレースケールで再スキャンは面倒なのでモノクロのまま
bunkoOCRを試してレスの10~12になる
さて、インク滲みの部分の話だが
blank cutoffを200にして実行してみると、インク滲みの部分は1文字も間違えて無い
ただし、文字部分ではなく空白部分で・のゴミのように滲んでる部分は文字化けした
だが文字の部分のインク滲みによる文字化けは無い
19:10
23/12/18 20:17:18.10 VFyF28wk0.net
調べて見ると有料ソフトでも文字認識が100%ではないので
bunkoOCRは無料ソフトとしては優秀だと思う
実はGPUは積んでるが古いRADEONなのでエンコード支援は無いと思うのでCPUだけといってもいいかな
古いCPUでまわすなら文庫本数冊ならまだしも…
何十冊以上はbunkoOCRがーじゃなく
他ソフト含めてOCR化する事自体が無茶だと思うw
20:名無しさん＠お腹いっぱい。
23/12/18 20:55:50.11 x116ljWz0.net
bunkoOCRは、GPUとかNeural Engineの支援ありきでモデル作ったので、
正直CPUだと実用的な速度ではないと思うです。
もうちょい軽いモデルとかも試してみてるけど、精度を優先すると速度が…だし、
速度を優先すると精度が…になる
21:10
23/12/18 23:25:12.94 VFyF28wk0.net
作者さんかな？
支援してくれるGPU積んでないPCで作業するのが元々が無茶振りなのであまり気にせずに
CPU使用率が50%ぐらいなんで長時間回してても心配にならなくて良いかも
私事ですが
windows12が来たらPCを新調する予定なので
それまではボチボチやります
22:名無しさん＠お腹いっぱい。
23/12/18 23:52:31.95 JCsA0f5F0.net
>>17-19
状況説明ありがとう
自分は何年間も仕舞いっ放しの古い本をどうしようか考えていて将来的にはスキャンしようかと情報収集している段階です
インク滲みは経年劣化でも起こるはずなのでチョット焦ったけどOCRは大丈夫な様で安堵、また先延ばしかw
>作者さん
そんな訳でご自分のペースで気長にやって下さい
23:名無しさん＠お腹いっぱい。
23/12/19 14:09:35.64 XU+ixZr/0.net
bunkoOCRはうちの本棚から溢れてる文庫本をスキャンして整理しようと考えて作ったけど
まだ修正点が多くてうちでも実運用に入れてないw
見直さなくてもいいくらいの精度が欲しいけど、なかなか完璧とはいかないね…
最新のiPhone買うと、写真撮ってしかもOCRできる位のチップ積んでるので、実はおすすめです
24:10
23/12/19 15:42:12.11 cfgYBzJA0.net
作者さん乙です(^^)
まあ間違える文字はたいてい決まってるのでtxt開いて、該当文字検索していけばサクサク手直し出来るからそこまで苦では無いですね
さて
文庫本1冊終わったので色々と試してみたが対象のスキャンファイルが小さいサイズだと、まばらにしか文字認識しない
waifu2x-caffeで拡大してみると認識文字数が増えていくね
ファイル形式はjpg、bmp、pngというのは関係なさげ
文庫本のような縦書きじゃなく、雑誌掲載の文字で1ページに縦書きが3段になってるものを上手くtxt化出来ると良いのだが…
25:名無しさん＠お腹いっぱい。
23/12/19 17:14:36.85 XU+ixZr/0.net
段組の間を検出して、そこで行を切るようにしてるので、意図としては雑誌もいけるはず。
なんだけど、見出しがあったりすると、文のブロックの順番を見失ってバラバラになってしまうことが
まだあるので要改良ですわ。単純に段になってるやつは、いけるときもある感じ(打率5割くらい)
段の隙間のラインの感度をいじれるようにしたか忘れたのですが、これをいじると上手く切れると思う。
まあまあいけてるサンプルはこんな感じ
URLﾘﾝｸ(lithium03.info)
文字の大きさは、あんまり小さいと学習されてないのでゴミとして無視されちゃうです。
少々ぼやけてても認識頑張るはずなので、biliner法とかでもいいので拡大してみてください。
iOSのやつは拡大できるようにしたけど、windowsのやつは入れてなかったと思うので
いまは事前に処理しておいてください。
26:10
23/12/19 18:08:54.77 cfgYBzJA0.net
助言ありがとうございます
取り急ぎは出来上がった文庫本のみだったので
後は色々と試してみようと思います
27:名無しさん＠お腹いっぱい。
23/12/24 00:33:27.86 hojDQgiw0.net
おお、神が再臨めされた。
前スレではお世話になりました。
再臨記念に350ページ級の2段組ノベルズをbunkoOCRに通してみました。
PCスペック：
Dell OptiPlex 3070
CPU:Core i7-9700
RAM:DDR-4 24GB
GPU:なし
OS:MX-Linux21.3_x64
json以外のファイルを作らない設定にして、Wine6.22で実行
ネタ:昔G4圧縮規格のtiff-300dpiでスキャンした画像P.9〜P.362。
前回同じネタでやったときは、行頭の鉤括弧が消えてしまうところが結構あったので、今回はScanTailorを通して傾き等を修正して600dpiで保存し直したものを使用した。
GPUなしだと時間がかかるだけでなく熱暴走が心配だが、神がCPU冷却のための遅延設定を設けてくれたので、一枚読み終わったら60秒待ちを入れるように設定した。
寝る前に仕掛けて朝になったらできていれば御の字だと思ったが、23:07からスタートして完了したのは翌日の12:31であった。
しかし解像度を改善したのが奏功したのか、今回は鉤括弧を落とした箇所はなく、章立てのページで上下入れ替わりとか文字の大きな見出しが本文に埋没していたりしたが、裏を返せばそこだけ注意すればよいし、何よ認識率が恐ろしく高い。
章立てページを除くとほぼ一発正解級の認識率だった。
前スレ最初の方に書いたが、OCRは元原稿次第で認識率が大きく変わるので、tiffでスキャンしてScanTailorで傾きやノイズを除去して解像度を上げてやるとtesseract-ocrですら結果は向上する。
嗚呼中古のゲーミングPCがほしいなあ。
28:名無しさん＠お腹いっぱい。
23/12/24 21:13:10.53 VeFf0bpV0.net
>>27
べた褒めが過ぎると嘘っぽく聞こえるので確認したい
>>13,14で言われている
> ソをンと間違える確率7割~8割
> 1文字スペース部分が、空白改行2行に
> 「噛」や「頬」のように細かいと文字化け
> ゴミの・なども文字化け
これらは発生しているのでは？
29:名無しさん＠お腹いっぱい。
23/12/24 23:47:43.40 LVch7xcF0.net
いま直してるので、ちょっとまちなー
いろいろバグってたところ直して、モデルを再学習させたら、いい感じになってきた
30:名無しさん＠お腹いっぱい。
23/12/25 01:03:42.23 5F0dxNqp0.net
>>28
> ソをンと間違える確率7割~8割
検索文字列[ンソ]で全ファイルをgrepしてみたが、877件ヒットしてノーミスだった。
『ジャクソン』とか格好の登場人物もいたが、『ジャクンソ』はノーヒット。
> 1文字スペース部分が、空白改行2行に
これはどうだろ？ 行頭スペース欠落が1件見つかったが以後まだ精査していないので明後日まで待ってくれ。
> 「噛」や「頬」のように細かいと文字化け
大ぴんぽん。確かにこの2つの文字は化けていた。
> ゴミの・なども文字化け
Scan Tailorを通して原稿をキレイにしたから（ゴミ取り機能）か、なかったような。
繰り返すが、OCRは元原稿の画像をどこまでキレイにできるかで結果が変わるから。
ただ全角のアルファベットは半角にされるねえ、やっぱり。
まあsed的なツールで一括置換だけど。
31:名無しさん＠お腹いっぱい。
23/12/25 13:20:08.79 l2zyxriZ0.net
【文字認識】OCRソフト【 自炊 】 [無断転載禁止]©2ch.net
ｽﾚﾘﾝｸ(software板:866番)
866 名前：名無しさん＠お腹いっぱい。[] 投稿日：2023/10/19(木) 07:36:34.92 ID:zGVZ5rc10
>>0860
私もEPUBから青空文庫形式への変換を試みています
がEPUBの仕様の自由度が高くて難航しています。
出来れば公開してほしいです
お願いいたします。
URLﾘﾝｸ(twitter.com)
佐藤和彦 / えあ草紙工房
@satokazzz
えあ草紙＋のページに、EPUBファイルから青空文庫形式のZIPファイルに変換するツールを用意しました。かなり手抜きな画面ですがｗ
(deleted an unsolicited ad)
32:名無しさん＠お腹いっぱい。
23/12/25 17:50:16.98 E9HRTZWr0.net
>>30
確認ありがとう
>> ソをンと間違える確率7割~8割
> 877件ヒットしてノーミスだった。
これは凄い、10氏のフローと比べるとScanTailorの傾き補正が有効なのかな
Scan Tailorにはゴミ取り機能もある事すら知らなかった
いろいろと良い情報ありがとう
33:10
23/12/26 08:46:53.35 LWI3K24a0.net
あれ？居ない間に色々とあったんですね
今まで自炊した事もなくOCR化など全く知らなかった素人レベルなのでご勘弁を
昨日試した事を書いときますね
作者さんが
＞最新のiPhone買うと、写真撮ってしかもOCRできる位のチップ積んでるので、実はおすすめです
と書いてくれてたので文庫本を解体スキャンではなく
文庫本のまま文面をAndroidで撮影してwindowsでやってみた(iPhone持って無いので…)
本とスマホを片手持ちで撮影、画像の中央にピントが合ってるけど上下は少しブレ気味3000x4000の大きさで撮影
bunkoOCRで読み込ませてみたら…作業終了後に右側にはERROR表示…やっぱり雑に撮影するとダメか(笑)
bunkoOCR側の設定で補正をかけると時間がえらくかかるので…
画像をPhotoscapeにて、白黒変換、明るさ補正、シャープ補正して、文字をくっきりさせてサイズを半分にリサイズ
そこからbunkoOCRに放り込むと、今度は成功した
多少の文字化けはあり、あー書かれてるアルファベット全角が半角にされますね数字も
何百ページも画像補正はやってられないからきちんと本とスマホを固定してピントを合わせれば画像補正しなくてもいけるのかな…
文庫本を解体しないでOCR化出来ることが分かったのは収穫だった
10の文庫本の時は解体した後でOCRという技術があることを知ったので…
少しずつ改善して行こうとする作者さんも大変だけど
今より使いやすく出来る事を期待してますね
34:10
23/12/26 09:02:22.71 LWI3K24a0.net
あー良く読むとScan Tailorというソフトもあるのか…
今度はそれを使って見ようと思う
素人レベルで申し訳ない
35:名無しさん＠お腹いっぱい。
23/12/26 10:14:14.41 riiZYutR0.net
ピントが合っていないと、かなり厳しいのでスマホ撮影の時はなんかのスタンドで
上空に固定してあげるとやりやすいですね。
うちではこんな感じで、照明にスマホホルダー付けて、アームで固定してます。
URLﾘﾝｸ(youtu.be)
アルファベットと数字が必ず半角になってたのは、学習ソースが偏ってたからなので
次のバージョンでは多分おおむね期待通りになりそう。
所々補正ミスがあるけど。完璧はむつかしい
36:10
23/12/26 10:33:00.08 LWI3K24a0.net
>>35
おーなるほどですね
自宅にあるもので固定出来るものを探します
わざわざ動画ありがとうございます!(´▽｀)
37:29
23/12/27 01:11:39.27 ZgyK1lpa0.net
会話終了の綴じ括弧の次の行は段落替えになるので行頭には全角空白が入るのだが、残念ながらOCRが見落とすことがあって（識別のために■を使用）、
OK-------------------
「用件を聞こう……」\n
■そう言って男はゆっくりと
-----------------------
↑こうなってほしいのだが、ときおり↓のようになってしまうことがある。
NG-------------------
「用件を聞こう……」\n
そう言って男はゆっくりと
-----------------------
」\n([^■「（]) という正規表現検索であぶり出すと、エラー箇所は16件ヒットしたが、残りの2920件は正しく全角空白として認識した。
同様に、前の行で文章が終わっていれば当然次の行は新しい段落からになるのでやはり行頭に全角空白が入るのだが、これも
OK-------------------
ていた。\n
■やがて二人はゆっくりと
-----------------------
↑こうなってほしいのだが、ときおり↓のようになってしまうことがある。
NG-------------------
ていた。\n
やがて二人はゆっくりと
-----------------------
。\n[^■（「\n] という 正規表現検索であぶりだすと12件ヒットしたが、残りの1105件は正しくヒットした。
かつては行頭の全角空白を全く認識しないTesseract-ocrでさんざん鍛えられてきたから、数十件程度ものの数ではない。
英数文字が半角になってしまうのは、そういうものだと分かっていればsed的なパターンマッチによる一括置換で補えるから、修正しやすい間違え方であれば気にすることではないとすら思っている。
文字化けしてたのは、以下の三文字くらいで、それより連続する全角ダッシュ2文字を正確に認識したのはマジでスゴイと讃えたい。
嚙（←噛の機種依存文字）
頬
ッ（←小書きのツ）
38:名無しさん＠お腹いっぱい。
23/12/27 07:18:24.72 p3y9TF990.net
そこの空白の認識がめっちゃ難易度高いっす。
カギ括弧がちょっとだけ頭下がったように見えるために隣との差が少なくなり、OCR的にはむずいらしい
あと、連続して行頭が下がり続けると、見失うことがあったんだがこれは今修正してるので
次のバージョンではもうちょっと精度上がる予定
39:36
23/12/27 19:44:34.39 ZgyK1lpa0.net
おかしいな、もう一種文字化けが見つかりました。
剝（←剥の機種依存文字）
[^一-龠ァ-ヶぁ-んー\dA-Za-z「」（）、。・…！？] という『漢字/カタカナ/ひらがな/音引き/数字/大文字小文字のアルファベッド/鉤括弧/丸括弧/句読点/ナカグロ/3点リーダ/エスクラメーション/クエスチョン 以外の文字を探す』正規表現を使って、それ以外の文字があればヒットします。
>>38
やあ、これは神。
そりゃ行頭全角空白はOSSのtesseract-ocrですら今だに実装されてないんですから、このくらい認識していただければ、十分すぎるくらいですよ。
40:名無しさん＠お腹いっぱい。
23/12/27 23:17:17.01 p3y9TF990.net
剥げると剝げるとかは、学習ソースに表記ぶれがあって字形がめっちゃ似てるので、
文脈補正でどっちかに引き寄せられやすいんですよ
くっきり読めると正しい方に引っ張られると思うけど、ぼやけてると学習した文脈に引っ張られるようになってる。
学習の時に、ランダムに字形を当てるモードと、文脈で当てるモードの比率によって
性能変わるみたいなので、要研究ですね
41:名無しさん＠お腹いっぱい。
23/12/28 03:33:08.78 Pnpb6RSQ0.net
いくつかの漢字はシフトJISとかUNICODEとかの文字コードのなんちゃらで問題あるらしい
42:名無しさん＠お腹いっぱい。
23/12/28 03:36:14.10 Pnpb6RSQ0.net
bunkoOCRはutf-8で出力するけどそれをシフトjisしか扱えないソフトで読んだりすると問題が起きる
43:名無しさん＠お腹いっぱい。
23/12/28 03:36:52.54 Pnpb6RSQ0.net
らしい
44:名無しさん＠お腹いっぱい。
23/12/28 06:19:58.31 M9f0BauU0.net
○
く|)へ
〉 ヽ○ノShift JIS
￣￣７ ヘ/
／ ノ
｜
`／
｜
｜
/
45:36
23/12/28 23:33:04.82 6YvtwrXY0.net
>>42
え、そうなの？
でもウチLinuxだから、さすがにEUCってこたないだろうけどシフトJISにしがらみとかこだわりなんてないはずなんだけど……とあらためて元のjsonファイルを見てみたら、確かに化けてなくてちゃんと認識していた。
bluefishってHTMLエディタで開いたときは文字化けしてたんだが……と思って再度開くと化けてないで正しく認識している。
頬
噛
剝
bluefishで指定した表示フォントセットを途中で変えたせいかと思ったが、今は化けてない。行間を広げたくてMigmixに指定する前はなんだったかな？
何かどれも化けないな。
文字化けの件はどうも冤罪だったかもしれないですね。
どーもすいません。
46:名無しさん＠お腹いっぱい。
23/12/28 23:58:58.31 Pnpb6RSQ0.net
「??」「?」「?」「?」
「叱」「填」「剥」「頬」
ネットで調べたらこれらが問題みたいね
私はちょっと古いソフトを使うときは
bunkoOCRは上の文字で出力するから
真っ先に下の文字に置換してからシフトjisで上書き保存してつかってる
嘘と?あたりもなんか怪しい
47:名無しさん＠お腹いっぱい。
23/12/29 00:02:44.49 qqgpseoO0.net
あれれ……
48:36
24/01/04 00:56:05.91 DDtH7e7e0.net
……今またjsonファイルを再調査したら、例の文字が
また化けてる。
冤罪ではなかったというのか？
でもこの前開いたときは確かに化けてなかったのにな。
もう分からなくなってきた。
49:36
24/01/05 03:21:06.77 a4cHXUaH0.net
気を取り直してOCRから得られたテキストファイルを校正してみたが、やはり恐ろしいほどの認識率。
3点リーダーの数がちょっと多かったり、1行目の行頭空白を落としてたりへべぺ（かな）とヘベペ（カナ）が一部入れ替わったりしたくらいの恐ろしくシンプルな校正で済んでしまい、以前に完品として作ったファイルとDiffツールで比較したら、逆に完品のはずのファイルにミスが見つかってしまった。
あらためて作ってくださった神に感謝。
マジでゲーミングPC調達したいな。
50:名無しさん＠お腹いっぱい。
24/01/05 11:02:48.96 vt4ZwsJe0.net
三点リーダの数が化けるのは、正直どうしょうもないと諦め中。
長くなると、認識の位相がずれていっぱいになっちゃう
いま最終調整してるので、Newバージョンの認識エンジンでもうすぐリリースできそう。
行頭の空白の認識が向上したのと、ふりがなのグループルビがもう少し向上したはず。
段組の順番が乱れるのも多分直った気がするのと、ページ番号と柱を無視できるようにしてみた
51:名無しさん＠お腹いっぱい。
24/01/05 12:22:46.92 Rk0TKNDl0.net
Shift JISしか扱えないソフトって現代ではバグの類
52:36
24/01/06 00:47:34.42 TBakV8IN0.net
三点リーダーが過剰なのは、そういうものだと分かっていれば正規表現で瞬殺ですし。
Tesseract-ocrをずっと使ってきて、Ver.4辺りから無言のセリフ＝「…………」みたいなのをなぜか行ごと欠落するようになったので、ページごとに行数をサーチして行数の少ないページに当たりをつけて補完してた頃に比べれば、何のなんの。
それよか過去にOCRして校正済みの完品なはずのテキストデータ（前回とは別物）と、昨夜から半日かけてbunkoOCRで得られた新しいテキストを再比較してみましたが、ほぼ半日の校正で完品を凌ぐ出来でした。
とくに拡大しなきゃ違いが分からなかった、
搔
と
掻
を識別できてるのがスゴイ。勿論正解の方を引いている！
こりゃあ次期バージョンが楽しみですな。