自然言語処理スレッド その３at TECH自然言語処理スレッド その３ - 暇つぶし2ch■コピペモード□スレを通常表示□オプションモード□このｽﾚｯﾄﾞのURL■項目テキスト56:デフォルトの名無しさん 09/09/12 21:47:51 短時間、辞書無し、何言語でも、特徴語を抜き出したいです。 HMMは、確率的に最も有り得る単語分割を決定するって事でしょうか。 これを行ってからだと相当時間食いそうなのが難点です。 57:デフォルトの名無しさん 09/09/12 23:06:47 それは無理。 辞書ありの形態素解析器ですら、使ってるんですから。 確率使わずに、最適な分割例を決めるとか、無理でしょｗ 58:デフォルトの名無しさん 09/09/12 23:11:23 確率は使うのは良いんですが、膨大な時間を使うのを回避したいです。 59:デフォルトの名無しさん 09/09/12 23:15:43 特徴語を決定するのに、全ての単語の単語分割が必要なのかどうかも疑問です。 60:デフォルトの名無しさん 09/09/13 03:53:43 まずビタピ(ビーム)サーチやってみます。 ABCDはそれぞれ1語(16bit)としたとき 分割方法は8とおりありますが、Aが1000回出現してABは5回出現ならABが繋がる確率は1/200でしょうか? 一方でBが10回しか出現しないとすれば1/2になりますが、これは少ない方(確率の高い方)を採用すれば性格でしょうか? ABCD ABC-D AB-CD AB-C-D A-BCD A-BC-D A-B-CD A-B-C-D 次ページ最新レス表示レスジャンプ類似スレ一覧スレッドの検索話題のニュースおまかせリストオプションしおりを挟むスレッドに書込スレッドの一覧暇つぶし2ch