08/10/07 23:24:08 ghGjtcy0
いまさらながら確認しましたが、
学習データのスコアリングパッチ、
かなりの行数の労作ですね。
URLﾘﾝｸ(www.fenix.ne.jp)
> なんにせよ、学習データが 5MBくらいあると、再読み込みが遅くていけない。
> 1MB くらいが普通で、2MB くらいが一般的な我慢の限度かもしれない。
> 2008年9月中旬現在の patch4 だと、 上限 8～10MB くらいに設定してあるので要注意。
常用するならここを一桁減らして
+#define DEFAULT_FILE2_LIMIT 204800 /**< last-record2_* の最大サイズ。これを越えたら last-record1_* へフラッシュする。 */
+#define DEFAULT_FILE1_LIMIT 8388608 /**< last-record1_* の最大サイズ。これを越えたら下記のエントリ数制限での削除を試みる。 */
これぐらいにしておけばいいかもしれませんね。
+#define DEFAULT_FILE2_LIMIT 20480 /**< last-record2_* の最大サイズ。これを越えたら last-record1_* へフラッシュする。 */
+#define DEFAULT_FILE1_LIMIT 838860 /**< last-record1_* の最大サイズ。これを越えたら下記のエントリ数制限での削除を試みる。 */
コーパスはもちろん別途でカット。
この辺りも一桁減らした方がいいのでしょうか。
+#define MAX_ENTRY 40960 /**< 把握できる最大エントリ数 */
+#define MAX_CAND_HISTORY_ENTRY (13718 *2) /**< CAND_HISTORY の最大エントリ数 */
+#define MAX_OCHAIRE_ENTRY (37361 *2) /**< OCHAIRE の最大エントリ数 */
+#define MAX_PREDICTION_ENTRY (18618 *2) /**< PREDICTION の最大エントリ数 */