08/12/22 07:23:22 FJef2MpF0
>>248
文節考慮に入れてtokenizeすると「休暇|届が|出て|いません」になるからでしょ。
だから1 tokenの「休暇届」にはマッチしなくて「休暇 届」ならマッチする。
ちなみに「休暇願が出ていません」だと「休暇願」でもマッチするw
現状のtokenizerは凝り過ぎだと思う。Input Method向けのそのまま使ってるから、
この場合みたいに辞書内容や文脈に影響されて動作が予測できない。もっと単純化した
tokenizer使った方が速いし、期待に反する結果が出ても理由も解り易い。
>>259
filename:みかん