03/07/23 22:40
>>786 & >>787
レスありがとうございます。
もしかして私の「字句解析」っていう言葉への認識って間違ってるのかなと思っちゃったのですが、
字句解析って「字面からわかる範囲で」文字列をトークンに切り出していく作業だと思っていたのですが
前後のトークンの状態などまで見るべきものなのでしょうか？
つまり単項か２項かというのは前後のトークンがわからなければ決定できないと思うのですが
そういう所まで見るのが普通なのでしょうか？
(前のトークンはともかく、後のトークンまで判別に使うとするとかなり難しい事になりますよね)
一般論という感じでいいのですが、ご教授ください。
よろしくお願いします。