03/07/23 22:55
>>788
> 字句解析って「字面からわかる範囲で」文字列をトークンに切り出していく作業だと思っていたのですが
それであってる。
> 前後のトークンの状態などまで見るべきものなのでしょうか？
そうする処理系もある。
ただそれは、純粋に字句解析だけでなく、一部構文解析も含んだ処理ということになる。
> つまり単項か２項かというのは前後のトークンがわからなければ決定できないと思うのですが
> そういう所まで見るのが普通なのでしょうか？
これも処理系によりけりで、>>785のどれになるかはいろいろ。
字句解析と構文解析の境界は、厳密に分かれているとは限らない。
今みたいに曖昧な場合や、いっそ「字句+構文解析」をしてしまうこともある。
逆に、あらかじめ曖昧さが生じないように言語を設計する場合もある。
・・・あんまり役に立ってないな、俺。
まぁ、生きた例を知りたいなら、解析器や言語処理系のソースを読むのが一番。