19/01/22 02:53:38.24 t1xtxA/a.net
>>879
後方にある重複業削除なら awk で連想配列(要するにハッシュ)使ってこんな風にすればできるな。
awk '{if(!n[$0]){n[$0]=1;print}}' fileA fileB
ただし全行をメモリ上に置くことになるのでファイルがでかいとまともに動かない環境があるかも。
超大きいファイルの場合は行ごとに MD5 や SHA1 等のハッシュ値計算してそれだけ保管しておいて比較した方が良いかもね。
19/01/22 02:53:38.24 t1xtxA/a.net
>>879
後方にある重複業削除なら awk で連想配列(要するにハッシュ)使ってこんな風にすればできるな。
awk '{if(!n[$0]){n[$0]=1;print}}' fileA fileB
ただし全行をメモリ上に置くことになるのでファイルがでかいとまともに動かない環境があるかも。
超大きいファイルの場合は行ごとに MD5 や SHA1 等のハッシュ値計算してそれだけ保管しておいて比較した方が良いかもね。