仕事で膨大なサイズのテキストの加工と重複チェックをする必要があったため、久し振りにCygwinを使った。
以前使った時はUTF-8対応がイマイチだったけど、今日使った限りでは、現行バージョンはかなりいい感じに思えました。
今回の一番の目的はuniqコマンド。
なお、uniqコマンドは連続した行しか重複チェックされないので、sortコマンドと組み合わせるのがポイント。
ちなみに、インストール済みのCygwinのバージョンの確認方法はここを参考にしました。
以前使った時はUTF-8対応がイマイチだったけど、今日使った限りでは、現行バージョンはかなりいい感じに思えました。
今回の一番の目的はuniqコマンド。
なお、uniqコマンドは連続した行しか重複チェックされないので、sortコマンドと組み合わせるのがポイント。
ちなみに、インストール済みのCygwinのバージョンの確認方法はここを参考にしました。
![無料アクセス解析CGI [ FreeP Analyzer ]](/cgi-bin/.freep_analyzer/freep_analyzer.png){kind=small}