CSVファイルを指定した行数で小さく分割する超便利コマンド!

CSVファイルを指定した行数で小さく分割する超便利コマンド!

重すぎて開かないCSVファイルへの対応

ただひたすらデータが詰め込まれた大きなCSVファイル。(※○○○MBや○○GBのCSVファイル)

よくありますよね。

 

めちゃくちゃ重くていつまでたってもファイルが開けない…

しばらく待つしかないか…コーヒーでも入れて…と、席に戻ったら「応答なし…」という最悪のオチ。

これ何回も起こると発狂しそうになりますが、そんな時に使える小技が以下…

 

大きいデータは分割しよう!

ということで、大きいCSVファイルを一生懸命開こうとするよりも、その中身を予め開きやすいように分割しちゃえばいいじゃん!てな感じで簡単なコマンドをちゃちゃっと書くだけで出来るのでやってみましょう。

まずは…

 

対象のファイルを10,000行毎に分割する

splitコマンドを活用して、対象のファイルの中身を10,000行毎に分割しちゃいます。

split -l 10000 dekai.csv komakaku-

分割することで当然ですが、1ファイルあたりのファイルの重さは軽くなります。

 分割したファイルに拡張子「.csv」をつける

このままだと、拡張子のない状態になってしまうので、for文とmvコマンドで生成されたファイルの後ろに拡張子「.csv」をつけて、小分けに分割したファイルに拡張子をつけます。

for filename in komakaku-*; do mv $filename $filename.csv; done

CSV化したファイルをExcelで開くと重かったCSVファイルが簡単に開くことができるようになります!!当然といえば当然ですが、今まで苦労して開いていたファイルが簡単に開けるようになるので効率が上がること間違いなし!

以上の簡単なコマンドを入力するだけで、大きいcsvファイルを細かく分割し、簡単にデータを見ることが出来るようになります。

大きなファイルを開けずにそのままデータも見ることを諦めていた方々、開けたは良いけど、作業中に無駄な待ち時間が発生してしまっていた方。ぜひぜひ、この分割方法を試してみてください!

 

給料が不満!会社に正しく評価されていないというエンジニアへ…

近年エンジニアの存在が以前に増して重要視されるようになり、IT土方と呼ばれていたエンジニアが低評価な時代ではなくなってきましたが、なかにはまだまだ正しく評価を受けることができていないエンジニアもいます。

そんなエンジニアの方は転職エージェントと一度お話をしてみてはいかがでしょうか。

ITエンジニア専門の転職エージェント【TechClips】

はじめてのOSコードリーディング UNIX V6で学ぶカーネルのしくみ (Software Design plusシリーズ) [ 青柳隆宏 ]

created by Rinker

Linuxカテゴリの最新記事