2016.06.12 2022.07.20

CSVファイルを指定した行数で小さく分割する超便利コマンド！

ken10

重すぎて開かないCSVファイルへの対応

ただひたすらデータが詰め込まれた大きなCSVファイル。（※○○○MBや○○GBのCSVファイル）

よくありますよね。

めちゃくちゃ重くていつまでたってもファイルが開けない…

しばらく待つしかないか…コーヒーでも入れて…と、席に戻ったら「応答なし…」という最悪のオチ。

これ何回も起こると発狂しそうになりますが、そんな時に使える小技が以下…

ということで、大きいCSVファイルを一生懸命開こうとするよりも、その中身を予め開きやすいように分割しちゃえばいいじゃん！てな感じで簡単なコマンドをちゃちゃっと書くだけで出来るのでやってみましょう。

まずは…

splitコマンドを活用して、対象のファイルの中身を10,000行毎に分割しちゃいます。

split -l 10000 dekai.csv komakaku-

分割することで当然ですが、1ファイルあたりのファイルの重さは軽くなります。

このままだと、拡張子のない状態になってしまうので、for文とmvコマンドで生成されたファイルの後ろに拡張子「.csv」をつけて、小分けに分割したファイルに拡張子をつけます。

for filename in komakaku-*; do mv $filename $filename.csv; done

CSV化したファイルをExcelで開くと重かったCSVファイルが簡単に開くことができるようになります！！当然といえば当然ですが、今まで苦労して開いていたファイルが簡単に開けるようになるので効率が上がること間違いなし！

以上の簡単なコマンドを入力するだけで、大きいcsvファイルを細かく分割し、簡単にデータを見ることが出来るようになります。

大きなファイルを開けずにそのままデータも見ることを諦めていた方々、開けたは良いけど、作業中に無駄な待ち時間が発生してしまっていた方。ぜひぜひ、この分割方法を試してみてください！

近年エンジニアの存在が以前に増して重要視されるようになり、IT土方と呼ばれていたエンジニアが低評価な時代ではなくなってきましたが、なかにはまだまだ正しく評価を受けることができていないエンジニアもいます。

そんなエンジニアの方はフリーランスエンジニアという新しい選択肢を検討してみてはいかがでしょうか。

また、今はエンジニアではないけどエンジニアになりたい！という方は「プログラミングスクール」で学んでから転職を検討してみてはいかがでしょうか。

created by Rinker

¥3,520 (2024/12/08 01:07:40時点楽天市場調べ-詳細)

ABOUT ME