ただひたすらデータが詰め込まれた大きなCSVファイル。
よくありますよね。
めちゃくちゃ重くていつまでたってもファイルが開けない…
しばらく待つしかないか…コーヒーでも入れて…と、席に戻ったら「応答なし…」という最悪のオチ。
これ何回も起こると発狂しそうになりますが、そんな時に使える小技が以下…
大きいデータは分割しよう！
ということで、大きいCSVファイルを一生懸命開こうとするよりも、その中身を予め開きやすいように分割しちゃえばいいじゃん！てな感じで簡単なコマンドをちゃちゃっと書くだけで出来るのでやってみましょう。
まずは…
対象のファイルを1000行毎に分割する
splitコマンドを活用して、対象のファイルの中身を1000行毎に分割しちゃいます。
split -l 1000 dekai.csv Desktop/komakaku-
分割したファイルに拡張子「.csv」をつける
for文でループ処理させて、mvコマンドでファイル名の後ろに「.csv」を1ファイルずつ小分けに分割したファイルにつける
cd Desktop/ for filename in komakaku-*; do mv $filename $filename.csv; done
以上の簡単なコマンドを入力するだけで、大きいcsvファイルを細かく分割し、データを見ることが出来るようになります。
大きなファイルを開けずにそのままデータも見ることを諦めていた方々、是非是非この分割方法を試してみてください！