MS Excel は 1,048,576 行を表示できます。通常の使用ではこれは非常に大きな数に見えるかもしれませんが、それだけでは十分ではないシナリオはたくさんあります。
ログ ファイルを見ている場合でも、大規模なデータ セットを見ている場合でも、数百万行の CSV ファイルや巨大なテキスト ファイルに遭遇するのは簡単です。 エクセル はこれほど大きなファイルをサポートできないため、ファイルを開くにはどうすればよいでしょうか?調べてみましょう。
通常のテキスト エディタでは非常に大きなファイルを開けないのはなぜですか?
コンピュータには何ギガバイトものストレージがあるのに、なぜテキスト エディタでは大きなファイルを開けないのでしょうか?
ここには 2 つの要因が関係しています。一部のアプリケーションには、表示できるデータ量にハードコーディングされた制限があります。 PC にどれだけのメモリが搭載されていても、それは使用されないだけです。
2 番目の問題は RAM です。多くのテキスト エディタには行数に厳密な制限はありませんが、メモリ制限により大きなファイルを表示できません。ファイル全体がシステム RAM にロードされるため、このメモリが十分に大きくないとプロセスは失敗します。
方法 1: 無料のエディタを使用する
非常に大きなテキスト ファイルを表示する最良の方法は、テキスト エディタを使用することです。単なるテキスト エディターではなく、コードを記述するためのツールです。このようなアプリは通常、大きなファイルを問題なく処理でき、無料です。
大きなテキスト ファイル ビューア は、おそらくこれらのアプリケーションの中で最も単純です。非常に使いやすく、高速に動作し、リソースの使用量が非常に少なくなります。唯一の欠点は?ファイルを編集することはできません。ただし、大きな CSV ファイルを表示するだけの場合は、間違いなくこれが最適なツールです。
大きなテキスト ファイルを編集する場合も、Emacs を試してください。元々は Unix システム用に作成されましたが、Windows でも完全に動作し、大きなファイルを処理できます。同様に、ネオビム と 崇高なテキスト は、ギガバイト サイズの CSV テキスト ファイルを開くために使用できる 2 つの軽量 IDE です。
大規模なログ ファイルからデータを検索することだけを求めている場合は、クロッグ が最適なツールです。人気のある グロッグ のアップデート フォークであるこのアプリケーションを使用すると、膨大なテキスト ファイルに対して複雑な検索操作を簡単に実行できます。コンピュータで生成されたログ ファイルには数百万行が含まれることが多いため、klogg はそのようなファイル サイズでも問題なく動作するように設計されています。.
方法 2: 複数の部分に分割する
大きな CSV ファイルを開こうとする場合の全体的な問題は、ファイルが大きすぎることです。しかし、これらを複数の小さなファイルに分割したらどうなるでしょうか?
これは一般に、新しいテキスト エディタのインターフェイスを学習する必要がないため、一般的なソリューションです。代わりに、オンラインで入手できる多数の CSV スプリッターの 1 つ を使用して、大きなファイルを複数の開きやすいファイルに分割できます。これらの各ファイルには通常どおりアクセスできるようになります。
ただし、これは最善の方法ではありません。大きなファイルを分割すると、奇妙なタイプミスが発生したり、ファイルが不適切に構成されたりする可能性があります。さらに、各チャンクを個別に開くと、データ全体を一度にフィルタリングできなくなります。
方法 3: データベースにインポートする
数ギガバイトに及ぶテキスト ファイルと .csv ファイルは、通常、大きなデータセットになります。では、それらをデータベースにインポートするだけではどうでしょうか?
SQL は、最近使用されている最も一般的なデータベース マークアップ言語です。 多くのバージョンの SQL が使用されていますが、最も簡単なのはおそらく MySQL でしょう。運が良ければ、CSV ファイルを MySQL テーブルに変換する になる可能性もあります。
これは、大きな CSV ファイルを処理する最も簡単な方法ではないため、大規模なデータセットを定期的に処理する場合にのみこれをお勧めします。 MySQL が難しすぎると思われる場合は、代わりに .csv ファイルを MSアクセス にいつでもインポートできます。
方法 #4: Python ライブラリを使用して分析する
数百万行のデータを含む .csv ファイルを操作する場合、手動でファイルを理解することは明らかに不可能です。おそらく、データをフィルタリングし、特定のクエリを実行して傾向を理解する必要があるでしょう。
それでは、Pythonコードを書く がそれを実行してみませんか?
繰り返しになりますが、これは最もユーザーフレンドリーな方法ではありません。 Python は学ぶのが最も難しいプログラミング言語ではない の間はコーディングなので、最適なアプローチではない可能性があります。それでも、非常に大きな CSV ファイルを毎日解析する必要がある場合は、Python コードを使用してタスクを自動化する にすることをお勧めします。
方法 #5: プレミアム ツールを使用する
最初の方法で見たテキスト エディタは、CSV 処理専用のツールではありませんでした。これらは、大きな .csv ファイルの操作にも使用できる汎用ツールでした。
しかし、特殊なアプリケーションについてはどうでしょうか?この問題を解決するために作成されたアプリは存在しないのでしょうか?.
実際にはあります。たとえば、CSVエクスプローラー は、最後の 2 つの方法 (SQL データベースと Python コード) で説明したプロセスそのものに基づいて構築されており、任意のサイズの CSV ファイルを表示および編集できるアプリを作成します。グラフの作成や CSV エクスプローラーでのデータのフィルター処理など、スプレッドシート ツールに期待されることはすべて実行できます。
もう 1 つのオプションは ウルトラエディット です。以前のツールとは異なり、これは .csv ファイルだけでなく、あらゆる種類のテキスト ファイルを対象としています。前述した多くの無料エディターと同様のインターフェイスを備えており、数ギガバイトまでのテキスト ファイルや CSV ファイルを簡単に処理できます。
これらのツールの唯一の欠点は、プレミアム アプリケーションであるため、使用するには有料ライセンスを取得する必要があることです。機能を確認するために、または 1 回だけ使用する場合には、いつでも無料試用版を試してみることができます。
大きなテキスト ファイルや CSV ファイルを開く最良の方法は何ですか?
このビッグ データの時代では、ギガバイトに達するテキスト ファイルに遭遇することは珍しくありません。メモ帳や MS Excel などの組み込みツールで表示することさえ難しい場合があります。このような大きな CSV ファイルを開くには、サードパーティのアプリケーションをダウンロードして使用する必要があります。
そのようなファイルを表示するだけであれば、ラージ テキスト ファイル ビューアが最適です。実際に編集するには、Emacs などの機能が豊富なテキスト エディタを試すか、CSV Explorer などのプレミアム ツールを使用することができます。
CSV ファイルの分割やデータベースへのインポートなどの手法には、非常に多くの手順が必要です。巨大なテキスト ファイルを頻繁に扱う場合は、専用のプレミアム ツールの有料ライセンスを取得することをお勧めします。
.