Apache Hadoop - Download

良いもの

初期設定を終えると、実際に魔法のように機能しました。データを 3 つのローカル VM に分割しました (はい、クラウドスケールではないことはわかっていますが、私が持っていたのはそれだけでした)。Hadoop はその分散を何事もなかったかのように処理しました。タスクを細分化し、ノード間で調整する方法は?スムーズ。 5 GB のログ ファイルに対して簡単な単語カウントを 5 分以内に実行しました。私の古いスクリプトでは 1 時間以上かかりました。ストレージ コンポーネント (HDFS) が物事を整理し、処理エンジン (MapReduce) が一度も文句を言うことはありませんでした。正直に言うと、マシン間の通信がどのように自動的に管理されているかを見ると、巨大テクノロジーのカーテンの後ろを覗いているような気分になりました。

あまり良くないこと

しかし、すごい、学習曲線は現実のものです。特に Windows ユーザー向けのドキュメントは少ないです。インストーラー ウィザードやガイド付きセットアップはありません。構成ファイルを渡されて「頑張ってください」と言われるだけです。私は 2 日間、環境変数とポートの競合と格闘しました。失敗のデバッグを始めさせないでください。ログは、以前に見たことがない限り、不可解です。また、インタラクティブな使用向けに構築されていません。 Jupyter ノートブックのようなものをそのまま期待しているとがっかりするでしょう。これは、カジュアルなデータ処理のためのツールではありません。分散システムを低レベルで理解したい人のためのものです。

結論

大規模なデータセットの操作に真剣に取り組んでおり、実際のビッグ データ インフラストラクチャがどのように機能するかを知りたい場合は、「Apache Hadoop - Download for Windows」を試してみる価値があります。無料で、実績があり、拡張性があります。ただし、CSV をクリーンアップしたり、簡単なピボット テーブルを実行したりするだけの場合は、スキップしてください。もっとシンプルなものの方が良いでしょう。これは、腕まくりしてゼロから構築することを好む開発者向けです。