Sparkを使用するにあたっての注意事項を説明します。
Hive Metastoreのログについて
マスタ(セカンダリ)に出力されるHive Metastoreのログは、デフォルトの設定では1日毎に新しいログが作成され、無限に増えていきます。
必要に応じて定期的に削除するように運用してください。
Sparkのインストールディレクトリ配下のworkディレクトリについて
スレーブサーバのSparkインストールディレクトリ配下にあるworkディレクトリには、タスクを実行する度に標準出力、標準エラー出力、アプリケーションのjarファイルが格納されます。
必要に応じて定期的に削除するよう運用してください。