Apache Sparkことはじめ
はじめに
触るのは後にしても、とりあえず環境構築だけはしておこう、と思って作業開始。
OSはUbuntu14.4.3。
Apache Sparkのインストール
まず、公式サイトからバイナリをダウンロード。
適当な場所に解凍。
tar -zxvf [DLしたファイル]
さて、この中のbinにあるspark-shellを起動すればひとまずは動作確認完了だが、
毎度ディレクトリを辿っていくのも面倒なので、/usr/local/binに置いて、
実行ファイルにシンボリックリンクを貼ることにする。
ln -s /usr/local/bin/spark-hogehoge/bin/spark-shell spark ./spark
実行中にエラー。
「そのようなファイルやディレクトリはありません」
bin/spark-shellの中で、実行時のパスを参照して依存する実行ファイルを探しにいってる模様。
書き換えるのも面倒なので、シンボリックリンクを用いた実行は諦めました。