ことりのえさば

ひよっこエンジニアがつらつらと書き綴るブログです。記事の内容に責任は負えませんのでご容赦ください。

Apache Sparkことはじめ

はじめに

触るのは後にしても、とりあえず環境構築だけはしておこう、と思って作業開始。
OSはUbuntu14.4.3。



Scalaのインストール

ここまで特に問題なし。

sudo apt-get install scala

Apache Sparkのインストール

まず、公式サイトからバイナリをダウンロード。
適当な場所に解凍。

tar -zxvf [DLしたファイル]

さて、この中のbinにあるspark-shellを起動すればひとまずは動作確認完了だが、
毎度ディレクトリを辿っていくのも面倒なので、/usr/local/binに置いて、
実行ファイルにシンボリックリンクを貼ることにする。

ln -s /usr/local/bin/spark-hogehoge/bin/spark-shell spark
./spark

実行中にエラー
「そのようなファイルやディレクトリはありません」

bin/spark-shellの中で、実行時のパスを参照して依存する実行ファイルを探しにいってる模様。
書き換えるのも面倒なので、シンボリックリンクを用いた実行は諦めました。