Spark のアプリケーション構成の概要と、簡単なアプリケーション作成までをまとめました.

0.前提

Scalaでアプリケーションを書いていきます.

Sparkのインストールはこちらを参考に済ませておいてください.

SBT(Scalaのビルドツール)のインストールはこちらを参考に済ませておいてください.(Sparkをdockerイメージ上で利用する場合、そのイメージファイル上にインストールする必要があります.)

 

1.構成概要

テストドライバとなるクラス(SparkTest)

  • mainメソッドが定義されている
  • 引数の構文解析を行う
  • 引数を元に、Sparkを実行する環境を定義する(SparkContext)

SparkContext

  • Mesosマスターの名前、ジョブを割り当てる対象の名前を引数にする

 

2. アプリの実装

 

sbtファイルの作成

<sparktest.sbtの中身>

SparkTestの作成

<SparkTest.scalaの中身>

 

ビルド

最後にsuccessの行が表示されれば完了です.sbtの初回実行時には依存性解決のためにそこそこ時間がかかります.(自分の環境だと10分程)

その後はクラス数にもよると思いますが、そこそこ速く ビルドできます.

 

3.アプリの実行

事前にインプットとなるファイルを作成します

<test.txt の中身>

 

実行

 

結果の確認

各行の内容がキーとなり、その出現回数がカウントされていることが確認できます.

 

 

 

 

 

Leave a Reply

Your email address will not be published. Required fields are marked *