Spark에 대한 빠른 여행에서 빠뜨린 마지막 조각은 어떻게 standalone program을 사용하느냐는 것이다. Interactive하게 실행하는 것을 제외하고, Spark는 Java, Scala, Python으로 작성된 Standalone application에도 link될 수 있다. Shell에서 그것을 사용하는 주요 차이점은 직접 SparkContext를 초기화 해주어야 한다는 것이다. 그 이후, API는 동일하게 사용할 수 있다.

Spark에 linking하는 과정은 언어에 따라 다르다. Java와 Scala에서는 application의 Maven dependency에 Apache에 의해publish된 spark-core artifact를 넣어 주면 된다. 이 글이 쓰여질 시점에 최종 Spark 버전은 1.0.0이고, Maven coordinate는 다음과 같다.

groupId = org.apache.spark

artifactId = spark-core_2.10

version = 1.0.0

Maven에 익숙하지 않다면, maven은 public repository에 library를 등록하여 link할 수 있는 Java 기반 언어에 대한 유명한package management tool이다. 프로젝트를 build하는데 Maven을 사용할 수 있다. 혹은 Maven Repository에 연동할 수 있는 다른 툴-Scala의 SBT tool이나 Gradle과 같은-을 사용할 수도 있다. Eclipse와 같은 유명한 통합 개발 환경 또한 프로젝트에Maven dependency를 직접 추가할 수 있도록 지원한다.

Python에서는 Python Script로 간단하게 application을 작성할 수 있다. 하지만, Spark에 포함된 특별한 bin/spark-submit script를 사용하여 실행해야만 한다. 이 script는 Spark의 Python API를 function으로 사용할 수 있도록 환경을 설정한다. Script는 다음처럼 간단하게 실행할 수 있다.

bin/spark-submit my_script.py

(윈도우 시스템에서는 / 대신 \(backslash)를 사용해야 함에 주의!)

(NOTE : 1.0 이전 Spark 버전에서는 Python application을 실행하기 위해서 bin/pyspark my_script.py을 사용하라)

Application을 Spark에 link하기 위한 상세 예제는 공식 Spark Document인 Quick Spark Guide에 나와 있다. 그 문서의 최종본에는 appendix에 전체 example도 또한 포함되어 있다.