Cluster Managers

Spark는 하나의 node에서 수천 개의 compute node로 효율적으로 성능을 높일 수 있도록 설계되었다.

Flexibility를 극대화하기 위하여 Spark는 Hadoop YARN, Apache Mesos, Standalone Scheduler로 불리는 Spark 자체의 간단한 cluster manager 등과 같은 각양각색의 cluster manager를 실행할 수 있다.

Spark를 맨 처음 설치했을 때는, Standalone Scheduler가 쉽게 시작하는 방법을 제공한다. 반대로 이미 YARN이나 Mesos Cluster가 설치되어 있다면, Spark는 이미 설치되어 있는 환경 상에서 application을 실행할 수 있도록 지원한다.

GraphX

GraphX는 Spark 0.9에 추가된 graph를 다루는 라이브러리이다. 병렬 그래프 분석을 처리한다. Spark Streaming과 Spark SQL과 같이 GraphX도 RDD API를 확장하여 임의의 properties를 각 vertex and edge (꼭지점과 선)에 추가할 수 있다.

 GraphX는 일반적인 그래프 알고리즘 (PageRank or Triangle Counting)을 포함하여 graph를 다루는 operation을 지원한다.

MLlib

Spark는 MLlib라고 불리는 common machine learning (ML) 기능의 라이브러리를 제공한다. MLlib는 다양한 타입의 machine learning 알고리즘을 제공한다. (binary classification, regression, clustering,  collaborative filtering, model evaluation, data import)

또한 generic gradient descent optimization algorithm과 같은 lower level ML primitive도 제공한다. 이 모든 method들은 cluster상에서 scale out 할 수 있도록 설계 되었다.