MLlib

Spark는 MLlib라고 불리는 common machine learning (ML) 기능의 라이브러리를 제공한다. MLlib는 다양한 타입의 machine learning 알고리즘을 제공한다. (binary classification, regression, clustering,  collaborative filtering, model evaluation, data import)

또한 generic gradient descent optimization algorithm과 같은 lower level ML primitive도 제공한다. 이 모든 method들은 cluster상에서 scale out 할 수 있도록 설계 되었다.