Spark Streaming

Spark Streaming은 live stream data 처리를 위한 Spark component이다. 예를 들어 live stream data는 웹 서버에 의해 만들어지는 log file이나 웹 서비스의 사용자에 의해 post되는 상태 업데이트 정보를 담고 있는 message queue를 의미한다.

Spark Streaming은 Spark Core의 RDD API와 밀접하게 매칭되는 data stream을 다룰 수 있는 API를 제공한다. 프로그래머는 API를 통해 메모리나 디스크에 저장된 데이터나 실시간 데이터를 다루는 프로젝트나 application을 쉽게 개발할 수 있다.

Spark Streaming은 Spark Core에서 제공하는 fault tolerance, throughput,  scalability와 동일한 수준으로 제공하도록 설계되어 있다.