Marching Towards Monolithic Hell (통짜 구조로 인한 지옥으로 행진)

불행하게도 이런 간단한 접근 방법은 심각한 한계가 있다. Application이 성공적일수록 시간이 지나면서 점차적으로 크기가 커지게 된다. 각 단계별로 개발팀은 많은 코드를 추가하여 약간 더 많은 스토리를 구현하게 된다. 몇 년 후에는 초기에 작고 간단했던 application이 괴물처럼 커지게 될 것이다. 극단적인 예를 하나 들자면, 최근에 수백만 라인의 코드로 구성된 수천개의 JAR 사이에 있는 의존성을 분석하는 Tool을 개발하는 개발자와 이야기를 나눈 적이 있다. 그런 괴물을 만들어 내기 위해서 오랫동안 수많은 개발자들이 많은 노력을 들여 협조했을 것이라고 확신한다.

한번 Application이 커지고 나면, 개발 조직은 고통의 세상에 빠지게 된다. Agile 개발 방법론과 Delivery에 대한 어떤 시도도 허우적거리게 될 것이다. 커다란 문제 중 하나는 Application이 극도로 복잡해졌다는 것이다. 간단히 말하자면, Application이 너무 커서 한 명의 개발자가 전체를 이해할 수 없다. 결과적으로 버그 수정이나 새로운 기능을 개발하는 것은 어렵고, 시간이 오래 걸리게 되었다. 한술 더 떠서 아래쪽으로 향하는 소용돌이처럼 되기 쉽다. Codebase가 이해하기 어렵다면 원하는 대로 변경을 할 수 없다. 결국에는 괴물과 같은 이해하기 어려운 거대한 진흙 덩어리(Big Ball of Mud)에 직면하게 될 것이다.

방대한 규모(Sheer size)의 Application은 개발을 느리게 할 것이다. Application이 커질수록, 시작하는데 걸리는 시간은 길어진다. 예를 들면, 최근 조사에서 어떤 개발자들은 application을 시작하는데 12분이 걸렸다고 보고되었다. Application 실행하기까지 40분이 걸렸다는 일화도 들은 적이 있다. 개발자들이 application server를 재시동해야 한다면, 동작하기까지 오랫동안 기다려야 하고, 생산성은 악화될 것이다.

규모가 커졌을 경우 또다른 문제는 복잡한 monolithic application을 지속적으로 배포할 경우 장애물이 된다는 것이다. 오늘날 SaaS Application을 예술적으로 만들기 위해서 하루에도 몇번씩 제품에 변경을 가해야 한다. 복잡한 monolith application에는 이렇게 하기가 극도로 어렵다. 왜냐하면 일부 수정사항을 업데이트 하기 위해서 전체를 재배포 해야하기 때문이다. 앞서 언급한 application 실행 시간의 길이는 더 언급할 필요도 없다. 또한 변경에 따른 영향도를 일반적으로 파악하기 어렵기 때문에 어마어마한 수동 테스트를 해야할 것이다. 따라서 지속적인 배포는 다음 작업을 불가능하게 할 것이다.

Monolithic application은 다른 모듈간에 서버의 자원 사용에 대한 충돌이 발생했을 때 확장하기 어렵다. 예를 들면, CPU를 집중적으로 사용하는 이미지 처리를 하도록 구현된 하나의 모듈이 Amazon EC2에 최적화된 instance에 배포되어 있고, 또다른 모듈은 In-Memory 데이터베이스를 사용하고, EC2 메모리 최적화 instance에 적합할 경우, 이러한 모듈들이 하나의 Application에 함께 배포되어 있기 때문에 하드웨어 선택에 있어서 타협을 해야만 한다.

Monolithic Application의 또다른 문제는  신뢰성(reliability)이다. 모든 모듈들이 동일한 프로세스 내에서 동작하기 때문에 어떤 모듈에 메모리 누수(memory leak)와 같은 버그가 있을 경우, 잠재적으로 전체 프로세스가 다운될 수 있다. 더욱이 application의 모든 instance가 동일하기 때문에 그런 버그는 전체 application의 가용성(availability)에 영향을 줄 것이다. 마지막으로, 그렇지만 앞에 이야기한 것과 마찬가지로 중요한 것은 monolithic application은 새로운 framework과 language를 받아들이기에 극도로 어렵다는 것이다. 새롭고 더 좋은 ABC framework을 사용하여 전체 application을 재개발하는 것은 시간적으로나 비용적으로나 굉장히 비싸다. 결과적으로 새로운 기술을 받아들이기에 거대한 장벽이 있다. 여러분이 처음 프로젝트 시작할 때 적용한 기술이 무엇이건 간에 새로운 기술을 받아들일 수 있는 여지가 없다.

요약하자면 : 만약 여러분이 괴물같이 거대한 통짜로 개발된 주요 비즈니스 application (business-critical application)을 가지고 있다면 개발자들은 거의 이해하기 어렵다. 재능이 뛰어난 개발자들을 고용하여 거의 쓸모가 없고, 비생산적인 기술들을 사용하여 어렵게 구현하게 된다. Application은 확장하기도 어렵고, 신뢰성도 떨어진다. 결과적으로 application의 agile 개발 및 배포가 불가능하다.

자, 그럼 이제 무엇을 할 수 있을까?

MSA(Micro Service Architecture) 대한 관심이 날로 높아지고 있는 가운데, Chris Richardson이 2015년 5월 19일에 오픈소스 웹서버인 nginx blog에 올린 MSA관련 Article을 정리해 보고자 합니다. 전체 7가지 에피소드로 구성되어 있습니다. 그 첫번째 이야기입니다. (www.nginx.com/blog/introduction-to-microservices)

<Introduction to Microservices>

Nginx Plus(오픈소스 웹서버 nginx를 이용하여 Enterprise Version으로 개발한 버전)를 사용하여 microservice를 구현하는 article과 information으로 이루어진 E-Book Microservices: From Design to Deployment를 다운로드 받을 수 있다.

Microservices는 article, blog, 소셜 미디어에서의 토론, 컨퍼런스 설명회 등을 통해서 오늘날 많은 주목을 받고 있다. Microservices는 가트너의 하이퍼 사이클 상에서 inflated expectation peak 지점을 향해 빠르게 진입하고 있다. 동시에 소프트웨어 커뮤니티 상에서는 Microservices가 전혀 새로운 것이 아니라는 시큰둥한 반응도 있다. Microservices 반대론자들은 단지 SOA의 다른 이름에 불과하다고 불평하기도 한다. 그러나, 옹호론자이건 회의론자이건 간에 Microservice Architecture Pattern은 특히 agile 개발 방법론과 복잡한 enterprise application을 delivery하는 경우에 굉장한 이점을 가지고 있다.

이 블로그에서 먼저 microservices를 design하고 building, deploying하는 7가지 article을 통해, microservices에 대한 접근법과 전통적인 Monolithic Architecture Pattern과 Microservices Architecture Pattern이 어떻게 다른지 배울 것이다.

7가지 시리즈에서는 microservices architecture의 다양한 요소들을 설명할 것이다. Microservices Architecture Pattern이 여러분의 프로젝트에 적합한지 아닌지와 상관없이 MSA의 장단점에 대해서, MSA를 어떻게 적용할 수 있는지를 배울 것이다.

먼저 첫번째로 왜 Microservice를 사용해야 하는지를 살펴보자.

Building Monolithic Applications (통짜 Application 개발)

Uber와 Hailo와 같은 새로운 택시 호출 서비스 브랜드를 구축하고자 하는 경우를 생각해 보자. 사전 미팅을 통해 요구사항들을 수집한 후에, 수동으로 신규 프로젝트를 생성하거나 Rails나 Spring Boot, Play, Maven을 통해서 자동으로 신규 프로젝트를 생성할 것이다. 이 Application은 다음 그림에서 보는 것처럼 6각형의 모듈 아키텍처를 가지고 있다.

Application의 Core에는 서비스, 도메인 오브젝트, 이벤트를 정의하고 있는 모듈로 구현된 비즈니스 로직이 있다. Core 주변에는 외부 세상과 연동할 수 있는 adapter들이 있다. 예를 들어 adapter들 중에는 database와 연결할 수 있는 adapter, 메시지를 처리할 수 있는 message 컴포넌트 adapter, API를 제공하거나 UI를 구현한 Web 컴포넌트들과 연동하는 adapter들이 있다.

논리적으로는 모듈화된 아키텍처이지만, 이 Application은 하나(monolith)로 패키지되어 배포된다. 실제 포맷은 application의 개발언어나 framework에 달려 있다. 예를 들어 많은 Java Application들은 WAR 파일로 패키지되고, Tomcat이나 Jetty와 같은 Application Server에 배포된다. 다른 Java Application들은 독립적으로 실행가능한 JAR파일로 패키지된다. 유사하게 Rails나 Node.js Application들은 디렉토리 계층 구조(directory hierarchy)로 패키지된다.

이런 형태로 개발된 Application이 거의 대부분이다. 왜냐하면 하나의 Application을 개발하는데 특화된 IDE나 다른 Tool을 이용하여 간단하게 개발할 수 있기 때문이다. 이러한 Application들은 또한 테스트하는 것도 간단하다. 간단히 Application을 실행하여 End-to-End 테스트를 할 수 있다. 그리고 Selenium을 이용하여 UI 테스트도 할 수 있다. Monolithic Application(하나로 만들어진 Application)은 또한 간단하게 배포할 수 있다. 단순히 Application을 복사하여 Server에 옮기기만 하면 된다. 또한 로드밸런서 뒤에 Application을 복사하여 여러 개를 실행함으로 Application을 확장할 수도 있다. 프로젝트 초창기에는 잘 동작할 것이다.

그동안 서로간의 변형을 통해서 어떻게 RDD를 생성하는지를 알아보았다. 하지만, 어떤 경우에는 Dataset을 가지고 직접적으로 어떤 일을 하고 싶을 수도 있다. Action은 RDD operation의 두 번째 형태이다. Action은 driver program에 마지막 값을 되돌려 주거나 외부 storage system에 데이터를 쓰는 작업을 수행한다. Action은 RDD를 호출하는 곳에서 필요로 하는 변형에 대해서 평가하기 때문에 실제적인 ouput을 만들어낼 필요가 있다.

앞의 섹션의 log example에서 계속해서 살펴보자면 badLinesRDD에 대해 어떤 정보를 출력하고 싶을 수도 있다. 그렇게 하기 위해서는 2가지 action을 사용할 수 있다. count()는 숫자를 센 값을 리턴하고, take()는 RDD의 element collection을 리턴한다. 샘플코드는 3-15, 3-17에서 볼 수 있다.

Example 3-15. Python error count using actions

print "Input had " + badLinesRDD.count() + " concerning lines"

print "Here are 10 examples: "

for line in badLinesRDD.take(10):

     print line

Example 3-16. Scala rror count using actions

println("Input had " + badLinesRDD.count() + " concerning lines")

println("Here are 10 examples:")

badLinesRDD.take(10).foreach(println)

Example 3-17. Java error count using actions

System.out.println("Input had " + badLinesRDD.count() + " concerning lines")

System.out.println("Here are 10 examples:")

for (String line : badLinesRDD.take(10)) {

     System.out.println(line);

}

위의 예제에서, driver program에서 작은 숫자의 RDD element를 추출하기 위해서 take()를 사용했다. Driver에 정보를 출력하기 위해서 반복하여 출력했다. RDD는 전체 RDD를 추출하기 위해서 collect() 함수를 가지고 있다. 만약 프로그램 필터에서 RDD를 아주 작은 크기로 줄여서 내부적으로 다루고자 하는 경우에 유용하게 사용할 수 있다. 다만, 전체 dataset은 collect()를 사용하여 하나의 machine의 메모리 크기에 적합해야 한다는 것을 유념해야 한다. 따라서 collect()는 large dataset을 대상으로는 사용하지 않아야 한다.

대부분의 경우, RDD는 driver에 직접적으로 collect()함수를 사용하여 데이터를 추출할 수 없다. 왜냐하면 dataset이 너무 크기 때문이다. 이러한 경우에는 HDFS나 Amazon S3와 같은 분산 저장환경에 데이터를 쓰는 경우가 일반적이다. 또한 saveAsTextFile() action, saveAsSequenceFile()이나 다양한 내장된 형태로 다른 많은 action을 사용하여 RDD의 내용을 저장할 수 있다. 데이터를 추출하는 다른 option에 대해서는 Chapter 5에서 다룰 것이다.

새로운 action을 매번 호출할 때마다 전체 RDD가 "맨 처음부터"(from scratch) 계산되어야 한다는 것을 아는 것이 중요하다. 이러한 비효율성을 피하기 위해서 44페이지에서 "Persistence (Caching)"으로 다루는 중간 결과를 유지할 수 있다.

1) Prerequisites

Akka는 컴퓨터에 Java 8 이상 버전이 설치되어 있어야 한다.

Typesafe(www.typesafe.com)는 Akka의 상용버전을 제공한다. 그리고 Java 8로 업데이트 할 수 없는 프로젝트를 위해서 Java 6을 이용할 수 있도록 Reactive Platform의 일부로써 Scala와 Play와 같은 관련된 프로젝트를 지원한다. 또한 상용 버전에서는 다양한 기능들과 라이브러리들을 제공한다.

2) Getting Started Guides and Template Projects

Akka를 배울 수 있는 가장 좋은 방법은 Typesafe Activator(www.typesafe.com/platform/getstarted)를 다운로드 받아서 Akka Template Project 중에 하나를 테스트해 보는 것이다.

3) Download

Akka를 다운로드 받을 수 있는 방법은 여러 가지가 있다. Typesafe Platform의 일부분으로 Akka를 다운로드 받을 수 있다. (위에서 언급된 방법이다.) 모든 모듈이 포함되어 있는 전체 배포 버전을 다운로드 받을 수도 있다. Maven이나 SBT(Simple Build Tool)와 같은 빌드 툴을 사용하여 Akka Maven Repository로부터 의존성 있는 모듈들을 다운로드 받을 수도 있다.

4) Modules

Akka는 굉장히 모듈화가 잘 되어 있다. 서로 다른 기능들을 포함하고 있는 여러 개의 JAR로 구성되어 있다.

• Akka-actor : Classic Actors, Typed Actors, IO Actor etc.
• Akka-agent : Agents, Scala STM
• Akka-camel : Apache Camel integration
• Akka-cluster : Cluster membership management, elastic routers
• Akka-osgi : OSGi container에서 Akka를 사용하는 utilities
• Akka-osgi-aries : Aries blueprint for provisioning actor systems
• Akka-remote : Remote Actors
• Akka-slf4j : SLF4J Logger (event bus listener)
• Akka-testkit : Toolkit for testing Actor systems

게다가 이렇게 stable module들이 여러 개가 있기 때문에, 각자의 방식으로는 stable core이지만 여전히 "experimental"로 마킹되어 있다. 그것은 의도한대로 기능을 수행하지만, API가 code freezing할만큼 충분히 굳건하지 않다는 것을 의미한다. Mailing list에 이러한 모듈들에 대한 피드백을 제공함으로 도움을 줄 수 있다.

• Akka-contrib : core module로 옮겨질 수도 있는 공헌에 대한 모음. 더 자세한 내용은 External Contributions(9장)을 참고하라.

실제 JAR 파일 명은 예를 들면 다음과 같다.

akka-actor_2.11-2.4.0.jar (다른 모듈들도 유사하다.)

5) Using a release distribution

http://akka.io/downloads 에서 필요한 버전을 다운로드 받고, 압축해제 하면 된다.

6) Using a snapshot version

Akka의 밤마다 하는 snapshot은 http://repo.akka.io/snapshots/ 에 있고, SNAPSHOT과 timestamp로 버전이 매겨져 있다. Timestamp 버전을 선택하여 작업을 하고, 언제 새로운 버전으로 업데이트하는지를 결정할 수 있다.

Warning : 매일 밤마다 배포되거나 milestone release(전환점이 되는 배포)의 Akka SNAPSHOT을 사용하는 것은  무엇을 하고 있는지를 알지 못하면 나중에 어려움에 처할 수 있다.

7) Using a build tool

Akka는 Maven repositories를 지원하는 build tool들을 사용할 수 있다.

8) Maven Repositories

Akka version 2.1-M2 이후 버전 : https://repo1.maven.org/maven2/

이전 Akka version : http://repo.akka.io/releases/

9) Using Akka with Maven

Maven을 이용하여 Akka를 가장 간단하게 시작하는 방법은 Akka Main in Java라고 이름 붙여진 Typesafe Activator Tutorial을 check out하는 것이다.

(http://www.typesafe.com/activator/template/akka-sample-main-java)

Akka는 Maven Central에 배포되어 있기 때문에 (2.1-M2 이후 버전) POM에 Akka dependencies를 추가하는 것으로 충분하다. 예를 들어 akka-actor에 대한 의존성은 다음과 같다.

<dependency>

<groupId>com.typesafe.akka</groupId>

<artifactId>akka-actor_2.11</artifactId>

<version>2.4.0</version>

</dependency>

Snapshot 버전에 대해서는 다음과 같은 repository 추가가 필요하다.

<repositories>

<repository>

<id>akka-snapshots</id>

<snapshots>

<enabled>true</enabled>

</snapshots>

<url>http://repo.akka.io/snapshots/</url>

</repository>

</repositories>

Note : Snapshot 버전에는 SNAPSHOT과 timestamp 버전이 포함되어 배포되어 있다.

10) Using Akka with SBT

SBT를 사용하여 Akka를 시작하는 가장 간단한 방법은 Akka/SBT Template 프로젝트를 check out하는 것이다.

SBT에서 Akka를 사용하는 기본적인 부분을 요약하면 다음과 같다.

https://github.com/harrah/xsbt/wiki/Setup 의 지시대로 SBT를 설치한다.

build.sbt file을 다음과 같이 수정한다.

name := "My Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.4.0"

Note : 위에 언급된 libraryDependencies는 SBT v0.12.x 이후에 특화된 부분이다. 이전 SBT 버전을 사용한다면 libraryDependencies는 다음과 같다.

libraryDependencies += "com.typesafe.akka" % "akka-actor_2.11" % "2.4.0"

Snapshot 버전을 위해서는 다음 항목이 추가되어야 한다.

resolvers += "Akka Snapshot Repository" at "http://repo.akka.io/snapshots/"

11) Using Akka with Gradle

최소한 Gradle 1.4 이상 버전이 필요하다. Scala Plugin을 사용하려면 다음과 같이 설정한다.

apply plugin: ’scala’

repositories {

mavenCentral()

}

dependencies {

compile ’org.scala-lang:scala-library:2.11.7’

}

tasks.withType(ScalaCompile) {

scalaCompileOptions.useAnt = false

}

dependencies {

compile group: ’com.typesafe.akka’, name: ’akka-actor_2.11’, version: ’2.4.0’

compile group: ’org.scala-lang’, name: ’scala-library’, version: ’2.11.7’

}

Snapshot 버전을 위해서는 다음 Repository를 추가한다.

repositories {

mavenCentral()

maven {

url "http://repo.akka.io/snapshots/"

}

}

12) Using Akka with Eclipse

SBT 프로젝트를 만들고 Eclipse 프로젝트 생성을 위해서 sbteclipse(https://github.com/typesafehub/sbteclipse)를 사용한다.

13) Using Akka with IntelliJ IDEA

SBT 프로젝트를 만들고 IntelliJ IDEA 프로젝트 생성을 위해서 sbt-idea(https://github.com/mpeltonen/sbt-idea)를 사용한다.

14) Using Akka with NetBeans

SBT 프로젝트를 만들고 NetBeans 프로젝트 생성을 위해서 nbsbt(https://github.com/dcaoyuan/nbsbt)를 사용한다.

IDE에서 일반적인 scala 지원을 위해서 nbscala(https://github.com/dcaoyuan/nbscala)를 사용할 수도 있다.

15) -optimize Scala compiler flag를 사용하지 말라

Warning : Akka는 -optimize Scala compiler flag로 컴파일하거나 테스트하면 안 된다. 이상 동작하는 경우가 있음이 리포트 되었다.

16) Build from sources

Akka는 Git을 사용하여 Github에 호스팅되어 있다.

다음 repository에서 clone할 수 있다. https://github.com/akka/akka

Building Akka(10장)에서 계속해서 관련 내용이 정리되어 있다.

17) Need Help?

질문이 있다면, Akka Mailing List에서 도움을 얻을 수 있다. https://groups.google.com/forum/#!forum/akka-user

상용 버전 지원에 대해서도 질문할 수 있다. https://www.typesafe.com/

Akka community에 참여하는 것에 대해서 감사를 드린다.