(Data Lake에서의 데이터 관리 및 거버넌스)

만약 업무 요건 때문에 중요한 업무용(mission-critical) 목적으로 데이터를 사용한다면, 데이터 관리와 거버넌스를 심각하게 고려해야 합니다. 전통적으로, 조직에서는 공식적인 프로세스와 엄격한 접근 통제를 위해서 EDW를 사용했기 때문입니다. 하지만, 이미 논의한 것처럼, 증가하는 데이터 볼륨과 다양성은 EDW의 수용 용량을 압도합니다.

단순히 Data Dump를 수행하기 위해 Hadoop을 사용하는 극단적인 경우는 데이터의 중요성 때문에 불가능합니다.

초기에 Hadoop을 사용하던 때, 조직은 데이터를 어떤 식으로든 관리하지 않고 자주 로딩했습니다. 특히 빠르고 싸기 때문에, 대부분의 경우에 비록 여전히 이렇게 접근하기를 원할지라도 이러한 형태의 data dump는 최적의 경우가 아닙니다. 데이터가 표준화되어 있지 않은 경우에는 오류가 용납되지 않을 때나 데이터의 정확도가 굉장히 우선 순위가 높을 때, data dump는 데이터에서 가치를 이끌어 내고자 하는 노력에 비해 얻는 것이 없을 것입니다.

Data Lake는 중간 지점을 제공합니다. Hadoop Data Lake는 유연하고, 확장성이 있으며, 비용 효율적입니다. 하지만, 그 외에도 전통적인 EDW의 규제도 가질 수 있습니다. 단순히 Data Lake에 데이터 관리와 거버넌스를 추가하면 됩니다. 한번 이렇게 접근하기로 결정하면, 수행에 있어서는 다음 4가지 옵션이 있습니다.