1-2-3. Write Custom Scripts :: 2018/04/24 17:47

(사용자 스크립트 작성)


세번째 옵션은 데이터 거버넌스와 관리에 대한 요구사항을 만족시키는 프로세스, 어플리케이션, 품질 검사 데이터 변환을 연결하는 사용자 지정 스크립트를 사용하여 워크플로우를 만드는 것입니다.


Data Lake 거버넌스와 관리를 추가하는 현재 일반적으로 널리 선택하고 있습니다. 불행하게도 또한 옵션은 가장 안정적이지 못합니다. 특별한 관리나 거버넌스 동작, 변환을 수행하도록 설계된 오픈소스 툴이나 기능을 발견하고 활용하기 위해서 Hadoop 오픈소스 커뮤니티에 깊은 조예가 있는 굉장히 숙련된 분석가가 필요합니다. 그리고 분석가가 모든 조각들을 서로 연결하는 스크립트를 작성해야 합니다. 만약 그렇게 숙련된 인력을 찾을 있다면, 아마도 이것이 가장 저렴한 경로일 것입니다.


그러나, 프로세스는 단지 Data Lake에만 의존할 시간과 비용이 많이 듭니다. 아무튼, 지속적으로 사용자 지정 스크립트를 업데이트하고 재작성해야 합니다. 많은 데이터 소스들이 Data Lake 통합되고, 많은 목적에 맞는 데이터가 발견됨에 따라서, 복잡한 코드와 워크플로우를 지속적으로 수정해야 합니다. 숙련된 인력이 회사를 들고 남에 따라 소중한 지식은 시간이 지남에 따라 없어집니다. 옵션은 오랜 시간 동안 사용할 수는 없습니다.

2018/04/24 17:47 2018/04/24 17:47
Trackback Address :: http://www.yongbi.net/trackback/807
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다
Name
Password
Homepage

Secret

1-2-2. Adapt Existing Legacy Tools :: 2018/04/24 17:46

(기존의 레거시 도구를 수정하기)


두번째 방법은 EDW용으로 설계된 어플리케이션과 프로세스를 활용하는 것입니다. Informatica, IBM InfoSphere DataStage, AB Initio 같은 소프트웨어 툴들은 변환을 수행하기 위해 필요한 ETL Grid 모든 프로세스인, EDW 깨끗한 데이터를 적재할 사용했던 것과 동일한 ETL 프로세스를 수행할 있습니다. Data Lake 데이터를 적재할 소프트웨어들을 사용할 있습니다.


그러나, 이러한 방법은 비용이 많은 드는 경향이 있습니다. 또한, 단지 엔터프라이즈급 Data Lake 필요한 관리와 거버넌스 기능들 일부만 처리합니다. 또다른 주요 단점은 ETL Hadoop Cluster 외부에서 일어나기 때문에 쿼리에 대한 데이터가 외부로 이동해야 하므로 동작이 느려지고, 비용이 추가된다는 것입니다.

2018/04/24 17:46 2018/04/24 17:46
Trackback Address :: http://www.yongbi.net/trackback/806
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다
Name
Password
Homepage

Secret

1-2-1. Address the Challenge Later :: 2018/04/24 17:45

(문제는 나중에 다룸)


첫번째 옵션은 이슈를 무시하고, Hadoop 자유롭게 데이터를 로딩하는 많은 조직에서 선택합니다. 나중에 데이터에서 insight(통찰력) 발견할 필요가 있을 , 당면한 문제에 관련된 데이터를 정리하는 툴을 찾으려고 합니다.


하지만, 여기에는 실제적인 리스크가 있습니다.


우선 첫째로, 가장 지능적인 추론엔진조차도 Data Lake 만들 있는 엄청난 양의 데이터를 가지고 시작해야 합니다. 이것은 필연적으로 일부 데이터를 무시해야 함을 의미합니다. 따라서 Data Lake 일부가 정체되고 고립될 있으며, 가장 똘똘한 자동화 도구나 데이터 분석가일지라도 어디서부터 시작해야 하는지 알지 못하는, 거의 맥락이나 구조를 가지고 있지 않은 데이터를 포함할 있는 위험이 있습니다. 데이터 품질이 나빠지고, 동일한 Hadoop Cluster에서 동일한 질문에 서로 다른 답을 얻게 되는 상황에 처하게 됩니다.

2018/04/24 17:45 2018/04/24 17:45
Trackback Address :: http://www.yongbi.net/trackback/805
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다
Name
Password
Homepage

Secret
< PREV |  1  |  2  |  3  |  4  |  5  |  6  |  ...  189  |  NEXT >