1-2-3. Write Custom Scripts

Data/DataLake 2018/04/24 17:47 용비

(사용자 스크립트 작성)


세번째 옵션은 데이터 거버넌스와 관리에 대한 요구사항을 만족시키는 프로세스, 어플리케이션, 품질 검사 데이터 변환을 연결하는 사용자 지정 스크립트를 사용하여 워크플로우를 만드는 것입니다.


Data Lake 거버넌스와 관리를 추가하는 현재 일반적으로 널리 선택하고 있습니다. 불행하게도 또한 옵션은 가장 안정적이지 못합니다. 특별한 관리나 거버넌스 동작, 변환을 수행하도록 설계된 오픈소스 툴이나 기능을 발견하고 활용하기 위해서 Hadoop 오픈소스 커뮤니티에 깊은 조예가 있는 굉장히 숙련된 분석가가 필요합니다. 그리고 분석가가 모든 조각들을 서로 연결하는 스크립트를 작성해야 합니다. 만약 그렇게 숙련된 인력을 찾을 있다면, 아마도 이것이 가장 저렴한 경로일 것입니다.


그러나, 프로세스는 단지 Data Lake에만 의존할 시간과 비용이 많이 듭니다. 아무튼, 지속적으로 사용자 지정 스크립트를 업데이트하고 재작성해야 합니다. 많은 데이터 소스들이 Data Lake 통합되고, 많은 목적에 맞는 데이터가 발견됨에 따라서, 복잡한 코드와 워크플로우를 지속적으로 수정해야 합니다. 숙련된 인력이 회사를 들고 남에 따라 소중한 지식은 시간이 지남에 따라 없어집니다. 옵션은 오랜 시간 동안 사용할 수는 없습니다.

TAG
받은 트랙백이 없고, 댓글이 없습니다.

댓글+트랙백 RSS :: http://www.yongbi.net/rss/response/807

트랙백 주소 :: http://www.yongbi.net/trackback/807

트랙백 RSS :: http://www.yongbi.net/rss/trackback/807

댓글을 달아 주세요

댓글 RSS 주소 : http://www.yongbi.net/rss/comment/807
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다