당신은 주제를 찾고 있습니까 “데이터 패브릭 – 데이터 패브릭(Data Fabric) | TIBCO“? 다음 카테고리의 웹사이트 ppa.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: https://ppa.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 TIBCOSoftware 이(가) 작성한 기사에는 조회수 435회 및 좋아요 3개 개의 좋아요가 있습니다.
Data Fabric은 하이브리드 멀티 클라우드 환경을 포괄하는 다양한 엔드포인트에서 일관된 기능을 제공하는 아키텍처 및 데이터 서비스 세트입니다. Data Fabric은 클라우드, 온프레미스, 에지 장치 전반에서 데이터 관리 관행과 실무를 표준화하는 강력한 아키텍처입니다.
데이터 패브릭 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 데이터 패브릭(Data Fabric) | TIBCO – 데이터 패브릭 주제에 대한 세부정보를 참조하세요
데이터 패브릭은 공유 데이터 자산을 포함하고 있는 현대적인 분산형 데이터 아키텍처로 데이터 관리 및 통합 프로세스를 최적화해서 오늘날의 데이터 문제를 통합된 방식으로 해결해 줍니다.
무료로 제공되는 O’Reilly eBook을 다운로드하여 데리터 패브릭이 어떻게 다양한 데이터소스, 사일로 및 복잡성을 포함한 문제를 해결하는데 도움이 되는지 알아보십시오: https://www.tibco.com/ko/node/510661
데이터 패브릭 주제에 대한 자세한 내용은 여기를 참조하세요.
데이터 패브릭이란 무엇입니까? | 팁코 소프트웨어
데이터 패브릭은 기본적으로 모든 데이터를 하나로 통합할 뿐만 아니라 머신 러닝을 사용하여 데이터를 변환하고 처리하여 패턴과 통찰력을 찾는 데이터 운영 계층입니다.
Source: www.tibco.com
Date Published: 12/15/2022
View: 5243
데이터 패브릭 솔루션 | IBM
데이터 패브릭은 셀프 서비스 데이터 소비를 촉진하기 위해 조직에서 데이터 액세스를 단순화하는 아키텍처 접근 방식입니다. 이 아키텍처는 종단간 데이터 관리 기능 …
Source: www.ibm.com
Date Published: 12/17/2021
View: 9315
데이터 패브릭이란? – Tableau
비즈니스 업계가 데이터 기반의 의사 결정 방식을 포용하고 데이터 관행을 전례 없이 빠르게 발전시켜 나간다는 소식 말입니다. 이는 팬데믹이 가져온 …
Source: www.tableau.com
Date Published: 4/26/2022
View: 8970
[기고] ‘데이터 패브릭(Data Fabric)’이 필요한 이유 … – 컴퓨터월드
데이터 패브릭은 데이터 태그 관리(통합 검색)를 기반으로 데이터 활용성을 제고하고 비즈니스 가치 창출을 강화하기 위한 데이터 플랫폼의 새로운 디자인 …
Source: www.comworld.co.kr
Date Published: 10/6/2022
View: 1349
데이터 패브릭 살펴보기 | 테라데이타
데이터 패브릭이란? · 메타데이터 활성화 및 능동적 관리를 포함하는 임베디드 인공 지능(AI) 및 머신 러닝(ML). · 새로운 노드를 더 쉽게 구체화하고 자연어 처리와 같은 …
Source: kr.teradata.com
Date Published: 10/10/2022
View: 1368
데이터 패브릭이란 무엇일까요?! HPE Ezmeral 데이터 패브릭 …
데이터 레이크 및 웨어하우스 위에 있는 의미 계층을 제공하여 단일 정보 소스에 대한 전사적 액세스를 매핑하고 제공하기 위한 일관된 기반을 제공하죠!
Source: www.dknyou.com
Date Published: 8/23/2022
View: 4489
칼럼ㅣ데이터 레이크 저물고 ‘데이터 패브릭’ 떠오른다 – CIO Korea
데이터 패브릭이 동적으로 바뀌면서 ‘데이터 메시(Data Mesh)’로 전환하고 있다. 이는 진화된 분산 데이터 아키텍처로, 메타데이터에 초점을 맞추며 머신 …
Source: www.ciokorea.com
Date Published: 11/14/2021
View: 5154
데이터 민주화 2부-데이터 패브릭과 능동 메타데이터 – 투이컨설팅
‘데이터 패브릭(Data Fabric)’은 이렇게 다양한 이기종 시스템에 분산되어 저장된 데이터에 대한 통합된 접근과 활용을 위한 솔루션으로써 최근 각광받고 …
Source: www.2e.co.kr
Date Published: 12/14/2021
View: 5952
주제와 관련된 이미지 데이터 패브릭
주제와 관련된 더 많은 사진을 참조하십시오 데이터 패브릭(Data Fabric) | TIBCO. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 데이터 패브릭
- Author: TIBCOSoftware
- Views: 조회수 435회
- Likes: 좋아요 3개
- Date Published: 2022. 1. 20.
- Video Url link: https://www.youtube.com/watch?v=nxKR4vFfvn8
데이트 패브릭이란?
데이터와 애플리케이션이 어디에 있든 상관없이 이를 모니터링하고 관리할 수 있습니다.
Data Fabric은 유연하고 안전하며 적응력이 뛰어난 통합 데이터 아키텍처입니다. Data Fabric은 다양한 방법으로 최고의 클라우드, 코어, 에지를 활용할 수 있는 새로운 전략적 엔터프라이즈 스토리지 운영 방식입니다. Data Fabric은 온프레미스, 퍼블릭 및 프라이빗 클라우드, 에지 및 사물 인터넷(IoT) 장치를 비롯한 모든 위치에 연결할 수 있으며, 중앙 집중식으로 관리됩니다.
고층 빌딩 크기의 분리되고 연결이 끊긴 인프라와 데이터 사일로의 시대는 지났습니다. Data Fabric은 다양한 데이터 관리 기능을 기반으로 구축되므로 통합 환경 전체에서 정합성을 보장할 수 있습니다. 자동화를 통해 번거로운 관리 업무를 줄이고, 개발/테스트 및 구축 속도를 높이고, 24x7x365 자산을 보호합니다.
이 통합 플랫폼을 통해 데이터 및 애플리케이션의 위치와 관계없이 스토리지 비용, 성능 및 효율성, 즉 “누가 무엇을 어떻게 사용하고 있는지”를 모니터링할 수 있습니다. 하이브리드 클라우드 환경에 대한 실질적인 통찰력을 확보했으면 문제 해결, 보안 및 규정 준수 위험 해결, 컴퓨팅 작동 및 중단 제어 등 신속하게 그리고 경우에 따라 자동으로 변경을 수행할 수 있습니다.
지속적으로 최적화할 수 있으며, 심지어 이동 중에도 최적화할 수 있습니다. 최적화를 통해 스토리지에서 상당한 비용을 절약하면서도 최고 수준의 암호화로 데이터를 보호할 수 있습니다. 보안은 사후 방책이 아니라 NetApp이 구축한 Data Fabric의 본질적인 특성이며, 공간 효율적인 읽기 전용 스냅샷을 비롯하여 고급 백업 및 복원 기능을 제공합니다. 해커들에게는 불행한 소식이 될 것 같습니다.
간단히 말해 Data Fabric은 전반적인 성능을 향상시키고 비용을 제어하며 인프라 구성 및 관리를 단순화합니다.
데이터 패브릭이란 무엇입니까?
데이터 패브릭은 단순한 네트워크를 초월합니다.
인터넷은 전 세계의 인간을 연결하기 위해 만들어졌으며 사람들에게 시간과 거리의 장애물을 무시할 수 있는 능력을 제공합니다. 하지만 초기에는 사람을 연결하는 역할만 했고, 정량화된 데이터의 전송도 미미했습니다. 오늘날 디지털 플랫폼에서의 활동은 초기 예측을 능가했으며 데이터는 그 자체로 하나의 세계가 되었습니다. 온라인이든 실생활이든 정량적인 모든 활동은 데이터 제공으로 분류될 수 있습니다. 이 데이터 양이 비약적으로 증가함에 따라 이를 관리할 인프라를 구축해야 합니다.
이전에는 데이터를 관리하고 보너스로 데이터에서 통찰력을 추출하는 것이 목적이었습니다. 시간이 지남에 따라 초점은 단순한 데이터 관리에서 해당 데이터에서의 통찰력 추출로 전환하기 시작했습니다. 데이터 패브릭의 사용으로 초점이 단순한 데이터 관리에서 데이터 자체의 품질, 정보 가용성 및 이로부터 파생된 자동화된 통찰력 향상으로 전환하고 있습니다.
데이터 패브릭을 사용하는 이유
전 세계적으로 네트워크 환경에 진입하는 이해 관계자의 수가 증가하고 있습니다. 모든 사람이 인터넷에 연결되어 있고 모든 플랫폼이 데이터 소스가 되었습니다. 데이터 가치의 극대화는 복잡한 문제가 되었습니다. 오늘날 데이터의 문제점은 다음과 같습니다.
다중 온프레미스 및 클라우드 위치에 위치
정형 및 비정형 데이터
데이터 유형의 다양성
플랫폼 환경의 다양성
다양한 파일 시스템, 데이터베이스 및 SaaS 애플리케이션에서 유지 관리
데이터가 기하급수적으로 증가함에 따라 이러한 문제가 증가하고 있습니다.
이러한 문제와 다양성으로 인해 데이터에 쉽게 접속하거나 사용하는 것이 복잡해집니다. 그리고 조직이 AI 및 ML을 제품화하거나 운영하려면 데이터를 수집, 변환 및 처리해야 합니다.
오늘날 대부분의 조직은 사일로에서 문제를 처리하는 경향이 있으며 이로부터 조직 전체에서 데이터를 관리하는 방법이 다양해지게 됩니다. 이 솔루션을 사용하면 특정 그룹에서 데이터를 사용할 수 있지만 회사 전체에서 데이터에 접속하는 것이 거의 불가능해지며 데이터를 유휴 상태로 방치하는 경우가 많습니다.
포괄적인 데이터 접속 및 사용이 부족하면 인프라에 대한 투자 수익률이 떨어지고, 유용한 예측을 위한 데이터 가용성이 부족하며, 생산성이 저하됩니다. 이러한 상황에서 데이터 패브릭이 이런 문제를 해결합니다.
데이터 패브릭 대 현재 상황
현재 많은 조직에서 데이터 레이크와 데이터 웨어하우스를 사용하여 데이터를 관리합니다. 그러나 자세히 살펴보면 이러한 접근 방식은 데이터 중심적이기보다는 기술 집약적인 방식입니다. 데이터 레이크 및 데이터 웨어하우스의 우점은 원시 데이터를 수집 또는 추출하고, 저장하고, 데이터를 사용하여 통찰력을 도출하는 것입니다. 이러한 솔루션은 오늘날의 문제를 염두에 두고 설계되지 않았으므로 데이터에 대한 통합된 뷰를 얻기가 어렵습니다. 그러나 이러한 기술로 하여 종종 대기 시간이 길어지고 비용이 증가합니다. 증가하는 데이터 양과 조직의 의사 결정권자가 작업하는 시간 제약으로 인해 데이터 접속 및 처리가 지연되는 것은 바람직하지 않습니다. 이러한 시나리오에서 데이터 패브릭은 소스 지점에서 실시간으로 데이터를 저장, 추출 및 처리하는 이점을 제공하여 의사 결정자가 이동 중에도 통찰력을 가질 수 있도록 합니다.
데이터 패브릭과 데이터 가상화 비교
데이터 패브릭은 데이터 가상화와 혼동되는 경우가 많습니다. 데이터 가상화는 데이터 추상화 계층을 생성하며 데이터를 신속하게 통합해야 할 때 자주 사용됩니다. 민첩한 셀프 서비스 및 실시간 통찰력을 위해 온프레미스 또는 클라우드와 같은 다양한 소스의 데이터를 연결, 수집 및 변환합니다. 반면에 데이터 패브릭은 더 큰 스택 구성 요소 집합을 포함하여 고객 인텔리전스 및 IoT 분석과 같은 광범위한 사용 사례에 사용되는 포괄적인 종단 간 데이터 관리 아키텍처를 나타냅니다. 분석가는 데이터 가상화를 데이터 패브릭 아키텍처에 기여하는 하나의 도구로 사용할 것을 권장합니다. 점점 더 많은 데이터 통합 도구를 활용함에 따라 솔루션을 조직의 목표에 맞는 데이터 패브릭으로 확장할 수 있습니다.
데이터 패브릭 구현
데이터 패브릭은 OLTP(온라인 트랜잭션 처리) 개념으로 시작합니다. 온라인 트랜잭션 처리에서는 모든 트랜잭션에 대한 세부 정보가 데이터베이스에 삽입, 업데이트 및 업로드됩니다. 데이터는 구조화되고 정리되며 추가 사용을 위해 중앙 사일로에 저장됩니다. 패브릭의 어느 지점에서나 모든 데이터 사용자가 원시 데이터를 가져와 여러 결과를 도출할 수 있으므로 조직에서 데이터를 활용하여 데이터를 확장, 조정 및 개선할 수 있습니다.
데이터 패브릭을 성공적으로 구현하려면 다음 사항이 필요합니다.
데이터 패브릭 솔루션
기업들은 그 어느 때보다 빠른 속도로 다양한 플랫폼과 디바이스에서 데이터를 수집하고 있습니다. 독보적으로 우수한 컴퓨팅 용량, 더 나은 알고리즘, 경제적인 스토리지와 함께, 데이터의 혁신적이고 파괴적인 힘이 가속화되고 있습니다.
그러나 기업은 데이터를 작업에 활용하기 위한 노력에 있어 어려움을 겪고 있습니다. 데이터 스프롤 및 볼륨의 증가, 다양한 생태계 및 기존 관리 시스템이 최적의 데이터 사용을 방해하고 있습니다. 연구에 따르면 최대 68% ¹ 의 데이터가 대부분의 조직에서 분석되지 않고 있으며, 최대 82% ² 의 기업이 데이터 사일로로 인해 제한을 받고 있습니다.
완전한 데이터 기반이 되려면, 기업은 데이터 복잡성 문제를 극복하는 통합 데이터 전략과 아키텍처를 활용해야 합니다.
데이터 패브릭이란?
지금쯤 이미 좋은 소식을 들으셨을 겁니다. 비즈니스 업계가 데이터 기반의 의사 결정 방식을 포용하고 데이터 관행을 전례 없이 빠르게 발전시켜 나간다는 소식 말입니다. 이는 팬데믹이 가져온 결과일 수도 있지만, 기업은 데이터 가치를 확인했기 때문에 이제는 직감에 따라 의사 결정을 하던 과거로 절대 돌아가지 않을 것입니다.
좋지도 않고 나쁘지도 않은 소식도 있습니다. 기업이 너무 빨리 변화하는 바람에 그들이 분석할 수 있는 것보다 훨씬 더 많은 데이터를 축적했다는 사실입니다. 조직은 평균적으로 5년 전에 비해 10배 더 많은 데이터를 관리하고 있습니다. 그리고 효율적이고 규정을 준수하고 직관적이며 안전한 방식으로 데이터를 이용하려고 고군분투하고 있습니다.
문제가 데이터양이 아니라 데이터 저장 위치와 데이터 수집의 어려움 때문이라면 어떻게 할까요? 알고 보면, 평균 기업에는 900개 응용 프로그램이 있는데, 이 중 3분의 1만이 연결되어 있습니다. IT 리더 10명 중 9명이 이 같은 단절이나 데이터 사일로가 심각한 비즈니스 문제를 낳는다고 밝힙니다.* 이 문제에는 공통으로 비용 비효율성, 데이터 통합 오류, 누락되거나 부정확한 데이터 등이 들어가며 결국 데이터를 불신하는 사태를 부릅니다.
여기에 바로 오늘날 비즈니스가 갖는 기회가 있습니다. 기존의 사일로를 연결하고 이미 수집한 데이터의 힘을 적극 활용한다면, 기업은 현재와 미래에 데이터에 기반한 비즈니스 의사 결정을 내리도록 조직 전체의 역량을 강화할 수 있습니다. 그것에 도달하는 방법이 바로 데이터 패브릭이라는 새롭게 떠오르는 데이터 관리 설계를 구현하는 것입니다.
데이터 패브릭 설계란?
데이터 패브릭은 기업이 원활하게 데이터에 액세스하여 데이터를 통합하고 모델링, 분석 및 프로비저닝할 수 있는 떠오르는 데이터 관리 설계입니다. 데이터 패브릭은 데이터 저장소를 중앙에 두는 대신, 융합된 환경을 만들고 인공 지능과 메타데이터 자동화를 사용하여 지능적으로 데이터 관리를 확립합니다.
리더들이 생산성 향상과 분석 역량을 더 높이기 위해 지속적으로 전략을 개선함에 따라, 데이터 패브릭은 조직 데이터 자산의 다양성과 분포, 확장과 복잡함을 처리할 수 있는 단일 아키텍처입니다.
Tableau는 전 직원의 역량이 강화되어 모든 대화를 데이터 중심으로 할 때 최고의 의사 결정이 이루어진다고 생각합니다. Tableau는 이러한 가치관을 Tableau 플랫폼에 반영해, Tableau 플랫폼 내에 바로 데이터 관리 계층을 두는 방식으로 데이터 패브릭 설계를 지원합니다. 이로써 데이터 사일로를 허물고 데이터 및 분석의 전체 주기를 매끄럽게 지원합니다.
Tableau는 데이터 관리 원본에 데이터를 다시 쓰면서도 액세스, 데이터 품질 개선, 분석 사용 사례를 위한 데이터 준비와 모델링 등에 대한 균형을 맞춥니다. 그럼 그러한 기능을 하나씩 간략히 살펴보겠습니다.
분석 데이터 카탈로그. 데이터와 데이터 원본의 품질과 구조 정보를 검토하여 사용 상태를 더 잘 모니터링하고 선별합니다.
메타데이터 관리. 분석 여정 중에 사용자가 가장 필요로 하는 곳에 강력한 메타데이터를 제공하고, 엔터프라이즈 도구와의 양방향 통신을 보장합니다.
분석 여정 중에 사용자가 가장 필요로 하는 곳에 강력한 메타데이터를 제공하고, 엔터프라이즈 도구와의 양방향 통신을 보장합니다. 데이터 품질 및 계보. 사용자가 지정한 정책에 따라 데이터 원본을 모니터링하므로, 우수한 최신 데이터가 사용할 준비되었는지 쉽게 알 수 있습니다. 특정 데이터를 사용하는 사용자나 프로세스를 밝혀주기 때문에 신속하게 협업하고 변경이 있을 때 혼란을 줄일 수 있습니다.
사용자가 지정한 정책에 따라 데이터 원본을 모니터링하므로, 우수한 최신 데이터가 사용할 준비되었는지 쉽게 알 수 있습니다. 특정 데이터를 사용하는 사용자나 프로세스를 밝혀주기 때문에 신속하게 협업하고 변경이 있을 때 혼란을 줄일 수 있습니다. 데이터 모델링. 의미론적 계층과 물리적 계층을 활용하여, 분석에 적합한 스키마를 사용해 데이터를 결합하는 다양한 옵션을 제공합니다.
의미론적 계층과 물리적 계층을 활용하여, 분석에 적합한 스키마를 사용해 데이터를 결합하는 다양한 옵션을 제공합니다. 데이터 준비. 클릭 몇 번으로 데이터를 결합하고 변형 및 정리할 수 있는 시각적이고 직접적인 방식을 제공합니다.
클릭 몇 번으로 데이터를 결합하고 변형 및 정리할 수 있는 시각적이고 직접적인 방식을 제공합니다. 데이터, 보안 및 리소스 거버넌스: 모든 사용 사례에 일관된 정책으로 데이터의 수명 주기 전체에 걸쳐 데이터를 잘 관리합니다. 특히 중요한 데이터와 사용 권한이 원하는 방식으로 작동되게 합니다.
모든 사용 사례에 일관된 정책으로 데이터의 수명 주기 전체에 걸쳐 데이터를 잘 관리합니다. 특히 중요한 데이터와 사용 권한이 원하는 방식으로 작동되게 합니다. 데이터 통합. 데이터 웨어하우스, 데이터 레이크, CRM 등 각기 다른 플랫폼과 데이터 원본에 저장된 데이터에서 유용한 인사이트를 확보합니다.
데이터 웨어하우스, 데이터 레이크, CRM 등 각기 다른 플랫폼과 데이터 원본에 저장된 데이터에서 유용한 인사이트를 확보합니다. 가상화 및 탐색. 데이터 통합 또는 데이터 분석에 필요한 보유한 데이터 집합에 대한 이해도를 높여줍니다.
데이터 통합 또는 데이터 분석에 필요한 보유한 데이터 집합에 대한 이해도를 높여줍니다. 오케스트레이션. 데이터 품질 문제나 흐름 오류 등 데이터에 발생하는 일을 작업 흐름에서 바로 자동으로 조정합니다.
데이터 품질 문제나 흐름 오류 등 데이터에 발생하는 일을 작업 흐름에서 바로 자동으로 조정합니다. 증강 분석. AI를 사용하고 강화하여, 데이터 관리, 데이터 준비, 분석 같은 분석 프로세스를 클릭 몇 번으로 손쉽게 완료할 수 있게 합니다.
분석 우선 접근법
비즈니스 리더는 조직의 미래에 데이터 분석이 중요하다는 사실을 오래전부터 인지해 왔습니다. 글로벌 마켓 인텔리전스 회사인 International Data Corporation에 따르면, CEO의 83%가 조직이 더 데이터 기반이 되기를 바라면서 데이터 문화 성장에 투자하고 있습니다. 데이터로 앞서가는 기업은 현재 신규 고객 유치 가능성은 23배 더 높고 수익이 10% 성장할 가능성은 1.5배 더 높은 것으로 나타났습니다.
조직이 데이터 패브릭 여정을 시작할 때, 비즈니스 가치가 창출되는 영역에 집중하는 것이 중요합니다. 만약 대부분의 조직처럼 분석이 그러한 영역이라면 그대로 계속하시면 됩니다. 데이터 패브릭 구현에는 수년이 걸리므로, 데이터 패브릭의 가치를 보여주고 이해 관계자의 관심과 참여를 유지하기 위한 단기 계획을 세워야 합니다.
Tableau를 데이터 패브릭 설계의 한 요소로 구성하면, 데이터 이니셔티브 실행의 막바지에서 발생하는 전형적인 문제를 극복할 수 있습니다. 예를 들면 다음과 같습니다.
비즈니스 사용자의 채택이 미비함. 비즈니스 부서에서 이미 업무에 사용하는 환경에서 수천 명이 이용하도록 함으로써 채택을 획기적으로 늘리십시오. 그러면 해당 플랫폼은 비즈니스 사용자에게는 데이터와 거버넌스에 액세스하고, 분석가/IT 담당자에게는 기업 프로젝트를 관리하는 협업 영역이나 융합 환경이 됩니다.
비즈니스 부서에서 이미 업무에 사용하는 환경에서 수천 명이 이용하도록 함으로써 채택을 획기적으로 늘리십시오. 그러면 해당 플랫폼은 비즈니스 사용자에게는 데이터와 거버넌스에 액세스하고, 분석가/IT 담당자에게는 기업 프로젝트를 관리하는 협업 영역이나 융합 환경이 됩니다. 거버넌스 표준 구현이 지체됨. 이용자가 데이터를 소비하는 곳에 신뢰와 검증 가능성을 마련하십시오. Tableau는 데이터 최신성과 인증 상태, 데이터 품질 경고, 필드 정의, 데이터 원본, 전반적인 사용량에 관한 정보를 제공합니다.
이용자가 데이터를 소비하는 곳에 신뢰와 검증 가능성을 마련하십시오. Tableau는 데이터 최신성과 인증 상태, 데이터 품질 경고, 필드 정의, 데이터 원본, 전반적인 사용량에 관한 정보를 제공합니다. 데이터가 EDW를 벗어나면 가시성을 잃음. 오늘날 데이터의 멋진 점은 아주 다양한 방식으로 사용될 수 있다는 점입니다. 하지만 동시에 이는 거버넌스를 어렵게 하는 함정이 되기도 합니다. 누가 데이터를 이용하고 어떤 식으로 데이터와 상호 작용하는지 알려주는 메트릭을 통해 IT 담당자는 어떤 데이터 원본이 가장 큰 가치를 제공하는지에 대한 진정한 인사이트를 얻고, 중요한 데이터가 사용되는지 발견하고 자동으로 교정할 수 있습니다.
데이터 패브릭 설계에 대해 자세히 알아보고, “Now Tech: Data Fabric Vendors Q1 ’22″를 통해 데이터 패브릭 시장에 대한 Forrester의 의견을 살펴보십시오.
[기고] ‘데이터 패브릭(Data Fabric)’이 필요한 이유
권동수 효성인포메이션시스템 데이터사업팀 전문위원
[컴퓨터월드] 폭발적으로 증가하는 데이터의 홍수 속에서 기업들은 실제 비즈니스에 중요한 인사이트를 주는 데이터를 확보하기 위해 고군분투 중이다. 그러나 광범위하게 분산된 데이터의 효율적인 활용방안 부재와 데이터 관리 부족으로 가치 있는 데이터를 얻는 것은 결코 쉬운 일이 아니다.이를 해결하기 위해 에지(edge)-클라우드 환경에서 데이터 패브릭(Data Fabric) 관리의 중요성이 높아지고 있다. 데이터 패브릭은 데이터 태그 관리(통합 검색)를 기반으로 데이터 활용성을 제고하고 비즈니스 가치 창출을 강화하기 위한 데이터 플랫폼의 새로운 디자인 콘셉트이자 아키텍처 전략이다.
데이터 패브릭과 데이터 추상화
데이터 패브릭은 직물처럼 교차되어 엮어진 연결망의 특성에서 이름을 따온 것으로, 각기 다른 리소스들을 하나의 플랫폼에 통합시키고 데이터 관리를 단순화한다. 이로써 에지-클라우드 환경 어디서든 손쉽게 데이터를 액세스하고 공유할 수 있는 일관된 데이터 관리 프레임워크를 구축할 수 있도록 돕는다.
컴퓨터 과학은 추상화(abstraction)를 좋아하며 이는 데이터 관리에도 적용되고 있다. 데이터 관리 영역에서 추상화를 늘리는 것은, 더 이상 데이터 저장소와 직접 상호작용하지 않도록 프로그램을 변경하는 것을 의미한다. 데이터 패브릭은 추상화를 활용해 어떠한 저장소라도 동일한 인터페이스 방식을 제공, 사용자가 원하는 데이터에 신속하게 액세스할 수 있게 한다. 복잡하고 다양한 각 시스템 별 애플리케이션에 접근하는 대신 데이터 카탈로그의 태깅 및 검색 기능을 활용하여 원하는 데이터의 위치를 즉시 알아내고 활용할 수 있다.
데이터 추상화의 또 다른 이점은 데이터에 액세스하는 방식의 변경 없이 다양한 방식의 저장소를 생성 또는 변경할 수 있다는 것이다. 애플리케이션을 중단하지 않고 데이터 저장 방식을 변경할 수 있으며, 주요 기능은 다음과 같다.
■ 정책 기반 데이터 관리: 사용자는 데이터 추상화를 통해 데이터 저장소 비용과 성능 간의 적절한 균형에 대해 정책을 수립할 수 있다. 예를 들어 배치(batch) 애플리케이션의 경우 스토리지 비용 절감을 위해 최적화하는 것이 좋으며, 고성능 워크로드는 더욱 빠르고 응답성이 뛰어난 저장소가 합리적일 수 있다. 또는 시스템이 워크로드를 관찰해 상황에 맞는 제안을 할 수도 있다.
■ 자동화된 메타데이터 개선: 데이터는 종종 더욱 완전하고 사용 가능한 메타데이터 집합을 생성할 수 있는 단서를 가진다. 만약 지리적 위치 좌표가 있다면 우편번호, 도시, 국가를 추가할 수 있고, 상품 코드를 이용할 수 있다면 상품 정보를 입력할 수 있다.
■ 데이터 전환 영역: 표준화할 수 있는 많은 데이터 파이프라인을 공통으로 전환할 수 있다. 수십 개의 데이터 파이프라인을 각각 중복 제거와 병합 루틴을 시행하지 않고도 모든 데이터가 중복 제거될 수 있도록 중복 제거 영역에 데이터를 배치하면 된다.
에지-클라우드 데이터 패브릭을 위한 핵심 기술
최근 IT환경에서 에지의 중요성이 더 높아지고 있다. 에지 영역의 데이터를 민첩하게 처리하고 사용하기 위해서는 새로운 애플리케이션을 질서 있게 지원하는 데이터 패브릭이 필수다. 데이터 패브릭은 데이터 관리 및 데이터 품질과 성능을 향상시킬 뿐 아니라, 데이터 관리, 정책 기반 오케스트레이션 및 확장된 자동화를 통해 데이터 레이크를 성공으로 이끈다.
■ 데이터 관리 개선
데이터 패브릭은 기업의 비즈니스에 도움이 되는 검증된 데이터 세트를 생성하는 동시에 민감한 데이터를 보호하며 엔터프라이즈 데이터 관리를 크게 개선해 준다. 이를 위해서는 기업의 모든 데이터, 에지-코어-멀티 클라우드를 프로파일링하고 식별되지 않은 관계 및 계보를 발견할 수 있는 머신러닝 기반의 데이터 카탈로그가 필요하다. 전체 조직에서 일관되고 완전한 데이터를 사용할 수 있도록 데이터를 검증하고 향상시킬 수 있다.
또한, 적절한 거버넌스 및 규정준수를 위해 AI/ML 모델에서 데이터를 사용하는 시스템을 포함, 모든 시스템에서 민감 데이터를 보호, 추적할 수 있어야 한다. 그리고 데이터 포털(portal)은 사용자가 필요할 때마다 데이터에 쉽게 액세스 하고, 빠른 검색을 지원한다.
■ 데이터 민첩성 향상
데이터 패브릭은 데이터 사일로를 해소하고 기업이 클라우드, 데이터센터 또는 엣지에 상관없이 모든 시스템에서 데이터를 통합하고 비용과 프로세스를 최적화할 수 있게 한다. 사일로에서 벗어나 데이터를 더 유용하게 하려면 기업은 모든 데이터 레이크 및 데이터 웨어하우스를 클라우드 앱, IoT 장치를 포함한 모든 소스의 데이터와 통합하여 대규모 데이터 파이프라인을 관리할 수 있어야 한다.
효성인포메이션시스템은 데이터 레이크를 지원하는 루마다(Lumada) 포트폴리오를 통해, 효과적인 데이터 추상화를 위한 기술을 비롯하여 체계적인 데이터 관리를 위한 기술력을 선보이고 있다. 루마다 포트폴리오를 활용하면 멀티 클라우드 패브릭을 관리하고, 데이터 관리 및 보호를 가속하며, 현대적인 분석과 데이터 과학 인프라를 구현할 수 있다.
이 모든 여정은 시작에 불과하다. 우리는 앞으로 발생할 많은 데이터에서 기업의 생존을 책임질 가치 있는 데이터를 더욱 손쉽게 발견하고 관리할 수 있도록 진화하는 데이터 패브릭을 주목해야 할 것이다.
데이터 패브릭 가이드
석유 경제는 석유를 가솔린에서 플라스틱에 이르기까지 무엇이든 만들 수 있는 정제소 및 공장으로 운반하는 수많은 파이프라인에 달려있습니다. 엔터프라이즈 데이터 애널리틱스 에코시스템은 데이터에 대한 액세스를 표준화하고 이를 사용하여 고급 사용 사례를 촉진하기 위해 석유 경제와 동일한 인프라가 필요하며, 데이터 패브릭이 바로 이것을 제공합니다.
데이터는 한때 “새로운 석유”라고 불렸습니다. 그러나 실제 석유와 마찬가지로 데이터는 최종 고객이 멀리 떨어져 있고 완전히 다른 환경에 있더라도 지속적으로 액세스가 가능한 경우에만 가치를 제공합니다. 또한 소비자의 특정 요구에 따라 잠재적으로 다양한 제품으로 변형될 수 있어야 합니다.
데이터 패브릭이란?
데이터 패브릭은 클라우드와 온프레미스 데이터 엔드포인트 간의 연결 조직 역할을 하는 통합된 데이터 통합 및 관리 계층입니다. 데이터 패브릭의 목적은 모든 데이터를 통합하고 일관된 분산 액세스를 지원하며, 사용자를 위해 모든 범위에서 검색, 통합, 오케스트레이션 및 거버넌스 기능을 가능하게 하여 독립 실행형 사일로를 제거하는 것입니다.
애널리틱스 에코시스템이 거의 정의상 분산되어 있기 때문에 데이터 패브릭은 특히 중요합니다. 이는 클라우드 트렌드의 역할이 큽니다. 조직은 데이터 웨어하우스 기반 비즈니스 인텔리전스 플랫폼 및 Hadoop 기반 데이터 레이크와 같이 다양한 위치에 데이터를 분산하고 있습니다. 데이터 패브릭은 일관되고 안정적이며 유연한 쿼리를 통해 모든 곳에 걸쳐 데이터 소스를 데이터 소비자에게 연결하는 스레드 역할을 합니다.
데이터 패브릭은 또한 고도로 자동화되어 있으며 대량/일괄 처리 및 데이터 가상화 접근 방식과 같은 기존 데이터 통합 및 제공 방식을 결합할 수 있습니다. 이는 자동으로 구성, 관리 및 조정되는 것처럼 오케스트레이션도 가능합니다. 데이터 패브릭 개념을 개척한 Gartner는 최신 데이터 패브릭도 다음과 같은 최신 기술 및 관행을 통합해야 한다고 주장합니다:
메타데이터 활성화 및 능동적 관리를 포함하는 임베디드 인공 지능(AI) 및 머신 러닝(ML).
새로운 노드를 더 쉽게 구체화하고 자연어 처리와 같은 사용 사례를 지원하는 시맨틱 지식 그래프.
자동화된 테스트, 모니터링 및 통계적 프로세스 제어와 같은 관행을 통해 애널리틱스 주기를 단축하는 애자일 방식의 방법론인 DataOps.
완전한 데이터 패브릭을 구성할 수 있는 일체형 데이터 패브릭 소프트웨어는 없습니다. 대신 각 기업은 구축 및 구매한 인프라를 결합하여 특정 요구 사항을 충족하는 데이터 패브릭을 생성해야 합니다.
데이터 패브릭의 5가지 필수 기능
데이터 패브릭을 연결할 때 기업은 다음 기능을 확인해야 합니다:
1. 어디서나 일관된 쿼리
데이터 패브릭은 궁극적으로 데이터 과학자와 같은 최종 사용자가 어디서든 쿼리를 시작할 수 있도록 상호 연결되는 이기종 시스템의 근본적인 복잡성을 추상화해야 합니다. 언제 어디서나 이러한 편리함을 누릴 수 있는 것이 데이터 패브릭의 근본적인 이점입니다. 사용자는 Hadoop 데이터 레이크 또는 데이터 웨어하우스에서 시작할 수 있지만 상황에 관계없이 필요한 쿼리를 완료하기 위해 병렬로 작동하는 양방향 데이터 액세스 및 고품질 커넥터를 사용할 수 있어야 합니다.
2. 지속적인 데이터 검색, 통합 및 카탈로그 작성
데이터 패브릭 아키텍처의 고유한 자동화를 통해 모든 소스에서 데이터를 능동적으로 찾은 다음 해당 소스를 중요한 관계를 노출하는 지식 그래프에 통합할 수 있습니다. 데이터 카탈로그는 데이터 레이크, 데이터 웨어하우스 또는 기타 디자인 패턴에 있든 상관없이 사용자가 원하는 것을 검색하는 데 도움이 되는 메타데이터와 검색 도구를 결합하기 때문에 데이터 패브릭의 중요한 구성 요소이기도 합니다.
3. 민주화된 셀프 서비스
클라우드 인프라와 마찬가지로 데이터 패브릭 아키텍처는 안전한 셀프 서비스 인터페이스를 통해 사용자의 액세스를 간소화하는 것이 목적입니다. 기업의 데이터 패브릭 사용에 대한 최근 보고서에서 Forrester는 이 셀프 서비스를 가능하게 하는 두 가지 중요한 요소를 강조했습니다:
검색 및 분류에서 수집 및 변환에 이르기까지 위에서 언급한 기능을 자동화하는 AI 및 ML. 매우 복잡한 데이터 패브릭 아키텍처도 쉽게 배포할 수 있는 제로코드 및 로우코드 배포 옵션.
전반적으로 셀프 서비스를 통해 비즈니스 사용자는 데이터 준비 워크플로를 제어할 수 있습니다. 샌드박스 환경 내에서 작업이 가능하며 모든 소스의 데이터에 액세스하고 선호하는 도구를 사용하여 데이터를 조작하고 프로덕션 환경으로 보낼 수도 있습니다.
4. 수동 및 활성 메타데이터 간 변환
Gartner는 이 기능을 데이터 패브릭 개념의 기초로 강조했습니다.
수동 메타데이터는 정적입니다. 일반적으로 설계 단계에서 생성되고 데이터 스키마 및 비즈니스 정의와 같은 항목의 문서로 유지 관리됩니다. 활성 메타데이터는 동적이며 액세스 빈도 및 데이터 품질과 같은 매개변수에 변화하는 통찰력을 제공합니다.
데이터 패브릭 내에서 AI 및 ML은 메타데이터를 지속적으로 분석한 다음 사용자가 이해하기 쉬운 그래프 모델을 구축하여 수동 메타데이터를 활성 메타데이터로 변환합니다. 그런 다음 이러한 AI 및 ML 알고리즘은 이 분석 결과를 사용하여 엔터프라이즈 에코시스템에서 데이터를 자동으로 관리하는 방법을 최적화합니다. 이런 방식을 통해 활성 메타데이터는 데이터를 준비하고 탐색할 때 수동 작업의 필요성을 줄이는 데 도움이 됩니다.
5. 확장성 및 유연성
리터럴 패브릭과 마찬가지로 데이터 패브릭은 변경 사항을 수용할 수 있을 만큼 충분히 유연해야 하며, 데이터 액세스를 방해하는 장벽이 되어서는 안 됩니다. 이 목표를 달성하기 위해 중요한 기능은 다음과 같습니다:
병렬 및 클러스터 인식 데이터 전송
자동 데이터 형식 변환 및 유형 관리
플랫폼별/플랫폼 고유 기능을 사용하는 기능
플랫폼 전반에 걸친 정책 기반 보안
로컬 및 원격 시스템의 로깅 및 모니터링
최적의 워크로드 성능을 위한 푸시다운 처리
데이터 패브릭의 가장 큰 이점은 무엇인가요?
데이터에 대한 일관된 분산 액세스를 통해 사용 편의성이 향상된다는 것이 데이터 패브릭의 주요 이점이며, 이것은 세 가지 하위 이점으로 나눌 수 있습니다:
1. 품질 저하없이 데이터 전송 가속화
데이터 패브릭 기술은 데이터 검색 및 수집에서 전달 및 소비에 소요되는 시간을 단축합니다. 또한 활성 메타데이터를 사용하여 엔터프라이즈 데이터를 통합 및 관리하는 AI 및 ML 알고리즘을 통해 데이터 품질을 지속적으로 개선합니다.
2. 셀프 서비스 소비 및 협업
데이터 패브릭 솔루션을 사용하면 비즈니스 및 기술 사용자 모두 원하는 것을 빠르고 일관되게 찾을 수 있습니다. 이는 조직에서 급증하는 데이터 소스와 사일로, 빅 데이터 사용 사례를 처리하는 요즘 매우 중요합니다. 데이터 패브릭은 따라하기 쉬운 스레드로 모든 것을 연결합니다.
3. 자동화된 통합, 관리 및 데이터 거버넌스
데이터 패브릭 아키텍처는 고도로 자동화되어 있기 때문에 데이터 소스 통합 및 데이터 품질 분석과 같이 한때 상당한 수작업이 필요했던 작업을 수행할 수 있습니다. 자동화로 인해 시간을 절약하고 오류 및 규정 준수 문제의 위험을 줄일 수 있습니다.
데이터 패브릭의 가능성 수용
테라데이타의 고속 병렬 데이터 패브릭 시스템인 테라데이타 QueryGrid는 데이터에 기업이 필요로 하는 일종의 확장성, 유연성, 통합, 포괄적인 관리 및 철저한 거버넌스를 제공합니다. 사용자는 멀티 클라우드, 하이브리드 클라우드 또는 온프레미스 환경에서 선택한 도구를 사용하여 데이터에 액세스하고 작업할 수 있습니다.
데이터 패브릭 연결을 시작하는 방법에 대해 자세히 알아보려면, QueryGrid가 테라데이타 Vantage 및 Starburst Enterprise Presto와 함께 작동하여 어떻게 분석 환경을 현대화하고 통찰력을 가속화하는지 아래 웨비나에서 확인하세요.
칼럼ㅣ데이터 레이크 저물고 ‘데이터 패브릭’ 떠오른다
ⓒGetty Images
지난 20년 동안 CIO, CDO, 애널리스트가 기업 인프라에 저장된 데이터에 관해 의사결정을 내리면서 중앙 집중화를 강조하는 문화를 조성했다. IT 팀의 보호 아래에서 데이터를 처리할 때 (데이터가) 가장 잘 통제되고 유용하다는 것이었다.이 기간에는 해당 논리에 관한 논쟁이 있을 수 없었다. 이로 인해 데이터 웨어하우징을 통한 첫 번째 데이터 통합의 물결이 일었다. 1990년대에 이는 데이터를 사전 정의된 사용 사례에 맞춰 고정된 구조적 형태로 사전 처리 및 저장하여 여러 비즈니스 인텔리전스 플랫폼을 단일 솔루션으로 연결하는 효과적인 방법이었다.하지만 시간이 지나면서 이러한 아키텍처에 광범위한 사용자 정의 및 데이터 유지관리가 필요하다는 게 명확해졌고, 확장 요건에도 어려움을 겪었다. 게다가 데이터 프로젝트의 소유권을 부서별로 가져가기 어려웠기 때문에 데이터가 비즈니스에 미치는 전반적인 영향도 감소했다.그리고 이 문제를 해결하기 위해 새로운 유형의 아키텍처 ‘데이터 레이크’가 등장했다. 기업들은 데이터 레이크를 통해 모든 정형 및 비정형 데이터를 규모에 상관없이 중앙 저장소에 저장할 수 있었다.데이터 웨어하우징과 마찬가지로 데이터 레이크는 데이터 처리 방식을 변화시켜 실시간 스트리밍 기능과 정형 및 비정형 데이터 처리 기능을 제공했다. 또 데이터 레이크는 데이터 웨어하우스보다 데이터 소비, 저장, 출력을 더욱더 잘 처리하고 메타데이터를 적용하여 데이터 웨어하우스보다 유연한 성능을 제공할 수 있었다.하지만 이런 발전에도 불구하고 한계점은 남아 있었다. 기업 내의 데이터 팀은 보유한 데이터로 더 많은 일을 할 수 있었지만 서로 다른 요구사항을 가진 비즈니스 내 여러 부서로부터 받은 임시 요청을 처리하느라 진땀을 빼고 있었다.데이터 플랫폼 아키텍처의 모놀리식 특징으로 인해 데이터 팀은 관리 중인 데이터를 제대로 파악할 수 없었다. 왜일까? 데이터 레이크 아키텍처를 기반으로 하는 이러한 중앙 집중식 데이터 플랫폼은 조직 내에서 서로 다른 도메인에 속하는 데이터를 호스팅하고 소유한다.데이터 레이크와 데이터 웨어하우스 접근법의 핵심은 데이터를 (한 장소에서 다른 장소로) 물리적으로 이동하는 것이고, 여기서 이를 관리할 스토리지 및 컴퓨팅 성능을 모두 갖추곤 있지만 이게 기업이 (보유한) 데이터를 최대한 활용할 수 있는 최선의 방법은 아니다.금융 서비스 조직을 예로 들어보자. 은행의 데이터 플랫폼에 수집되는 데이터에는 고객신원확인(Know Your Customer; KYC)과 같은 컴플라이언스 정보, 제품 및 서비스 기록 등의 계정 정보, 신용 등급, 수입, 부채, 은행과의 상호작용 등이 포함된다.또한 이 플랫폼은 은행의 인프라 성능에 관한 운영 데이터와 외부 데이터(예: 부정적인 뉴스 및 소셜 미디어 분위기 등)도 수집한다. 서로 다른 부서 또는 도메인은 이러한 데이터세트를 1개 이상 사용해야 한다.데이터 레이크에서 데이터 팀은 다양한 도메인을 위한 분석 파이프라인을 준비하여 이러한 도메인 팀의 수많은 사용자가 데이터를 사용할 수 있도록 해야 한다. 데이터를 정제하고, 풍부하게 만들며, (다양한 고객 니즈를 해결할 수 있는) 사용 가능한 데이터로 변환하기 전에, 데이터를 수집해야 하는 데이터 팀의 부담이 너무 크다.어떻게 모든 단일 도메인 내 데이터의 특징을 이해할 수 있을까? 때때로 데이터는 다양한 도메인에서 제공되며, 데이터 팀은 특정 사용 사례뿐 아니라 도메인 요구사항까지 알아야 한다. 즉, 많은 입력 도메인(소스)을 필요한 대상 도메인의 출력에 맞춰야 하기 때문에 광범위한 분석이 필요하다.게다가 조직적으로 고립돼 있다는 점이 어려움을 가중시킨다. 따라서 (데이터 팀에) 데이터를 제공하는 비즈니스팀은 팀 내에 데이터 전문가가 없기 때문에 인사이트를 얻을 수 있거나 정확한 데이터를 제공하는 방법을 모를 가능성이 크다.그래서 가트너는 비즈니스 리더와 IT 리더가 데이터 및 애널리틱스 전략에 있어서 데이터 레이크의 효율성과 유용성을 과대평가하고 있다고 밝힌 것이다.기업들이 데이터를 효과적으로 사용하려면 정확한 의미 체계를 활용하여 (데이터가 생성된) 도메인에서 데이터를 성숙시켜야 한다. 또한 데이터를 본래 있던 위치에서 액세스할 수 있어야 하고, 다른 도메인의 사용자가 발견 및 활용할 수 있도록 이는 최신 상태로 유지돼야 한다.이를 위해 그리고 데이터 액세스의 다른 혁신을 달성하고 추가적인 맥락을 통합하며 전례 없는 데이터 수익 실현 능력을 지원하기 위해 조직 및 데이터 아키텍처의 변화가 필요하다.가트너에 따르면 이 변화의 열쇠는 ‘분산 네트워크 환경에서 원활한 데이터 액세스 및 공유’를 지원하기 위해 여러 데이터 관리 기술이 작동하는 디자인 개념인 ‘데이터 패브릭(Data Fabric)’이다.데이터 패브릭은 통합 데이터 관리 프레임워크를 활용하여 이를 달성한다. 이 프레임워크는 데이터 통합, 데이터 시각화, 데이터 관리 기술의 조합을 통합하여 데이터 준비 가속화 등의 여러 비즈니스 프로세스를 지원하는 의미 계층을 생성한다.데이터 패브릭이 동적으로 바뀌면서 ‘데이터 메시(Data Mesh)’로 전환하고 있다. 이는 진화된 분산 데이터 아키텍처로, 메타데이터에 초점을 맞추며 머신러닝을 통해 데이터 발견과 범주화를 가능하게 할 뿐만 아니라 시스템 성능을 최적화한다.데이터 메시 비전은 데이터 가상화를 기반으로 한다. 여기서 데이터는 여러 비즈니스 유닛에 걸친 소스에 위치하며 유연하고 지능적인 데이터 인프라 덕분에 기업 전반의 사용자가 셀프 서비스 방식으로 소비할 수 있다.데이터 패브릭과 데이터 메시 아키텍처는 기업이 도메인 데이터를 효과적으로 사용하는 데 있어 겪는 기술적 및 조직적 문제를 극복하는 데 필수적이다.하지만 데이터 메시 아키텍처에는 수많은 접근방식이 있고, 이는 채택한 접근법의 강도에 따라 달라질 수 있다. 데이터 메시 접근법 중 하나는 기업이 중앙 집중식 데이터 환경에 있더라도 분산 방식으로 데이터를 수집하여 도메인 데이터를 본래 위치에 그대로 유지하는 기능을 확보하는 것이다.이 데이터 메시 접근방식을 사용하면 데이터 팀이 도메인을 파악해야 하는 복잡성과 데이터 소스를 대상 도메인에 필요한 결과와 일치시켜야 하는 필요성이 지식 그래프와 의미론적 메타데이터 계층을 사용해 효과적으로 자동화된다.이 계층은 기업이 데이터를 쉽게 찾고 검색할 수 있도록 데이터의 의미를 설명해준다(사람에게는 사용하기 쉬운 데이터 카탈로그를 제공하며, 기계에는 어떤 데이터를 어느 시점에 가져와야 하는지 알려준다).공유 메타데이터 모델을 사용해 모든 부분을 자동화된 방식으로 손쉽게 구성하여 상호운용성을 제공할 수도 있다. 여기서 설명하는 계층과 리소스는 조직에 기존 데이터 플랫폼과 아키텍처를 사용하여 얻을 수 없는 지식을 제공한다.데이터 레이크와 데이터 웨어하우스는 구식이 아니다. 이제 새로운 세대의 데이터 인프라 노드다.* Szymon Klarman은 블랙스완 테크놀로지스(BlackSwan Technologies)의 지식 아키텍트다. [email protected]
데이터 민주화 2부-데이터 패브릭과 능동 메타데이터
1. 데이터 패브릭이란?
기업에서 데이터를 자산화하고, 데이터 활용을 민주화 하기 위해서는 모든 직원이 필요한 데이터에 대해 빠르고 쉽게 접근×활용할 수 있어야 한다.
그러나, 기존의 특정 조직 중심(IT부서, 데이터 및 분석 전담조직)의 데이터 접근×활용×관리 체계에서 벗어나 전사 업무조직으로 데이터에 대한 권한과 도구를 확산한다고 하더라도 여전히 장애물이 존재한다.
빅데이터와 클라우드 시대의 활성화로 점점 더 많은 새로운 데이터가 이기종의 다양한 시스템에 분산 저장되고 있어 데이터에 대한 쉽고 빠른 접근과 활용, 그리고 통합적인 관리가 어려운 환경에 직면하고 있기 때문이다.
‘데이터 패브릭(Data Fabric)’은 이렇게 다양한 이기종 시스템에 분산되어 저장된 데이터에 대한 통합된 접근과 활용을 위한 솔루션으로써 최근 각광받고 있다. 가트너에서도 2022년 이후의 12가지 차세대 전략기술 중 하나로 데이터 패브릭을 지목한 바 있다.
데이터 패브릭에 대해 가트너에서는 “분산된 데이터 환경에서 데이터 공유를 위한 원활한 접근을 가능하게 하는 체계”로 정의하고 있다. 이외에도,
“데이터세트가 너무 커서 물리적으로 이동할 수 없게 되는 현상을 해결하기 위한 솔루션”(Will Ochandarena, AWS의 수석 상품 매니저)
“모든 조직의 데이터를 확장 가능한 단일 플랫폼으로 통합하는 포괄적 방법” (MapR)
“물리적 환경과 가상 환경의 경계를 넘어서는 대규모로 구현된 정보 네트워크” (Fobes)
“분산된 환경에서 데이터 액세스와 공유를 보다 쉽게 하는 일관된 단일 데이터 관리 프레임워크 디자인”(TechRepublic)
등으로 데이터 패브릭에 대해 다양하게 정의하고 있으며, 종합해보면 “다양한 시스템에 분산된 대규모 데이터에 대한 통합적인 접근과 공유를 위한 정보네트워크 체계”라 할 수 있다.
2. 능동적 메타데이터(Active Meta Data)
가트너에서는 데이터 패브릭을 위한 핵심 3가지 레이어를 데이터 통합, 지식그래프와 능동 메타데이터 분석, 데이터 카탈로그(메타데이터)로 제시했다.
위 그림에서 보는 바와 같이 데이터 패브릭이 제대로 작동되고 지속성을 가지기 위해서는, 다양한 분석기술을 활용하여 분산된 데이터에 대한 지속적이고 지능적인 통합과 제공이 능동적으로 이루어지는 메타데이터 체계 마련이 필수적이다.
기존의 메타데이터 관리는 데이터 선별과 등록이 ‘사람’의 ‘판단’ 의해 ‘간헐적’인 ‘수작업’으로 이루어지는 ‘정적이고 수동적인 방식(Passive Meta Data)’이었다. 그러나 다양한 새로운 데이터가 끊임없이 생성되어 분산된 시스템에 저장되는 현재의 환경에서, 수동적인 메타데이터 관리 방식으로 데이터를 인지×등록하기에는 불가능해지고 있다. 또한 개별 개별의 새로운 데이터를 인지하는 문제 뿐만 아니라, 데이터와 데이터간의 유의미한 관계를 사람이 판단하는 데에도 한계에 봉착해 있다.
이러한 문제점을 해결하기 위해 ‘상시 작동’하면서, ‘지능적으로 생성’하고, ‘처방’으로 이어지는 ‘플랫폼’ 기반의 능동 메타데이터(Active Meta Data) 체계로의 전환이 이루어지고 있다.
즉, 항상 새로운 데이터 발생과 사용을 감시하여 수집하고(상시 작동), 데이터 간의 관계에 대한 지능화 된 파악을 통해 연결하고(지능적 관계 생성), 나아가 최적화 된 데이터 운용 및 데이터 사용현황 기반 시스템 운용을 제안해주고(처방), 데이터에 대한 검색과 협업이 원활이 지원(플랫폼)되는 것이 능동 메타데이터 관리×활용 체계이다.
이러한 능동 메타데이터 체계로 전화하기 위해서는 다음의 기술적 요소가 지원되어야 한다.
1) 메타데이터 레이크(Meta Data Lake)
모든 종류의 메타데이터를 원시 및 추가 처리된 형식으로 저장하는 통합 저장소로, 단순 데이터 저장소로서의 기능 뿐만 아니라 개방형 API를 통해 쉽게 액세스 할 수 있는 기능을 포함해야 한다.
2) 지식 그래프 분석(Knowledge Graph Anaytics)
메타데이터를 개별 개별 등록하는 것에서 나아가, 데이터 간의 관계를 지능화 된 네트워크 분석을 통해 인지하여 생성할 수 있어야 한다.
3) 증강 분석(Augmented Analytics)
규칙 기반 프로그래밍에 의존하지 않고 데이터에서 학습하는 머신러닝과 구조화 되지 않은 데이터를 분석할 수 있는 자연어처리(Natural Language Processing) AI를 통합적으로 활용하는 분석이 필요하다. 이를 통해 데이터에 대한 통찰력 발굴을 자동화하고, 사용자는 자연어로 데이터를 쿼리할 수 있는 환경이 제공되어야 한다.
4) 증강 데이터 관리(Augmented Data Management)
지속적으로 증가하는 데이터 관리 작업 부하를 개선하고 자동화 하기 위한 AI 기술이 적용된 데이터 관리체계가 필요하다.
5) 검색엔진, 협업도구
데이터 포탈을 통해 데이터 카탈로그(메타데이터)에 대해 자연어 기반으로 검색(Pull)하고, 사용자에게 데이터 사용량이 많은 인기 데이터나 검색한 데이터와 연관된 데이터를 추천(Push) 하는 검색엔진이 제공되어야 한다.
또한 데이터 관리, 접근 및 활용을 위한 사용자간 협업(토론, 알람, 신청×승인 워크플로우, 크라우드 소싱 등)을 위한 도구가 플랫폼 내에 통합되어 운영되어야 한다.
오늘날 많은 기업들이 데이터 접근과 활용의 문제점을 해소하기 위해 데이터 포탈 시스템을 구축하기 시작했다. 데이터 포탈 구축 시, 기존의 기술(IT) 메타에서 나아가 비즈니스 메타와 운영 메타 정보를 포함하는 확장된 데이터 카탈로그를 고민하고 있다.
그러나 메타데이터의 정보 관리 범위를 확장하더라도 과거의 수동 메타데이터 방식으로는 분산되고 점점 더 복잡해지고 거대해지는 데이터 환경하에서는 지속적이고 지능화 된 데이터 관리, 접근, 활용에 한계를 가질 수 밖에 없다.
데이터를 자산화하고, 민주화 된 활용이 제대로 이루어지기 위한 데이터 패브릭 체계로의 패러다임 전환을 위해서는 능동 메타데이터 구축이 필수적이다.
저작권자 © 투이컨설팅 무단전재 및 재배포 금지
키워드에 대한 정보 데이터 패브릭
다음은 Bing에서 데이터 패브릭 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 데이터 패브릭(Data Fabric) | TIBCO
- 동영상
- 공유
- 카메라폰
- 동영상폰
- 무료
- 올리기
데이터 #패브릭(Data #Fabric) #| #TIBCO
YouTube에서 데이터 패브릭 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 데이터 패브릭(Data Fabric) | TIBCO | 데이터 패브릭, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.