데이터 가상화로 기업 데이터 관리 문제 해결 나서는 ‘디노도’

클라우드 시대 접어들며 더욱 어려워지는 데이터 관리 문제의 해결사

데이터 가상화에 엔터프라이즈 환경 위한 기능 추가

통합?관리?배포 중심의 데이터 가상화 전략이 핵심

기업의 데이터 환경은 해가 거듭할수록 분산되고 흩어지고 있다. 데이터 유형 역시 데이터 웨어하우스, 데이터 레이크에 더해 큐브, 파일, 스트리밍 데이터, 사물인터넷, 클라우드 등 점점 다양해지고 있다. 데이터를 사용하는 소비자의 유형을 보면, 머신러닝이나 모바일 앱 고도화 등이 지속적으로 전개되고 있고, 전개되는 속도 또한 매우 빨라지고 있는 것이 바로 현재 기업들이 직면하고 있는 데이터 분야의 현실이다.

그렇다면, 지금까지 기업은 복잡해지는 데이터 환경에 어떻게 대응을 해왔을까? 90년대의 경우 스토리지는 비용이 많이 들었고 운영 시스템은 시계열 분석에 필요한 과거 데이터를 보유할 수 없었다. 따라서, 분석에 필요한 데이터를 데이터 웨어하우스와 같은 중앙 저장소로 이동시켰고, 특정 리포트 또는 분석을 위해 주제별 데이터 마트로 다시 이동하는 것이 모범 사례였다. 데이터를 복제하여 물리적으로 옮긴 것이다. 하지만, 2000년대와 2010년대에 소셜 데이터, 클라우드 데이터, 빅데이터 등이 등장해 데이터 양이 방대해지면서 데이터 웨어하우스, 데이터 레이크에 물리적으로 모든 데이터를 저장하는 것이 불가능해졌다.

데이터 주도 기업(data-driven) 문화가 강조되면서 데이터 요구조건이 점점 더 까다로워지고 있는 가운데, 주요 요구사항으로는 통합되고 신뢰할 수 있는 데이터, 쉬운 액세스, 데이터 소비자가 선택한 셀프서비스 도구, 머신러닝과 인공지능 프로젝트에 필요한 데이터, 민첩성, 중앙 집중식 보안과 거버넌스 등이 있다. 다소 상호 배타적인 요구사항들을 통해 대다수의 기업들이 데이터를 얼마나 중요시 여기는지, 또 이를 다루는 데 필요한 조건들이 점차 까다롭고 복잡해지고 있다는 것을 알 수 있다.

이런 기업의 복잡한 데이터 관련 요구사항을 새로운 측면에서 해결 방안을 제시하고 있는 기업이 있다. 그것도 이미 20여년 전부터 데이터 가상화(Data Virtualization)라는 기술을 통해 기업의 데이터 문제 해결에 대한 실마리를 제시해 온 기업이 바로 ‘디노도 테크놀로지(Denodo Technologies, 이하 디노도)다.

분산된 데이터 문제에 대한 해결방안 제시

디노도테크놀로지가 2022년 실시한 글로벌 클라우드 설문조사(Denodo Global Cloud Survey 2022) 결과에 따르면, 운영 데이터 저장소를 5개 이상 보유하고 있다고 답한 기업이 과반수 이상(55.34%)을 차지했으며, 20개 이상을 가지고 있다고 답한 기업도 14%에 달했다.

앙헬 비냐(Angel Vina) 디노도 CEO는 “이처럼 분산된 데이터 저장소는 기업의 일관된 데이터 전략 수행을 힘들게 할 뿐 아니라 데이터 관리와 보안, 거버넌스 등 다양한 측면에서 기업에게 어려움을 가중시키고 있다”고 말한다. 분산된 데이터로 인한 문제를 해결하기 위해 기업들은 데이터를 한 곳에 저장하는 전략을 추진하는 경우도 있다.

앙헬 비냐 디노도 창립자 겸 CEO

하지만 데이터 활용 측면에서 데이터를 한 곳에 저장하는 것까지는 가능하지만 필요한 데이터를 찾는 것은 또 다른 문제다. 디노도가 수행한 글로벌 클라우드 설문조사에 따르면, 62% 이상의 기업에서 자신들이 보유하고 있는 데이터의 50% 이상을 찾을 수 없거나, 접근 자체가 안되거나, 분석할 수 없다고 답했다. 이는 곧 기업 내 데이터 관리 방식의 변화가 필요함을 의미한다.

데이터 거버넌스 역시 데이터의 가파른 증가로 인해 등장한 쟁점 중 하나이다. 기업은 수많은 규제를 충족하는 동시에 유용하고 가치 있는 데이터를 공급할 수 있도록 세밀하게 관리하도록 요구받고 있다. 또한, 레거시의 모든 시스템을 포함해 변화에 대응하는 동시에 물리적 데이터 표준화를 하는 것은 기업에게 매우 어려운 과제다.

또한 신규 데이터, 데이터 유형, 데이터 저장소, 규제, 요구사항, 복잡성 등 데이터를 둘러싼 모든 것이 증가하고 있는 반면, 기술의 복잡성으로 인해 데이터 환경 전반을 개발, 운영할 수 있는 데이터 엔지니어 등 데이터 관리 인력의 부족은 심화되고 있다. 이로 인해 오늘날 빠르게 변화하는 비즈니스 환경에서 기업은 데이터 인력의 증가 없이 더 효율적으로 데이터를 통합, 관리, 배포하고, 데이터 주도 기업으로 성장해야 하는 도전과제에 직면해 있다.

기업들이 손쉽게 데이터 접근할 수 있게 하는 것이 목표

이런 문제에 해결책을 제시하고자 데이터 가상화라는 기술을 갖고 시장에 진출한 디노도는 기업이 데이터 액세스, 통합, 배치 등 데이터 관리보다는 비즈니스 목표 달성에 집중할 수 있는 환경을 조성하는 것을 목표로 하고 있다. 앙헬 비냐 CEO는 “고객이 데이터의 위치, 형태, 변화 과정 등에 대한 우려 없이 손쉽게 데이터에 접근할 수 있도록 하는 것이 디노도의 목표”라며, “디노도는 이런 비전을 실현하기 위해 최선의 노력을 기울이고 있으며, 데이터 통합과 관리 분야에서 지속적으로 혁신을 만들어 내기 위해 전념하고 있다”고 말한다.

디노도의 창립자이자 CEO인 앙헬 비냐(Angel Vina)는 스페인 코루냐 대학교(University of A Coruna) ICT 교수로 재직하면서 진행한 프로젝트에서 기업이 기존의 방식으로 데이터를 계속 통합할 경우 데이터 저장소가 기하급수적으로 늘어나 지속 불가능해질 가능성이 높기에, 이를 해결할 수 있는 기술을 찾고자 했다. 그리고 이 프로젝트의 연구 팀은 이에 대하 해답으로 데이터 가상화(Data Virtualization)를 기반으로 한 데이터 통합 전략을 도출했으며, 앙헬 비냐 CEO와 연구 팀은 이 결과물을 1999년 사업화에 성공하면서 마침내 디노도가 출범하게 됐다. 앙헬 비냐 CEO는 현재 코루냐 대학 교수직은 휴직 중이며, 디노도에서의 역할에 전념하고 있다.

디노도라는 사명은 디노도가 처음 시작된 코루냐 대학이 위치한 스페인 북서쪽 갈리시아 지방에서 사용되는 갈리시아어의 단어에서 영감을 얻은 것으로 회복탄력성(resilience), 용기(bravery), 결단력(determination)이라는 의미를 갖고 있다. 이는 데이터 관리 분야에서 끊임없이 도전하고, 정진하며, 혁신을 추구한다는 뜻으로, 요즘 유행하는 말로 하자면, ‘꺾이지 않는 마음’ 정도의 의미라고 할 수 있을 것이다.

데이터 가상화에 엔터프라이즈급 기능 추가

전통적으로 대다수의 CIO들은 데이터 관리, 통합에 있어 ETL(Extract, Transform, Load), 데이터베이스, 데이터 웨어하우스, 데이터 레이크 등 구체적인 데이터 저장소를 만들고 데이터를 그곳에 보관해야 한다는 사고방식을 갖고 있었다. 이런 사고방식은 데이터 보관에 따른 비용 증대나 비효율성 증가를 초래했으며, 결과적으로 기업 비즈니스에 많은 부담을 줬다. 하지만 최근 몇년간 데이터에 대한 관심이 폭발적으로 증가하고, 클라우드 서비스의 광범위하면서도 빠른 확산은 기업으로 하여금 인프라 중심의 기술 중심적 사고에서 벗어나 데이터의 활용을 비즈니스 관점에서 우선적으로 고민하도록 만들고 있다.

디노도는 이런 기업의 변화에 맞춰, 단순히 기업의 데이터를 저장하는 것이 아닌, 여러 곳에 분산된 데이터를 통합하고 관리할 수 있도록 추상화 계층을 생성해 무거운 ETL 없이 실시간으로 데이터를 전송할 수 있는 솔루션을 만드는데 집중했다. 이런 노력에 힘입어 2002년 디노도 플랫폼(Denodo Platform) 1.0이 탄생했으며, 2006년 미국 실리콘밸리로 본사를 이전한 이후 다수의 고객들과 협업하며 쿼리 최적화(Query Optimizer), 검색과 협업, 거버넌스를 돕는 데이터 카탈로그(Data Catalog) 등 엔터프라이즈급 기능을 꾸준히 추가하면서 경쟁력을 확보해 나갔다.

디노도 플랫폼은 특히 논리적인 데이터 관리 프랙티스와 추상화 계층 구축을 통해 기업들이 데이터 관리에 대한 걱정 없이 신속하게 원하는 데이터를 찾을 수 있는 환경을 제공한다. 이런 노력의 결과로 현재 디노도는 1000여 곳의 기업 고객(대부분이 매출 10억 달러 이상의 대기업)을 확보한 전문 벤더로 자리잡았으며, 특히 최근 디노도 솔루션에 대한 글로벌 수요 증가율이 평균 100%라는 경이로운 속도를 기록하면서, 매년 평균 50% 성장이라는 기록을 작성하고 있다.

디노도 플랫폼 주요 기능

통합?관리?배포 중심의 데이터 가상화 전략 전개

디노도는 실시간으로 데이터 자산을 통합해 사용자와 비즈니스 애플리케이션이 데이터를 안전하게 이용할 수 있도록 지원한다. 디노도의 데이터 통합, 관리 플랫폼인 디노도 플랫폼은 데이터 가상화 기술을 중심으로 ▲서로 다른 데이터를 위치나 형식, 응답 시간에 상관없이 통합(Integrate)하고 ▲핵심적인 데이터 거버넌스를 위한 통일된 용어 기반의 연관성 있는 데이터 모델과 인공지능, 머신러닝 기능을 통해 데이터를 관리(Manage)하며 ▲BI나 데이터 과학 도구에 필요한 데이터를 민주화하고 배포(Deliver)하는 등 논리적 데이터 패브릭 구축에 필요한 모든 기능을 제공한다.

주로 소비자 행동을 파악하려는 소매기업, 클라우드로 전환하려는 보험사, 센서 데이터를 분석해 서비스를 개선하려는 제조 기업 등 30여 개 산업에서 활동하는 여러 대기업과 중견 기업에서 디노도 플랫폼을 사용해 다양한 데이터 문제를 해결하고 있다.

디노도 플랫폼 아키텍처

디노도 플랫폼의 대표적인 핵심기술은 쿼리 최적화(Query Optimizer), 스마트 쿼리 가속화(Smart Query Acceleration), 데이터 모델링과 품질, 데이터 카탈로그(Data Catalog) 등이다.

디노도 플랫폼의 최대 강점인 쿼리 최적화는 데이터에 더 빠르게 접근할 수 있도록 최적의 쿼리 전략을 지능적으로 선택하고, 쿼리 재작성, 다중 실행 알고리즘, 캐싱과 병렬 실행을 통해 플랫폼 실행 시간을 최소화한다.

디노도는 원천 데이터 저장소에 대한 조회와 통합 성능을 향상시키기 위한 동적 쿼리 최적화 엔진을 탑재해 스마트 쿼리 가속화(Smart Query Acceleration) 기능을 지원한다. 이는 사용자가 입력한 쿼리의 속성을 분석해 어떤 저장소에 접근하는지, 어떤 데이터를 가지고 와야 하는지 등을 미리 파악하고, 최상의 성능을 낼 수 있게 쿼리를 재작성(rewrite)해서 각각의 데이터 저장소로 보내는 기능으로 일반적인 선택 쿼리보다 분석을 위한 집합 쿼리에서 큰 효과를 볼 수 있다.

디노도는 SQL 작업을 초보자도 쉽게 접근할 수 있도록 데이터 모델링을 위한 웹 UI 툴을 제공한다. 또한 다양한 데이터 소스에 존재하는 동일한 데이터의 표준화된 메타데이터와 데이터 포맷을 관리해 데이터 품질과 무결성을 보장할 수 있도록 지원한다.

실제 활용 가능한 데이터의 유무를 확인할 수 없다면 무용지물이 될 것이다. 디노도 플랫폼은 기술 메타데이터에 대한 데이터 카탈로그를 제공함으로써. 실무자를 대상으로 신속하고 용이한 데이터 탐색 UI를 제공하고 과거 조회/쿼리 이력을 기반으로 개인화된 데이터 추천, 자주 찾는 데이터, 데이터 보증 내역과 순위 등 다양한 측면에서 데이터 접근을 보장한다.

한국 또한 데이터 관리 수요 높은 지역 중 하나

2021년 12월에 한국 시장에 진출한 디노도는 데이터가 풍부한 대기업이 특히 많은 한국 시장의 특성에서 성장 가능성을 보고 디노도코리아를 출범했다. 남궁명선 디노도코리아 지사장은 “북미, 서유럽, 싱가포르, 일본 등 이미 디노도가 활발하게 활동하고 있는 지역과 마찬가지로 데이터 관리에 대한 높은 수요가 있는 한국에서도 데이터 기반 기업으로 성장하는 고객의 여정을 함께 하며 고객의 신뢰를 확보하고 기업의 혁신을 지원하는 것을 목표로 하고 있다”며, “이를 위해 현재 국내 고객의 요구에 맞춰 서비스를 현지화하고 국내에 기술적인 지원 기반을 갖추는 데 주력하고 있다”고 국내 시장 전략을 설명한다.

남궁명선 디노도코리아 지사장

디노도코리아는 차별화된 가상화 기술로 국내 기업의 데이터 관리와 비즈니스 운영 방식을 혁신하는데 집중하고 있다. 디노도코리아는 데이터 관리 영역에서 논리적 방식으로 접근해야 하는 필요성을 강조하며, 데이터 가상화 기술을 중심으로 혁신적인 데이터 관리 방안을 제시할 계획이다.

디노도는 현재 데이터 관리 수요가 높은 금융, 제조, 유통 등 주요 산업을 시작으로 다양한 산업군의 고객사를 유치하기 위해 노력하고 있으며, 남궁명선 지사장은 “2023년에는 기술 중심의 파트너 생태계를 보다 강화하고, 중대형 SI 기업과의 긴밀한 협력 체계를 구축해 국내 시장에서 입지를 공고히 다져 나갈 계획”이라며, “새로운 디노도 플랫폼 9.0을 올 하반기 출시하고, 국내외 시장에서 데이터 가상화 솔루션의 선도기업으로서 위치를 공고히 해 나갈 계획”이라고 올해 목표에 대해 설명한다.