히타치 반타라의 글로벌 기술 협력 파트너인 데이터 플랫폼 전문기업 위카아이오(WekaIO)가 올해 한국 지사를 설립하고 국내 판매에 박차를 가하고 있다. 이에 따라 효성인포메이션시스템의 데이터 솔루션 사업도 탄력을 받고 있다. 효성인포메이션시스템은 WekaIO와 협력하여 최신 GPU 워크로드, 고성능 데이터 분석, AI/ML을 지원하여 기업의 데이터 비즈니스 성공 기반이 되는 인프라 환경을 제공합니다.
최근에는 GPU DBMS 전문기업인 SQream과 협력을 강화하여 데이터 기반 관리를 지원하고 있습니다. 목표는 기업의 대량 데이터 및 AI/ML 혁신에 대한 신속한 분석을 지원하는 것입니다. 그리고 이 모든 협업의 중심에는 효성인포메이션시스템의 HCSF 솔루션이 있습니다.
데이터 레이크의 완벽한 시작
데이터가 조직의 핵심 IT 자산이 되면서 데이터를 효과적으로 저장하고 관리하는 것에 대한 관심이 높아지고 있습니다. 특히 비정형 데이터가 데이터 분석 및 AI 활용을 위한 핵심 자원으로 중요해짐에 따라 데이터 관련 솔루션에 대한 필요성도 높아지고 있다.
기업이 데이터를 관리하는 데는 여러 가지 목적이 있습니다. 특히 새로운 비즈니스 모델 적용, 시장 경쟁력 향상, 제품 또는 서비스 출시 시간 단축, 고객 경험 개선 및 회사 비용 절감을 위해. 이러한 목표를 달성하려면 데이터 관리 워크플로에 적합한 컴퓨팅, 스토리지 및 네트워크 구성 요소가 필요합니다.
고성능 스토리지 시장 규모는 2020년 이후 매년 증가하고 있습니다. 특히 제조 및 통신 산업에서 모든 유형의 데이터를 한 곳에서 통합, 저장 및 분석할 수 있는 솔루션에 대한 수요로 인해 데이터 레이크 시장은 앞으로도 계속 성장할 것으로 예상됩니다.
올해 IT업계의 대표적인 화두 중 하나인 ‘데이터 레이크’는 기업 데이터 혁신의 중요한 수단으로 꼽힌다. 데이터 레이크는 데이터 사일로를 피하고 데이터 분석을 위해 모든 유형의 데이터를 통합하는 중앙 데이터 소스로 이상적이기 때문입니다.
그러나 진정한 데이터 레이크를 구현하려면 강력한 데이터 처리와 손쉬운 규모의 스토리지가 필수적입니다. 이러한 이유로 기존 데이터 레이크 전략을 개선함과 동시에 비용 효율적으로 구현할 수 있는 솔루션에 주목하고 있습니다.
진정한 데이터 레이크 솔루션
데이터가 폭발적으로 증가함에 따라 분석해야 할 데이터의 양도 기하급수적으로 증가합니다. NVMe 기반 병렬 처리 시스템은 수십 기가바이트(GB) 이상의 데이터 처리에 최적화된 분석 환경을 갖추고 있어 대용량 데이터 처리에 효과적이지만 큰 걸림돌이 있다. 단점은 NVMe 스토리지가 페타바이트(PB) 이상을 저장하는 데 비용이 많이 들고 비용이 많이 드는 솔루션이라는 것입니다.
대부분의 데이터는 처음에는 많은 I/O가 필요하지만 시간이 지남에 따라 액세스 빈도가 급격히 감소합니다. 따라서 애플리케이션 성능에 영향을 주지 않고 자주 액세스하지 않는 데이터를 저렴한 스토리지로 계층화하면 큰 비용을 절약할 수 있습니다.
지난해 출시된 효성인포메이션시스템의 HCSF는 초고성능 병렬 파일 시스템과 오브젝트 스토리지를 통합해 초고성능과 대용량 확장성을 동시에 제공하는 파일 스토리지다. 오브젝트 스토리지의 용량과 클라우드 기능을 가지면서 분산 파일 시스템의 속도를 제공하며, 파일 및 오브젝트 로그를 지원하여 데이터 수집이 용이합니다. 또한 정책 기반의 계층화된 파일 시스템 운영으로 비용 효율적인 데이터 관리가 가능합니다.
HPC 환경을 위한 고성능 솔루션
WekaIO의 WekaFS를 기반으로 하는 HCSF는 NVMe 전용 병렬 파일 시스템을 통해 고성능 IO 처리가 가능하며 오브젝트 스토리지인 HCP와 결합하여 웜/콜드 데이터를 계층화하고 파일 데이터를 무제한으로 저장할 수 있습니다. HCP에 저장된 데이터는 Public Cloud S3 호환 개체 스토리지에 연결되어 데이터 스토리지 범위를 다른 클라우드로 확장할 수 있습니다.
파일이 계층화되더라도 백엔드에서만 위치가 변경되므로 스토리지를 사용하는 분석 애플리케이션은 이에 대해 걱정할 필요가 없습니다. 분석 애플리케이션이 웜/콜드 계층 HCP의 데이터에 액세스하려는 경우 해당 데이터는 서비스를 위해 즉시 핫 계층의 NVMe 스토리지로 다시 이동됩니다. 이러한 모든 과정은 사용자 입장에서 별도의 노력 없이 자동으로 지원되어 빅데이터를 효율적으로 관리할 수 있습니다.
WekaIO의 WekaFS는 전 세계 IT 및 기술 전문가들이 제품을 리뷰하고 평가하는 전문 플랫폼인 Gartner Peer Insight에서 경쟁 제품 대비 높은 점수를 받아 그 전문성을 인정받았다. 클라우드와 AI를 위한 최고의 데이터 플랫폼을 기반으로 WekaIO는 효성인포메이션시스템과 협력을 강화하여 기업이 데이터 중심의 혁신 경쟁력을 높일 수 있도록 합니다.
HCSF는 대용량 데이터의 초고성능 및 비용 효율적인 처리가 필요한 HPC(High Performance Computing) 환경에 매우 적합한 솔루션입니다.
현재 HCSF는 슈퍼컴퓨터 및 HPC용으로 가장 빠른 상용 파일 시스템 솔루션입니다. 높은 처리량, 높은 IOPS 및 초저 대기 시간이 동시에 필요한 혼합 워크로드에 특히 강력하여 확장성과 엑사바이트 규모의 성능 향상이 가능합니다.
또한 HCSF는 다양한 설계 사례와 경험을 바탕으로 원활한 운영을 돕기 위해 완벽하게 구축된 국내외 기술 지원 프로세스를 보유하고 있습니다. 특히 장애 발생 시 국내외 전문가의 동시 지원이 가능하여 최단 시간 내에 장애를 복구할 수 있습니다.
다양한 레퍼런스 확보 및 행진
HCSF는 도입 초기부터 성능, 확장성, 관리 용이성 면에서 뛰어났으며 국내 및 해외 배포가 눈에 띄게 증가했습니다.
먼저 해외 제조기업 A사는 AI 모델 학습을 위해 다양한 크기의 수천만 개의 파일을 처리할 수 있는 솔루션이 필요했다. 기존 올플래시 NAS와 GPU 서버 로컬 NVMe로는 AI 훈련 시스템의 성능 요구 사항을 충족하지 못했기 때문이다.
A사는 기존 올플래시 NAS 대비 10배, 온프레미스 NVMe 대비 3배 성능이 향상된 HCSF를 도입했다. 또한 비용 절감과 GPU 활용도가 전작 대비 3배 이상 향상됐다.
국내 제조기업 B사는 데이터 인사이트 확보를 위해 대용량 실시간 데이터 분석 시스템 구축을 원했다. 구체적인 목표는 데이터 운영을 위한 인프라 개선, 데이터 분석/활용 추가 개발, 거버넌스 도입의 세 가지였습니다.
B사는 사내외에 데이터 운영체제와 스토리지가 산재해 있었고, 고가의 계층형 레거시 인프라를 갖춘 환경이었다. 특히, 수집된 데이터가 제대로 활용되지 않았으며, 데이터 관리 주체나 체계가 없었다. 데이터 품질 관리 또는 지원 부족도 문제였습니다.
B사는 이러한 문제점을 해결하고 AI/ML(머신러닝) 기반 분석기법을 도입하기 위해 효성인포메이션시스템의 HCSF를 선택했다. B사가 여러 벤더의 솔루션을 비교 검토한 끝에 HCSF를 선택한 이유는 다음과 같다.
첫째, 경쟁사 대비 절반의 노드 수에도 불구하고 데이터 증가에 대처할 수 있는 3배 이상의 성능과 확장성을 보장했다. 둘째, 오브젝트 스토리지와 결합해 대용량 데이터 운영 비용 절감 효과와 타사 대비 최대 5배 높은 스토리지 계층화 성능을 동시에 달성했다. 셋째, 메모리 아키텍처 등 최신 트렌드를 반영한 메모리 아키텍처였다. 나. HPC 환경에 최적화된 대량 데이터 분석, AI 학습 환경에 적합한 파일 시스템 환경 제공, NVIDIA의 GPUDirect 및 DGX와의 호환성 보장. 결국 분석을 위해 데이터베이스와 AI 분석 솔루션이 처리하는 파일의 크기는 수백억에서 수천억에 달해 HCSF만이 감당할 수 있는 수준이었다. 특히 HCSF는 B사가 데이터 크기에 관계없이 분석 애플리케이션의 성능 요구 사항을 충족하고자 하는 환경에 가장 적합한 솔루션이었습니다.
B사는 HCSF를 채택하여 고성능 스토리지 인프라를 구축하고, 다양한 클라이언트 운영 환경을 쉽게 구성하고, 정책 기반 계층형 데이터 스토리지를 쉽게 구축할 수 있습니다. 이를 통해 매일 수백 테라바이트의 데이터를 분석하는 동시에 데이터 증가 또는 변화하는 분석 요구 사항을 수용할 수 있는 유연성을 유지할 수 있었습니다. 특히 B사는 가성비 좋은 스토리지 인프라를 확보하게 되어 매우 기뻐하고 있습니다.
HCSF는 타사 대비 뛰어난 강점과 매력으로 인해 R&D 기업, AI 서비스 기업, 공공기관에서 HCSF 도입을 적극 추진하고 있다.
데이터 기반 관리의 초석, “High Performance Data Lakehouse”
효성인포메이션시스템은 최근 GPU를 활용한 데이터베이스관리시스템(DBMS) 전문기업인 SQream과 손잡고 대량의 데이터를 빠르게 분석해 AI와 머신러닝(ML) 분야의 기업 데이터 중심 혁신을 위한 ‘데이터 레이크하우스’를 구현한다. .
데이터 레이크하우스는 “데이터 레이크”의 확장 가능한 속성과 구조화된 “데이터 웨어하우스”(DW)의 기능을 결합하는 새로운 개방형 데이터 관리 아키텍처입니다. 모든 데이터 소스에서 분석 및 정보를 제공하고 데이터를 확장 가능하고 민첩하며 유연하게 만듭니다. 효성인포메이션시스템은 주요 DW 기업들과의 협업을 통해 시너지를 증폭하고 과감한 Data Lakehouse 자격을 확보합니다.
효성인포메이션시스템은 국내 HCSF 도입이 활발해짐에 따라 Weka IO, SQream 등 전문 벤더와의 협력을 강화하고 있다. 앞으로 H CSF가 대량의 데이터 처리와 저장을 필요로 하는 공공 및 금융기관은 물론 대형 제조기업, 플랫폼, 통신사 등 다양한 산업군에서 활용될 수 있도록 적극적으로 사업을 확장해 나갈 계획이다.
