오리건보건과학대 연구성과 올린 '쿠오바이트 고성능 스토리지'

오리건보건과학대, Cryo-EM 연구를 빛낸 '쿠오바이트 고성능 스토리지'

“스토리지 스트레스 없이 연구에만 몰두할 수 있게 됐다”

과학 연구는 대량의 데이터를 생성하고, 이 데이터는 분석 및 시각화해야 하며, 이를 위해서는 고성능 스토리지가 필요하다. 때문에 고성능 스토리지는 과학 연구자들이 빠르고 쉽게 데이터에 액세스하고 분석할 수 있도록 하여 연구 효율성을 높인다.  또한,  대규모 데이터 세트의 저장을 가능하게 하여 과학 연구의 범위를 확장한다. 이러한 이유로 많은  대학이나 연구 기관에서 고성능 스토리지를 많이 활용하고 있다.

오리건보건과학대학교(Oregon Health & Science University, OHSU)가 추진하는 초저온 전자현미경(cryo-EM) 센터에서도 고성능 스토리지의 덕을 톡톡히 봤다. 이 센터에 도입된  솔루션은 소프트웨어 정의 스토리지 솔루션 기업  ‘쿠오바이트(Quobyte)’의 대용량, 고성능 스토리지 시스템이다.

매일 8~16TB 데이터 처리할 대용량, 고성능 스토리지 솔루션 필요

세포, 바이러스 및 단백질 집합체에 대한 상세한 연구를 가능하게 하는 선구적인 기술인 Cryo-EM에 대한 연구는 매일 평균 8~16테라바이트의 데이터를 생성한다. 엄청난 양의 데이터를 관리하고 액세스하기 위해 OHSU 센터는 강력하고 탄력적인 스토리지 솔루션이 필요했다.

OHSU 국립보건연구소 부교수인 크레이그 요시오카(Craig Yoshioka) 박사는 "매일 수많은 실험에서 발생하는 대규모 데이터 세트를 처리하기 위해 방대한 용량과 우수한 성능을 동시에 제공하는 스토리지 시스템이 필요했다"고 배경을 설명했다.

약 900명의 연구원에게 서비스를 제공하고 200개 이상의 활성 프로젝트를 감독하는 OHSU 센터는 이전에는 대용량 데이터 저장이 가능한 시스템에 의존했지만 실시간 처리에 어려움을 겪고 시스템 속도가 느려지는 경향이 있었다. 따라서 처리 능력과 스토리지를 모두 늘려 성능과 용량을 향상시켜야 했다.

이전에 전자현미경은 HDD로만 구성된 NAS 시스템에 10GbE의 속도로 데이터를 전송한다. 반면에 CPU 및 GPU와 같은 처리 구성 요소는 동일한 10GbE 속도로 NAS 시스템과 양방향 통신을 수행하지만 한 번에 하나의 구성 요소만 제공한다. 이러한 순차적 통신은 상당한 병목 현상을 일으키고 전반적인 효율성을 제한했다.

쿠오바이트 스토리지 도입으로 데이터 저장 스트레스 ‘제로’

여러 옵션을 신중하게 고려한 결과 쿠오바이트가 최적의 병렬 스토리지 솔루션으로 결정됐다.

N개의 서버로 구성된 쿠오바이트 클러스터를 사용하면, 전자 현미경은 여전히 10GbE에서 데이터를 전송할 수 있지만 이제는 각 개별 서버로 전송할 수 있다. 각 처리 장치는 최대 100GbE의 속도로 쿠오바이트 클러스터와 데이터를 전송할 수 있으므로 양방향 통신이 가능하고 각 처리 장치가 모든 서버에 동시에 액세스할 수 있다. 또한 쿠오바이트 클러스터는 최적의 성능을 위해 HDD와 SSD를 모두 사용할 수 있도록 지원한다.

통합업체인 어드밴스트(Advanced) HPC와 협력하여 쿠오바이트로의 전환이 몇 달 안에 완료됐다.

쿠오바이트의 도입으로 cryo-EM 연구 프로세스에 상당한 영향을 미쳤다. 스토리지 시스템은 극심한 부하에도 고성능을 유지할 수 있어 중단 없는 실시간 데이터 처리를 가능하게 해준다. 또한 분산 파일 시스템은 단일 장애 지점을 효과적으로 제거하여 데이터 관련 워크플로를 원활하게 수행할 수 있다.

향후 요시오카 박사는 인터넷을 통해 대용량 데이터 세트를 전송하기 위해 쿠오바이트를 활용할 계획이다. 아마존 S3와의 호환성 및 세분화된 액세스 제어 기능을 제공하는 기능을 통해 클라우드 환경을 도입할 계획도 세우고 있다.

요시오카 박사는 "쿠오바이트는 모든 성능 기대치를 충족하는 시스템"이라면서 "이제 연구원들은 데이터 저장 문제를 다루는 대신 분자 수준에서 생명의 신비를 밝히는 데 더 많은 에너지를 쏟을 수 있다"고 말했다.