생성AI로 운영 효율 높이는 ‘엘라스틱 ESRE’

생성AI의 파급력이 미치지 않는 분야가 거의 없을 정도로 광범위한 도입이 이뤄지고 있는 상황이다. 소비자의 디지털 경험 개선에서부터 조직의 비용 절감과 효율성 개선, 생산성 향상 등 다양한 목적으로 생성AI의 도입이 시도되고 있다.

생성AI 기술과 시장이 빠르게 성숙해짐에 따라 이들이 제시하는 장밋빛 미래에 대한 기대감도 커지지만, 생성AI를 이용해 운영을 개선할 수 있는 실제적인 전략적 방안 또한 강조되고 있다.

기업의 IT 조직은 시스템을 가동하고 실행하는 데 수많은 시간을 소비하며 실시간으로 문제를 모니터링하고 해결하고 있다. 아마도 조직은 애플리케이션의 오류를 식별하고, 사용자 오류를 감지하고, 사이버 공격이 비즈니스에 영향을 주기 전에 식별하고 대응하기 위해 계속해서 증가하는 수많은 원격 측정 데이터를 이미 생성, 축적하고 있다.

운영 탄력성 향상과 같은 비즈니스 사례에서 생성AI는 특정 데이터나 신호의 맥락에서 답변을 찾는 데 이점을 제공한다. 특히 챗GPT와 같은 생성AI 챗봇이 바로 이런 부분에 강점을 갖고 있다. 그러나 전체 인터넷에서 공개적으로 사용 가능한 데이터를 기반으로 답변을 제공하는 LLM(Large Language Model)을 활용하기 때문에, 기업 환경의 특정 사례에 대한 질문에는 고유한 상황과 관련이 없을 수 있는 일반적인 정보에 기반한 답변만을 제공할 수 있다. 따라서 실제 비즈니스를 위해 생성AI를 도입할 경우에는 기업의 내부 데이터를 LLM에 적용해야 한다.

옵저버빌리티, 보안 워크플로우와 생성AI의 통합

다행스럽게도 조직의 관찰이나 보안 모니터링 학습 기능을 교육하는 데 사용할 수 있는 데이터 저장소가 이미 기업 조직 내부에 구축돼 있다는 것이다. 이같은 인프라를 통해 현재의 자동화된 운영 모니터링이나 대응 기능을 훨씬 강력한 AIOps 기능으로 전환할 수 있다.

AI를 적용해 보안이나 관찰 워크플로우가 증가하고 팀이 IT 시스템을 보다 빠르게 파악할 수 있으므로 문제를 해결하고 조직의 운영 탄력성을 높일 수 있다. 그러나, 이는 생성AI가 할 수 있는 일의 극히 일부에 불과하다.

원격 측정 데이터(예를 들면 메트릭이나 로그, 추적)를 정밀 분석해 애플리케이션이나 보안 문제를 식별하는 대신, IT 팀은 데이터를 신속하게 분석해 이상 징후나 문제 또는 잠재적 문제에 대한 통찰력을 제공하고 해결 방법을 제공할 수 있는 생성AI 툴에 안전하게 전달할 수 있다.

더 중요한 것은 데이터를 더 많이 제공할수록 이상적인 기본 프로세스에 대해 더 많이 알 수 있다는 것이다. 이제 모델은 이벤트에 즉각적으로 반응할 뿐만 아니라 이벤트가 발생하기 전에 패턴의 변화를 파악할 수 있다.

온라인 쇼핑몰 사이트의 장바구니 기능 작동이 멈춘다고 가정해 보자. 고객은 구매를 완료할 수 없고 결국 매출 감소로 이어진다. 이벤트에 반응해, 대응을 자동화하고 비즈니스에 미치는 영향을 제한하는 대신, 생성AI에 동일한 데이터를 입력해 패턴을 학습하고 대응을 자동화할 수 있는 방안을 마련한다면 고객에게 미치는 영향을 최소화함으로써 매출 증가효과까지 얻을 수 있다.

또는 시스템 중 하나의 실행 속도가 느리고 IT 팀이 정보를 아무리 빠르게 분석해도 근본 원인을 파악하는 데 시간이 걸리는 상황을 생각해 보자. 이때 모델을 생성하고 캡처 중인 전체 데이터를 통해 학습하게 함으로써 팀보다 패턴을 더 빨리 파악할 수 있다. 그 결과 버그나 오류 또는 멀웨어 등 작업 속도를 느리게 하는 원인을 더 빨리 확인 수 있으며, 문제 해결을 위해 신속하게 조치할 수 있다.

이 모든 작업을 수행하려면 관련성이 높은 비즈니스 통찰력과 답변을 위해 데이터를 생성AI 기술에 입력해야 하며, 물론 가능한 한 최고 수준의 개인정보 보호를 통해 효율적으로 작업해야 한다. 이렇게 생성AI를 업무에 적용해 팀은 적절한 컨텍스트를 기반으로 최상의 답변을 얻을 수 있다.

생성AI 기반 운영 탄력성은 데이터 플랫폼부터 시작

생성AI를 사용하여 운영 복원력 향상에 필요한 통찰력을 얻으려면 먼저 모든 데이터를 결과로 원활하게 변환하고 모든 질문을 답변으로 지속적이고 실시간으로 변환하는 유니파이드 데이터 플랫폼을 구현해야 한다.

모든 데이터를 캡처하고, 검색 가능하고, 분석 가능하고, 탐색 가능하고, 시각적으로 볼 수 있도록 해야 합니다. 또한 분산 아키텍처를 기반으로 구축해야 데이터 저장소를 여러 서버와 위치에서 실행하여 성능을 향상시키고, 단일 장애 지점을 방지하며, 중단 시 비즈니스 연속성을 보장할 수 있다.

이러한 기반을 구축하면 팀은 유니파이드 플랫폼에 저장된 데이터를 활용하고 익명화된 데이터를 원하는 생성AI에 안전하게 전달해 필요한 정보를 신속하게 파악할 수 있다.

ESRE(Elasticsearch Relivity Engine)를 통해 개발자는 맞춤화되고, 고도로 높은 관련성을 제공하는 AI 검색 애플리케이션을 만들 수 있다. 또한 다양한 기술 수준의 사용자가 ESRE에서 제공하는 생성AI 비서를 보안이나 모니터링 가능성 요구에 활용할 수 있다.

편집 가능한 조직별 컨텍스트를 LLM에 전달하는 사전 구축된 생성AI 프롬프트를 통해 분석가는 특정 사용 사례에 대한 답변을 맞춤화해, 조직은 알림, 워크플로우 제안, 통합 조언 등을 얻을 수 있어 시스템이 원활하게 작동되도록 지원한다.

AI 혁신을 위한 고급 검색, ESRE

ESRE는 엘라스틱(Elastic)의 2년에 걸친 머신러닝 연구와 개발을 기반으로 구축됐다. ESRE는 AI의 장점과 엘라스틱의 기존의 텍스트 검색을 결합한다. 따라서 ESRE는 개발자들에게 정교한 검색 알고리즘의 전체 제품군을 LLM과 통합할 수 있는 기능을 제공한다. 여기서 한발 더 나아가 엘라스틱 커뮤니티에서 이미 신뢰받고 있는 간단한 통합 API를 통해 액세스할 수 있기 때문에 전 세계 개발자들이 즉시 이를 사용해 검색 정확도를 높일 수 있다는 것이다.

ESRE의 구성 가능한 기능은 다음과 같은 방법으로 정확도를 개선하는 데 도움을 준다.

- 하이브리드 검색의 중요한 구성 요소인 BM25f 등 고급 정확도 순위 지정 기능 적용

- 엘라스틱의 벡터 데이터베이스를 사용해 밀집 임베딩 생성, 저장과 검색

- 다양한 NLP 작업과 모델을 사용하여 텍스트 처리

- 개발자가 비즈니스 관련 컨텍스트에 맞춰 엘라스틱에서 자체 트랜스포머 모델을 관리, 사용하도록 허용

- API를 통해 OpenAI의 GPT-3/4와 같은 서드파티 트랜스포머 모델과 통합해 엘라스틱서치(Elasticsearch) 환경 내에 통합된 고객의 데이터 저장소를 기반으로 콘텐츠의 직관적인 요약을 검색

- 엘라스틱의 ‘Learned Sparse Encoder’ 모델을 사용해 모델을 훈련하거나 유지관리하지 않고 ML 지원 검색을 활성화해 다양한 도메인에 걸쳐 정확한 시맨틱 검색 제공

- 개발자가 AI 검색 엔진을 자연어나 키워드 쿼리 유형의 고유한 조합에 최적화하도록 제어할 수 있는 하이브리드 순위 지정 방법인 상호 순위 결합(RRF)을 사용해 희소 검색과 밀접 검색을 손쉽게 결합

- LangChain과 같은 서드파티 도구와 통합해 정교한 데이터 파이프라인과 생성AI 애플리케이션 구축 지원

전문 팀의 지원을 받지 못하는 개발자도 시맨틱 검색을 구현할 수 있으며, 다른 대안에 필요한 노력과 전문 지식 없이 처음부터 AI 지원 검색 정확도의 이점을 누릴 수 있다. 이제 고객은 더 뛰어난 정확도와 현대적이고 스마트한 검색을 실현하는 데 도움이 되는 빌딩 블록을 갖추게 된다.