빅데이터 분석 플랫폼은 카드 및 금융사 부정거래탐지, 쇼핑몰 소비자 구매패턴, 제조 생산 라인 센서 데이터, 네트워크 실시간 분석, 로보틱 자동화 작업 실행 분석 등은 물론 CRM(고객관계관리) 데이터, 교육기관 빅데이터 분석 실습 등 다양하게 활용된다. 빅데이터 분석 플랫폼 분야 특허 기술 트렌드 및 시장 동향을 살펴본다. <편집자>

실시간 데이터 수집과 분석을 동시에.. 빅데이터 분석 플랫폼

빅데이터 분석 플랫폼은 기존 시스템(legacy) 환경에서 업로드(upload)되는 일반 정보뿐만 아니라 SNS/RDBMS/File/IoT 디바이스/웹사이트 등에서 생성되는 다양한 정보를 수집 및 저장하며 다양한 알고리즘을 이용해 분석하는 기법을 제공한다.

특히 데이터 수집시 정형/비정형 대용량 데이터를 실시간으로 모아 데이터마이닝 및 통계 분석을 시행하고 있으며, 분석 결과를 시각화해 사용자의 효율적인 의사결정을 지원한다. 실시간 데이터 수집과 분석을 별개로 구성하는 기존의 솔루션과 달리 두 과정을 연속 시행할 수 있도록 지원한다. 하둡(hadoop)기반의 분산처리시스템으로 운영되므로 대용량 데이터 분석도 가능하다.

클라우데라 빅데이터 플랫폼 구성도 ※ 자료: 클라우데라 홈페이지

빅데이터 플랫폼 또는 빅테이터 분석 플랫폼은 빅데이터의 가치를 추출하기 위한 일련의 과정을 지원하기 위한 프로세스를 규격화한 기술 및 서비스를 의미한다.

빅데이터 플랫폼 기업들은 실시간 처리, 메모리기반 처리, 쿼리 용이성, 다양한 파일 시스템 접근성 등의 해결해야 하는 이슈의 해결 전략에 따라 기업 생태계를 형성하고 있다.

사용자 데이터 정보와 클라우드 서버…. 스마트 분석 시스템

아마존 등 클라우드 역량 기반 기업은 자사의 클라우드와 오픈소스 기반 빅데이터 솔루션을 연계해 차별화된 플랫폼을 구축하기 위해 노력하고 있다. 기존 기업 정보화를 지향하던 IBM이나 Microsoft 등은 빅데이터로 전략을 수정해 기존 역량을 활용한다. 구글, 애플 등 모바일 기반 신흥 기업들은 자사 서비스를 제공하기 위해 구축된 서버와 사용자 데이터 정보를 기반으로 빅데이터 분석 체계를 구축하고 있다.

차세대융합기술연구원이 등록한 ‘빅데이터의 효율적인 저장·실시간 분석형 스마트 스토리지 플랫폼장치 및 방법(the apparatus and method of smart storage platfoam for efficient storage of big data)’ 특허는 특정작업(Job)이 실행되는 빈도수에 따라 메모리, SSD, HDD 중 어느 하나 또는 둘 이상을 선택한 트랜스포머 형태로 데이터를 분산 저장시킬 수 있어, 대용량 빅데이터 저장효율을 기존에 비해 70% 향상시켜준다.

또 트랜스포머형 빅데이터 저장모듈에 분산저장된 데이터를 불러와 여러 개로 쪼갠 다음 여러 개로 나눠서 병렬처리시킨 후, 클라이언트가 요청한 작업(Job)에 해당되는 특정 데이터를 분석할 수 있어, 기존에 비해 빅데이터 분석 속도를 80% 향상시킬 수 있다.

해당 특허는 클라이언트가 요청한 특정작업(Job) 결과물을 웹 인터페이스로 표출하거나, 직접 클라이언트에게 전송하는 양방향 실시간 응답형 빅데이터 플랫폼은 물론 효율적인 저장·실시간 분석형 스마트 스토리지 플랫폼을 구현한다.

포스코아이씨티가 등록한 스마트 팩토리를 위한 빅데이터 분석 시스템(big data analysis system for smart factory)’ 특허는 연속공정에서 수집된 대용량의 데이터를 분산파일 시스템 기반의 빅데이터 저장소에 저장할 수 있는 스마트팩토리를 위한 빅데이터 분석 시스템이다.

해당 특허는 복수의 공정이 연결되는 연속공정에서 수집된 데이터들 중 각 공정 별 부하 데이터를 추출해 파일로 생성하고, 해당 파일이 저장되는 빅데이터 저장소를 포함하는 것을 특징으로 한다.

연평균 27.9%의 성장률 … 국내 빅데이터 시장

데이터 국내시장 규모 추이: 2013~2016 ※ 출처 : 빅데이터 시대와 데이터 융합, 정보통신정책연구원, 2018

시장조사기관인 Wikibon에 따르면 소프트웨어, 하드웨어, 서비스를 모두 포함한 세계 빅데이터 시장은 오는 2026년에 총 922억 달러의 규모로 성장할 것으로 전망된다. 이는 2014년 기록했던 183억 달러에서 약 404% 증가한 수치이며, 2014년부터 2026년까지의 연평균 성장률은 14.4%에 달한다.

국내 빅데이터 시장 역시 기업들의 빅데이터 분야에 대한 투자 증가, 정부의 빅데이터 산업 지원 노력 등에 힘입어 꾸준히 성장하고 있는 추세이다.

한국정보화진흥원의 ‘2016년 빅데이터 시장현황’ 조사에 따르면 2016년 우리나라의 빅데이터 시장 규모는 전년대비 31.1% 성장한 3,439.6억원이었다. 뿐만 아니라 국내 빅데이터 시장은 최근 3년 (2014~2016년) 동안 연평균 27.9%의 성장률을 기록하며 매우 빠른 속도로 그 규모가 확대되고 있다

기술&시장 분석 시리즈는 한국발명진흥회 지식재산평가센터가 다년간 축적해온 기술시장 자료를 기반으로 작성됐다. 기술가치평가는 사업화하려는 기술이나 사업화된 기술이 해당 사업을 통해 창출하는 경제적 가치(금액)를 시장에서 일반적으로 인정된 가치평가 원칙과 방법론에 입각해 평가하는 작업이다. 한국발명진흥회 지식재산평가센터는 기술이전 및 사업화 촉진에 관한 법률 제 35조, 발명진흥법 제28조 등에 따른 정부 공인 기술평가기관이다.