1000배 빠른 빅데이터 처리 기술 개발

1000배 빠른 빅데이터 처리 기술 개발

 

4차 산업 혁명을 말할 때 늘 등장하는 대표기술은 인공 지능(AI)이다. 그리고, 인공 지능이 실현되기 위해 필요한 기술이 빅데이터 처리 기술이다. 무수한 데이터를 효과적으로 처리해 빠르게 학습해야 보다 완벽한 AI를 구현할 수 있기 때문이다.

 

최근 국내 연구팀이 기존의 빅데이터를1000배 빠르게 처리할 수 있는 기술을 개발했다. 대구 경북 과학 기술원(DGIST) 정보 통신융합 전공 김민수 교수팀은 2018년 05월 28일 빅데이터 패턴을 초고속으로 분석할 수 있는 '지마이너(GMiner)' 기술을 개발했다고 밝혔다.

 

지마이너는 빅데이터를 처리하는 패턴 마이닝 기술이다. 패턴 마이닝 기술은 대형 마트의 상품 구매, 은행의 거래, 네트워크 패킷, 소셜 네트워크 등 다양한 분야의 빅데이터에서 반복적으로 나타나는 주요 패턴들을 인식하는 것을 말한다. 대형 마트 진열대의 상품 위치와 그에 따른 연령별 소비자의 이용 패턴, 할인 가능한 신용 카드를 추천하는 등의 패턴 인식 시스템이 이미 산업 분야에 쓰이고 있다.

 

정보의 종류와 양이 폭증하면서 보다 효율적으로 패턴을 인식하는 마이닝 기술의 중요성이 커지고 있다. 기존의 패턴 마이닝 기술은 중간 길이의 패턴을 먼저 인식해 저장하고 더 긴 패턴을 구할 때, 이를 가져다 쓰는 방식이다. 중간 길이의 패턴을 따로 저장하고 불러와야하기 때문에 메모리 부족 문제가 발생했다.

 

연구팀이 개발한 지마이너 기술은 GPU(그래픽 처리 장치) 수천 개를 사용해 임시로 계산한 중간 길이의 패턴을 먼저 조합한다. 중간 길이 패턴을 따로 저장하지 않고 바로 최종 길이의 패턴을 계산하도록 설계했다. 그 결과 기존 기술들 보다 최소 10배에서 최대 1000배 빠른 분석 성능을 나타내는 것을 확인했다.

 

김민수 교수는 "메모리 부족을 일으키고 처리 속도가 느린 패턴 마이닝 기술의 한계를 극복했다”며, “기하급수적으로 증가하는 빅데이터를 메모리 문제 없이 초고속으로 패턴 분석해 다양한 산업 분야에 접목할 것”이라고 말했다. 이번 연구 결과는 정보 과학 분야 국제 학술지 '인포메이션 사이언스(Information Sciences)' 2018년 05월호에 게재됐다.