최근 하드웨어와 소프웨어의 발전으로 데이터의 처리 용량과 처리 속도도 급속하게 증가하고 있다. 이로 인한 데이터 사용량은 기하급수적으로 증가하고 있으며, 이미 컴퓨터가 처리해야하는 자료는 초당 5천 트랜잭션을 넘었다. 이처럼 빅데이터가 중요한 이유는 실시간 때문이며, 이는 어떠한 상황에서도 모든 데이터를 분석하여 정확한 데이터를 적시에 얻을 수 있기 때문이다. 또한, 빅데이터를 활용한 스마트 공장을 만들면 개발 및 생산비용, 품질관리 비용 감소효과가 있을 것으로 예상하고 많은 연구가 수행되고 있다. 본 논문에서는 많은 데이터들이 발생하는 반도체 공정에서 고속의 빅데이터 처리를 위한 인-메모리 데이터 그리드를 이용한 시스템을 구현하였으며, 실험을 통해 향상된 성능을 입증하였다. 구현한 시스템은 반도체 뿐 만 아니라 빅데이터를 사용하는 모든 부분에서 응용 가능 할 것으로 판단된다.
최근 하드웨어와 소프웨어의 발전으로 데이터의 처리 용량과 처리 속도도 급속하게 증가하고 있다.