건강보험자료는 몇 가지 제한점을 가지고 있는데 우선, 연구를 위한 목적으로 축적된 자료가 아니라 행정자료이므로 진단명 코딩이 부정확하며, 수술 및 처치 분류체계의 임의성, 동일 명세서에 포함된 투약 및 수술, 처치의 정확한 시점 및 선후 관계에 대한 정보가 없으며, 의료 급여 및 DRG 대상환자 등의 일부 환자와 비급여에 대한 진료정보가 없고 법적 문제와 연관된 진료정보(마취합병증, 투약오류, 상해, 자살시도, 정신질환 등)도 부족하다. 따라서, 환자안전 등에 대한 의료서비스 질, 모니터링, 평가 등에는 부적합하다. 또한 건강보험관련 정책 및 제도의 영향을 받으며 사망, 재입원율, 임상검사, 신체기능에 대한 측정값, 삶의 질 만족도 등의 정보는 담고 있지 않다.
건강보험자료는 코딩이 부정확하고 법적 문제와 연관된 진료정보, 동일명세서에 포함된 투약 및 수술 정보 등 몇 몇 주요 정보들이 부족해 의료서비스 질을 판단하는 평가 자료로 쓰기에는 부적합하다. 