인공지능 기반 의료기기는 기존의 독립 기기 중심의 평가 방식을 그대로 적용하기에는 여러가지 고려해야할 사항들이 있다. 1) 네트워크와 클라우드를 이용해여 지속적으로 데이터를 쌓으며 학습을 통해 성능을 향상 시켰을 때, 사용한 데이터 및 학습 알고리즘의 기준 및 퀄리티 검증 이슈 2) 지식 데이터 또는 학습 데이터에 의료 종사인의 편견 또는 부정확한 판단이 개입되었는지 확인 이슈, 3) 머신러닝 알고리즘의 개발 과정, 작동 방식을 완벽하게 이해하거나 설명할 수 없다는 문제점 3) 머신러닝에 학습시 사용된 데이터와 많은 차이를 갖는 병원의 현장 데이터를 사용할 경우 정확률이 떨어질 수 있다는 점 4) 강화학습 기반 예측 모델과 같이 계속된 변화가 생기는 경우 기존의 평가 체계에 맞추기 어려운 문제 등과 같은 다양한 이슈들이 존재한다.
인공지능 기반 의료설비를 평가하기 위해서는 인공지능 학습에 사용된 데이터의 질과 정확성이 검증, 주관적인 판단으로 인한 데이터의 오염, 인간이 이해할 수 없는 알고리즘, 변화에 대응하기 어렵다는 점 등을 고려해야한다.