비교효과연구는 Comparative Effectiveness Research의 영문 이름이 말해주듯이 아래 세 가지의 개념을 내포한다. 첫째로는 기존에 존재하는 둘 이상의 대체할 수 있는 의료기술의 이득과 위해를 비교하는 것이다. 이는 신약을 포함한 신의료기술이 시장에 진입하기 위해 위약이나 비치료와 비교하여 위해와 이득의 결과를 보고해온 것과 차별화 되는 점이다. 두 번째로는 실제 그 해당 의료기술이 사용되는 임상현실에 노출 되었을 때 나타난 이득인 효과(effectiveness)를 중시하는 것이다. 이는 임상연구 대상을 비교적 동질하게 가져가기 위해 엄격한 포함, 배제기준을 두어 대상을 선정하고, 명료한 프로토콜에 따라 통제된 실험적 조건에서 이득을 보는 효능(efficacy)과는 상이한 개념이다. 마지막으로 ‘연구’라는 말은 과학적 노력의 결과 산물을 내포하며 그 앞에 다른 방법론적 수식어가 없는 것은 이러한 연구의 방법론적 제한이 크게 없고 보다 포괄적임을 시사한다.
비교효과연구는 기존의 둘 이상의 의료기술의 이득과 위험을 비교하는 것으로 그 의료기술이 사용되는 임상 상황에서의 실제 이득인 효과를 중심으로 보는 것이며 연구의 과학적 방법론에 대한 제한은 없다.