PISA에서는 3주기인 PISA 2006부터 컴퓨터 기반 평가의 부분적 도입을 거쳐 PISA2015에 전면적으로 적용한다. 이와 같은 커다란 변화의 배경은 실생활 문제를 해결하는 능력을 중시하는 PISA의 취지와 초점에서 찾을 수 있다. 미래 사회에서 요구하는 인재상의 변화가 반영되어 평가의 내용(평가틀)을 변경하거나 새로운 영역을 추가하거나 이를 평가하기에 적합한 환경이나 방법을 적용하는 등의 모습으로 나타난 것이다. 이와 같은 PISA의 변화는 21세기 역량 교육을 강조하는 방향으로 교육과정을 개정하고 있는 우리나라의 교육평가 분야에 시사하는 바가 크다. 국제적으로 진행되는 학업성취도 평가 방식이 컴퓨터기반 평가로 전환하였다는 사실 자체에 의존하여 맹목적으로 다양한 주체에 의해 이루어지는 평가를 모두 컴퓨터 기반 평가 방식을 따르는 것이 아니라 다양한 영역 및 능력을 평가하는 적절한 방식의 연구와 컴퓨터 기반 평가의 도입을 적극적으로 고려해 볼 필요가 있다.
PISA 2006부터 시작된 컴퓨터 기반 평가의 부분적 도입을 거쳐 PISA2015에 전면적 적용을 하게 되는 변화 사례는 21세기 역량 교육의 개정을 앞둔 우리교육평가 분야에 시사하는 바가 크긴 하지만, 일방적인 전면 도입보다는 다각도로 접근할 필요가 있다.