회귀 분석이란 여러 개의 데이터 값들 간의 인과 관계를 규명하는 기계 학습 알고리즘이다. 예를 들어, 어떤 사람이 “신문을 보는 시간이 TV 보는 시간에 영향을 미치는가?”라는 질문에 대한 답을 찾아보고자 한다. 이때, 신문을 보는 시간을 독립변수라고 하고 TV 보는 시간을 종속 변수라고 한다. 둘 사이의 인과 관계가 있는지를 알아보기 위해, 매일 신문 보는 시간과 TV 보는 시간을 일정 시간 동안 측정한 후, 기록하고 컴퓨터에 훈련 데이터로 입력하고 함수 관계가 있는지 찾아내는 알고리즘을 돌리게 된다. 이후, 적정한 인과관계가 있을 때, 해당 데이터로부터 함수를 하나 찾아내어 두 변수 사이의 인과 관계를 유추하는 방법이 회귀 분석이다.
회귀 분석이란 독립변수와 종속변수 데이터를 컴퓨터에 입력하고 알고리즘을 돌려 인과관계가 발견되면 해당 데이터에서 찾아낸 함수로 두 변수 간의 인과 관계를 유추하는 기계 학습 알고리즘이다.