非線形回帰
普通最小二乗法と加重最小二乗法
最良適合曲線はしばしば、残差二乗和を最小化するものであると想定される。これは普通最小二乗（OLS）アプローチである。しかしながら、従属変数が一定の分散を持たない場合は、加重残差二乗和が最小化されるだろう（加重最小二乗法を見よ）。それぞれの重みは理想的には観測値の分散の逆数と等しくなるべきでるが、反復加重最小二乗アルゴリズムでは、重みは繰り返し毎に再計算することができる。
分割回帰
独立変数（説明変数、X）は複数のクラスまたは区分へと分割することができ、区分ごとに線形回帰を実行することができる。信頼度分析を伴う分割回帰では従属変数（説明変数、Y）が様々な区分において異なる振る舞いをする結果が得られるかもしれない。
右図は、土壌塩分（X）がマスタードの収量（Y）に最初は、「臨界値」または「閾値」まで、影響を与えず、その後は収量に負の影響を与えることを示す。