遠山氏
鎌倉時代
遠山氏の祖は藤原利仁の子孫加藤景廉である。景廉は源頼朝の重臣として功績を残し、文治から建久（1185年 - 1198年）の頃に遠山荘（現在の岐阜県恵那市・中津川市・瑞浪市の一部）を与えられた。ただし、景廉本人は頼朝とともに鎌倉におり、実際に遠山荘に赴任はしなかった。
承久の乱が始まって程なく景廉が死去し、遠山荘の地頭職は長男の景朝が受け継いだ。この後、景朝は遠山荘にちなんで遠山に改姓して遠山氏の初代となった。遠山氏の名が最初に認められるのは、景朝が承久の乱の首謀者の一人である一条信能を遠山荘で処刑した時である（ただし、伊勢加藤氏に対して遠山加藤氏としただけともとれる）。この乱で美濃守護の大内惟信が没落すると美濃国は北条氏の直轄領となり、恵那郡の遠山氏、土岐郡の土岐氏らは北条氏の傘下とされた。
その後、元弘3年（1333年）の建武の親政により土岐氏が大きく勢力を伸ばして美濃守護となり、遠山氏もこの勢力下に入った。しかし、遠山氏の勢力は、本拠地岩村城の岩村遠山氏の他、明知、安木、飯間、櫛原、馬籠、神野を有し、嘉吉元年（1441年）6月に勃発した嘉吉の乱では、遠山某が将軍足利義教の走衆となっていたとの記録がある。康正2年（1456年）には造内裏段銭として12貫225文を室町幕府に収めた遠山左近亮が遠山氏の総領格であったと思われる。また、岩村遠山氏を含めて七遠山または遠山七頭と呼ばれ、居城ごとに分かれて統治を行っていたようである。
木曽氏、小笠原氏との戦い
戦国時代が始まったとされる応仁元年（1467年）、細川勝元（東軍）と山名宗全（西軍）との間で応仁の乱が発生すると、美濃守護土岐成頼は西軍となって京で戦い留守は守護代格の斎藤妙椿が守っていた。しかし、文明5年（1473年）10月に斎藤妙椿が伊勢遠征を行なうと、その隙をついて、東軍の小笠原家長と木曽家豊が伊那谷と木曽谷から東濃に侵攻した。遠山諸氏はこれを防げず、大井城 (美濃国)を占領され、刈安城まで落城した。
その後、苗木は長らく木曽氏、松尾小笠原氏の支配下にあったようであり、永正元年（1504年）の王滝城（木曽郡王滝村崩越）の戦いでは、中津川、大井、落合の軍勢が木曽義元の家臣として戦っており、また、大永4年（1524年）3月に小笠原定基の家臣高柴景長が神明神社の造営に関わっている。松尾小笠原氏の小笠原定基は、天文年間に入ると鈴岡小笠原氏の旧臣である下条氏と府中小笠原氏に敗れ、天文3年（1534年）に甲斐に逃れた。その過程で落合は下条氏の侵攻を受けている。なお遠山氏では、天文11年（1542年）には遠山景安が笠木社に梵鐘を寄進しており、遠山一族が苗木で勢力を保っていたことがわかる。しかし、『木曽考』によると、天文14年（1545年）に木曽義康の兵が中津川防衛のため上兼（中津川上金）との途中の茶屋坂で戦い、義康の家臣萩原主水（本名遠山）が安田新七郎を討ち取っているため、苗木遠山一族は木曽氏の傘下にあったと考えられる。
なお、さかのぼって長享2年（1488年）の『蔭涼軒日録』には「遠山には三魁がある。第一は苗木、第二は明智、第三は岩村といい・・・」と、信濃国と尾張国を結ぶ木曽川の流通を抑える苗木遠山氏の隆盛が伝わっている。
武田氏、織田氏の侵攻
しかし、天文24年（1555年）、松尾小笠原氏に続いて木曽氏も甲斐の武田氏に降（くだ）り、苗木の木曽勢も武田氏の傘下に入った。これにより武田氏と美濃斎藤氏は緊張関係に入り、翌弘治元年（1556年）に斎藤氏は遠山領国への出兵を行っている。さらに弘治2年（1557年）の織田・斎藤氏の抗争において武田氏は遠山氏を通じて介入している。武田氏は遠山氏の本拠地である岩村も傘下に収めており、秋山虎繁を派兵し遠山景任の家督継承を支援している。
一方、尾張国の織田氏もおつやの方を遠山景任に嫁がせて婚姻関係を築いている。また、『苗木物語中』によると、苗木勘太郎（苗木物語中はこれを遠山友忠とする）は永禄3年（1560年）の桶狭間の戦いに、兵500余騎を率いて織田氏に加勢して勇名をはせ、美濃国にて2万石を受けたとされる。この苗木勘太郎の娘は、永禄8年（1565年）信長養女として武田家に嫁いでおり、織田信長と武田信玄の同盟成立に貢献している。
元亀3年（1572年）には、苗木の遠山直廉と岩村の遠山景任が武田信玄の命により、武田氏から離反した飛騨国の三木自綱と戦ったが、同元亀3年（1572年）中に遠山直廉と遠山景任が相次いで没すると、織田信長が苗木城に飯羽間遠山氏の遠山友勝を、岩村城には織田勝長を送り込んだため、同元亀3年（1572年）末に再び秋山虎繁の軍勢が派遣され上村合戦が起きた。東濃は、天正2年（1574年）にも武田勝頼の侵攻を受け、遠山十八支城と呼ばれる、苗木、神野、武節、今見、阿寺、馬籠、大井、中津川、鶴居、幸田、瀬戸崎、振田、櫛原、明知は尽く落城した。この時、串原遠山氏、明照遠山氏、安木遠山氏が滅び、天正3年（1575年）には、織田信長の侵攻により、岩村遠山氏、飯羽間遠山氏が滅んだ。
苗木遠山氏、明知遠山氏の旧領回復
苗木遠山氏と明知遠山氏は、織田家に仕えて天正3年（1575年）に旧領を回復したが、天正11年（1583年）に森長可の侵攻を受けて三河に逃れ徳川家康に仕えた。両氏は天正12年（1584年）の小牧・長久手の戦いや慶長5年（1600年）の関ヶ原の戦いで旧領に攻め込んで戦功を挙げ、苗木遠山氏の遠山友政が苗木藩主として、明知遠山氏の遠山利景が旗本として、それぞれ旧領に復帰した。
四国の遠山氏
小牧・長久手の戦いで家康から感状を得た「遠山佐渡守」の一族。佐渡守の子孫は高松藩の生駒家や今治藩の久松松平家に仕えた。また神箆城主・延友佐渡守がこの遠山佐渡守だとする説もある。