L'arrivée des colons hollandais, huguenots puis britanniques a accentué leur déclin.
Ils ont dû faire face à la concurrence économique et à la pression culturelle de ces nouvelles populations, ce qui a encore accéléré leur déclin démographique et leur perte d'influence dans la région.