Mustaches are forbidden because they are associated with European military officers and militarism in general.
А вот носить усы запрещено, потому что они у амишей ассоциируются с европейскими армейскими офицерами и с милитаризмом вообще.