سیاستمدار جنجالی انگلیس، کرسی خود را از دست داد