张说拜相后，因不肯党附太平公主，被贬为尚书左丞，后拜中书令，封燕国公。姚崇拜相后，张说被贬为相州刺史，又贬岳州刺史。