第二年四月，监察御史周子廷当延弹劾牛仙客，认为他无才无学，滥居相位，不能称职，并引谶书为证，说牛姓为相，对唐廷不利。
周子谅是张九龄引荐的，所以他的弹劾，不仅仅是针对牛仙客一人，而是张九龄为代表的文学派对李林甫为代表的吏士派的最后一次反击。然而，一切都无济于事了。玄宗对周子谅的弹劾十分恼火，大发雷霆，当即令侍卫将周子谅痛打于殿庭，死而复苏，旋即又杖之于朝堂，流放滚州，行至蓝田而死。
李林甫又提醒唐玄宗，“子谅，张九龄所荐也”。于是，玄宗又下令贬张九龄为荆州(治今湖北江陵)长史，逐出京师。
在贬逐张九龄的第二天，玄宗又立即宣布废掉了太子瑛。这也是张九龄在相位时竭力反对的。
这一系列事件的连锁反应，说明张九龄的罢相不是孤立的事件。表面上，这是吏士派官员对支持太子瑛的文学派官员的一次沉重打击；实质上，与其说是李林甫搞垮了张九龄，毋宁说是唐玄宗利用李林甫和张九龄间的矛盾，搬掉了妨碍自己随心所欲的绊脚石。
李林甫任中书令后，欲自专大权，阻止群臣向玄宗进谏，向谏官们明白宣布说：“今明主在上，群臣将顺之不暇，勿用多言，诸君不见立仗马乎?食三品料，一鸣辄斥去，悔之何及!”有位补阙杜琏曾不顾李林甫的威严，还是上书言事，当即被黜为下邦县令。从此，“谏争路绝矣”。不仅一般群臣不敢进谏，连专负监察进谏之责的谏官们也只好沉默不言了。