元宵晚上，杨慎矜逮住了三人秘密会面的证据，次日向皇上告发。李林甫立刻向玄宗指出：这是韦坚与皇甫惟明密谋，企图拥立太子、篡位登基。玄宗暴怒，当天就把韦坚和皇甫惟明拿下诏狱，随后又贬到边地。韦坚一落马，兔死狐悲的李适之大为恐惧，不久后便上表请求退居闲职。
搞掉了李适之和韦坚，李林甫又引荐了陈希烈当宰相。此人崇尚老庄之学，为人柔顺谦和，可谓牛仙客第二。他上任后，李林甫享受了几年清静无争的太平日子。依照旧例，大唐开国以来的宰相，每日办公必须到午后六刻才能退朝。而李林甫则在早朝散后，巳时（上午九至十一时）便打道回府，让各省各部的待批文件和一切军国要务都送到他的府上去，由他一人裁决，而另一个有名无实的宰相陈希烈只是具名而已。
天宝六载（公元747年），时任户部侍郎兼御史中丞的杨慎矜又渐渐博得玄宗青睐，李林甫决定将其铲除。由于杨慎矜是前朝隋炀帝的孙子，李林甫就让他外甥王（左钅右共）密告他与术士往来密切，说他家中暗藏符谶，企图恢复祖先帝业。杨慎矜百口莫辩。数日后，玄宗将他和两个在朝为官的兄长全部赐死，同时株连了数十个朝臣。