肃宗为了尽快收复都城长安，等到郭子仪筹借到西北军大集合的时候，便对李泌说：“今战必胜，攻必取，何暇千里先事范阳乎！”李泌就说：“如果动用大军，一定想要速得两京，那么贼势一定会重新强盛，我们日后会再受到困扰。我们有恃无恐的强大兵力，全靠碛西突骑、西北诸戎。假如一定要先取京师，大概在明年的春天，就可成功。但是关东的地理环境，与气候等情况，春天来得较早，气候容易闷热，骑兵的战马也容易生病，战士们思春。也会想早点回家，便不愿再来辗转作战了。那么，沦陷中的敌人，又可休养士卒，整军经武以后，必复再度南来，这是很危险的办法。”但肃宗却坚决地不听李泌的战略意见，急于收复两京，由此便出现了郭子仪借回纥兵，随广平王李豫等收复两京的一幕。
遁避衡山
自从肃宗在灵武即位时起，李泌就一直在肃宗身边，为平叛出谋划策，他当时虽然没有身担要职，却“权逾宰相”。正是这种与肃宗极为亲密的关系，招来了权臣崔圆、李辅国的猜忌。两京收复后，平叛大局已定，李泌便主动要求离开权力的中心，遁避进衡山修道，肃宗下诏赐李泌三品俸禄及隐士服，还为他建造居室。
入朝出朝
李泌隐居数年后，玄宗去世，肃宗随即也驾崩，新继位的皇帝便是李泌当年特别加以保护的广平王李豫（即唐代宗）。代宗即位，马上就召李泌回来，任命他为翰林学士。代宗先让他住在宫中的蓬莱殿书阁，跟着就在长安的光福里赐他府第，又强迫他吃肉，还为他娶已故朔方留后李暐的外甥女为妻。但是宰相元载认为李泌不肯依附自己，留在朝廷对自己是一个潜在的威胁。刚好江西观察使魏少游请朝廷为他派去一些僚佐，元载就盛称李泌有才，可担此任。李泌就以检校秘书少监、江南西道判官之职再次离开朝廷。旋即改为检校郎中，仍任判官。
大历十二年（777年），元载犯罪伏诛，代宗立即召他还京，准备重用。但又为宰相常衮所忌，常衮再三设法外放他出任楚州刺史，李泌推辞不去，代宗也留他在朝中。适逢澧州有职务空缺，常衮极力陈述南方穷困之状，请求放李泌前往治理，代宗无奈，只得授李泌为澧（今湖南澧县）、郎、峡（今湖北宜昌）三州团练使，后迁任杭州刺史。李泌虽被贬至地方供职，但在所到之处都立有良好的政绩，尤以在杭州任上的治绩著名 。宋人苏辙称“杭本江海之地，水泉咸苦，居民稀少”，至李泌在任时，“始引西湖水作六井，民足于水，故井邑日富”。
对于军国大事，李泌仍然不远千里地向代宗提出建议，代宗也必定采用照办。皇太子李适（即后来的唐德宗）也曾与李泌交游。
