身死海南
赵鼎被外放后，王庶入宫晋见，高宗对他说：“赵鼎两度为相，对于国家有大功，两次辅助亲征都能取胜，又镇抚建康，朝廷安全无患，真是他人不如啊。”此时，王伦与金使萧哲、张通古来临安，以抚谕江南为名，高宗叹息着对王庶说：“如果五天前得到这个消息，赵鼎岂能离去？”
当初，张浚推荐秦桧可共兴大事，赵鼎再次任相时也这么说。但是秦桧心机深险，外表随和而心中持异见。张浚当初求去，有旨召赵鼎。赵鼎罢相出知绍兴府后请求奉祠，秦桧讨厌他逼迫自己，改任他知泉州，又嗾使谢祖信弹劾赵鼎曾接受张邦昌的伪命，便夺其节钺。御史中丞王次翁弹劾赵鼎治郡废弛，高宗遂命赵鼎回临安提举洞霄宫。赵鼎从泉州归来，又上书议论时政，秦桧怕他重新被起用，让王次翁又弹劾他曾接受伪命，贪污都督府十五万缗钱，贬谪于兴化军。弹劾他的人仍不罢休，朝廷命他迁移到漳州，又责授他为清远军节度副使，安置在潮州。
赵鼎在潮州五年，闭门谢客，不谈时事，有人询问，他只引咎自责而已。御史中丞詹大方诬蔑他受贿，嘱令潮州知州把他迁移到吉阳军（今海南三亚），赵鼎上谢表说：“白首何归，怅余生之无几；丹心未泯，誓九死以不移。”秦桧见后说：“这个老头还像以往那样倔强。”
赵鼎在吉阳三年，隐居深处，门下故吏都不敢通信问候，只有广西主将张宗元时时送些醪米。秦桧知道后，命本军每月开其存亡申报。赵鼎派人告诉他的儿子赵汾说：“秦桧一定要杀我。我死了，你们没有忧患；不然，祸及一家。”他之前患病，自撰墓中石，记载乡里及任职年月。到这时，自书墓铭说：“身骑箕尾归天上，气作山河壮本朝。”遗言嘱咐他的儿子请求归葬，便绝食而死，时为绍兴十七年（1147年）八月二十日，天下人听说后十分悲痛。绍兴十八年（1148年），得旨归葬。
宋孝宗即位后，追赠赵鼎太傅，赐谥号“忠简”，追封丰国公。淳熙十五年（1188年），赵鼎与吕颐浩、韩世忠、张俊得以配享高宗庙庭。其子孙十二人都被授任官职。
