翩然归里
崔与之四川为帅五年，清廉自持，政绩斐然。
朝廷召崔与之入京任礼部尚书，但他三次上疏请辞，毅然返粤。离蜀之际，各路官员特来相送。四川盛产美锦、奇玉，崔与之到任之初，下属众官争相馈赠，全被他推却了。到践行时，大小官员的赠礼更加可观，但崔与之一一婉拒，分毫不取。回到广州后，他建住宅于城西（今广东省广州市朝天路崔府街），从此深居简出，不再过问政事。
嘉定十七年（1224年），宁宗驾崩，沂王赵昀被拥立继位，即宋理宗。理宗即位后，授崔与之为显谟阁直学士、知潭州、湖南安抚使，他推辞，改拜提举西京嵩山崇福宫。再授焕章阁学士、知隆兴府、江西安抚使，又上疏推辞，转官为徽猷阁学士、提举南京鸿庆宫。
绍定六年（1233年），史弥远病死，理宗得以亲政，并改次年为端平元年，开始“端平更化”。理宗有意革除旧弊、起用贤才，他下诏任崔与之为吏部尚书，几次下御笔令他赴京，称崔与之“年高德邵，国之望也”。崔与之答复说：“我已经七十有六，老病缠身，实在不能从命。”始终力辞任命。
端平元年（1234年），理宗在成功联蒙灭金后，命淮东制置使赵葵等人率军收复三京（东京开封府、西京河南府、南京应天府）。崔与之听说后，“顿足浩叹”，此后宋军果然大败而回。不久后，理宗再授崔与之为端明殿学士、提举嵩山崇福宫，他也极力推辞。
广州有支部队，叫摧锋军，被调到建康（今江苏南京）驻守，长达四年。撤离卫戍后未过五岭，又在江西逗留了四年。这支部队转战各地，所向披靡。但幕府不上报功劳，驻守期满又不让回广东，摧锋军遂于端平二年（1235年）七月发动兵变。叛军由曾忠带领自江西经梅州返粤，焚惠阳，长驱至广州府城，知广州府连夜逃遁。
崔与之当时正在家闲居，见事态严重，便率领民兵，带病登上城楼与叛军相见，查问叛乱原因。叛军一见，立即拜伏于城下，说明兵变缘由。崔与之派弟子李昴英、杨汪中坐吊篮从城墙上缒下，到叛军营中晓之以逆顺祸福道理，宣谕允许叛军自新。叛军大部分人归家散去，曾忠带少数人退踞端州（今广东肇庆）。
朝廷得知广东动乱，任命崔与之为广东经略安抚使兼知广州。崔与之临危受命，在家中理政，命提刑彭铉暗中讨捕残余叛军。其后受调的各路军队会合，崔与之指挥他们合围叛军，并且对叛军进行政治瓦解，使叛军尽数投降。崔与之仅将曾忠等几名首领以军法处死，降兵分散编入各军。摧锋军兵变平息。
崔与之向朝廷举奏有功人员，并要求解除自己的职务。他将为帅广州六个月所得的薪俸、大米，全部交回官库，分文不受。
晚节留香
崔与之谢绝政事之后，安居广州。理宗一直想让他赴京为相，亲自下七道诏书，接连任命崔与之为参知政事、右丞相等职，前后四年，留着相位等待崔与之赴任。理宗甚至命令在京当官的李昴英暂停公务，去广州专门劝说崔与之。但崔与之终因年老体衰，数月间上疏十三次请求辞免。
嘉熙三年（1239年）六月，理宗因为崔与之坚决请辞相位，同意他以观文殿大学士、提举洞霄宫之职致仕，任其择地居住。同年十一月（亦有十月一日、十一月十一日、十二月二十四日之说），八十二岁的崔与之溘然长逝。理宗闻讯后，追赠他为太师，谥号“清献”。累追封至南海郡公。临终时，他嘱咐家人：不许作佛事，薄葬即可。
崔与之病故后，有一次李昴英为理宗讲学，谈及崔与之一生的事迹与操守，理宗深为感动，愈加赞叹，于是大书“菊坡”二字赐给崔与之的家人。
明世宗嘉靖二十四年（1545年）七月，崔与之与西汉大臣廉范配享于成都府的四贤祠。
