一次，赵明诚出外未归，李清照曾作《醉花阴》一词寄给丈夫告知自己的心情，赵明诚读后，赞叹不已。却又想胜之，便闭门谢客，废寝忘食三天，最后得与词五十首，中夹杂李清照的词。叫人评鉴，友人陆德夫品味后说：“只三句绝佳。”赵明诚忙问是哪三句，陆德夫回答后，赵明诚不禁哑然。原来正是李清照的“莫道不销魂，帘卷西风，人比黄花瘦，”赵明诚由此更钦佩妻子的才学。
靖康二年三月，赵明诚因奔母丧先南下金陵，任江宁知府。这时李清照已返回青州，整理归来堂中的金石文物，准备与南下的赵明诚会和。最后经挑选装车15车，其他没带走的东西便锁在10余间屋子里。但时局变乱，她离开没多久，青州就发生了兵变，她家毁于兵祸，令人痛心。
赵明诚只做了一年的江宁知府便因为失职而罢了官。建炎三年（1129）二月，御营统治官王亦叛乱，此事被下属察觉，并做了汇报，但赵明诚似乎并没有把它放在心上，也没有指示应对措施。于是下属自行布阵，以防不测。
是夜，王亦果然造反，被有所准备的下属成功击败。到天亮时，下属前去找寻赵明诚报告，却发现他早就利用绳子从城墙上逃跑了。
叛乱被定之后，赵明诚被朝廷革职。李清照深为丈夫的临阵脱逃感到羞愧，虽然并无争吵，但往昔的鱼水和谐已经一去不返，她从此冷淡疏远了赵明诚。
不久，赵明诚又接命前往湖州上任。赵、李分别时，局势更糟。李清照也知道，夫妻分别，随时都可能遭遇兵祸。而丈夫在兵变中的懦弱也在她心中留下了阴影，于是她更担心自己保护不了如此多的物件，于是便问赵明诚，若真发生不测，那该如何是好？当时赵明诚说，若逢不测，先丢辎重，再抛弃衣物，然后依次是书册、卷轴和古器，而夫妇二人所收藏的最为珍贵的《赵氏神妙帖》不能失去，若非万不得以，只能与李清照共存亡。
1129年，他们向江西方向逃亡，一路上两人相对无语气氛尴尬。行致乌江，站在西楚霸王项羽兵败自刎的地方，李清照不禁浮想联翩，心潮激荡。面对浩浩江水，随口就吟诵出了《夏日绝句》。赵明诚站在她身后，闻听之后愧悔难当，深深自责。从此便郁郁寡欢一蹶不振，不久便急病发作而亡。
1129年，赵明诚患疟疾病卒于建康（南京），一段将近三十年的美满姻缘就此落幕。
