赵孟頫于宋理宗宝祐二年九月十日（1254年10月20日）生于吴兴（今浙江省湖州市，为宋太祖子秦王赵德芳之后。其五世祖为宋孝宗的父亲、秀安僖王赵子偁、四世祖为崇王赵伯圭，因孝宗赐赵伯圭宅第于湖州，故而他的后代子孙成为湖州人。赵孟頫的曾祖赵师垂，祖父赵希戭，父亲赵与訔，亦皆仕于南宋，官衔颇高。嫡母李氏，生母丘氏。祖父早死无子，由祖母收他为后。赵孟頫为赵与訔第七子。他十一岁时，父亲去世，由生母督学。
赵孟頫自幼聪敏，读书过目不忘，下笔成文，写字运笔如风。十四岁时，赵孟頫因其家世代为官亦入补官爵，并通过吏部选拔官员的考试，调任真州司户参军。
南宋灭亡后，赵孟頫一度蛰居在家。丘氏说，“圣朝必收江南才能之士而用。你不多读书，如何超乎常人？”他因而愈加努力，拜老儒敖继公研习经义，学业日进，声名卓著。吏部尚书夹谷之奇举荐赵孟頫为翰林国史院编修官，但他辞不赴任。
元朝重用
至元二十三年（1286年），元朝行台侍御史程钜夫奉诏搜访隐居于江南的宋代遗臣，得二十余人，赵孟頫名列其首，并单独被引见入宫，觐见元世祖忽必烈。 [7] 忽必烈见赵孟頫才气豪迈，神采焕发，如同神仙中人，非常高兴，让他位坐右丞叶李之上。当时朝廷刚刚设立尚书省，命赵孟頫起草诏书，颁布天下。忽必烈看了诏书后称赞道：“说出了朕心中所要说的话。”朝廷召集百官于刑部，商讨制定刑法。众人认为凡贪赃满至元宝钞二百贯者，都应论死罪。赵孟頫则认为处罚太重，因为钞法创立后的几十年内，已大幅度贬值，用贬值的宝钞来决定人的生死，不足采取。有人见他年少，又是来自南方，不了解元朝国情，指责他反对以宝钞来定罪，是想阻碍宝钞的流行。赵孟頫也理直气壮地反驳，指出：“刑法是关系到人命的生死，必须分别轻重。我奉诏参与商议，不敢不言。你不讲道理，企图以势压人，这是不行的！”那人被说得哑口无言。忽必烈打算重用赵孟頫，但遭到了一些人的阻止。