犹太人从《旧约》前5章得知，先知们所预言的弥赛亚，将最终出现在耶路撒冷的锡安山上，那时候所有的民族都将融为一体。为了尽可能的接近实现这一预言，世界各地虔诚的犹太教徒都梦想着嗣后能安葬在这一圣山（锡安山）旁的墓地里。
经文里清楚的写着，直到那时，犹太人都应当仍然是一个神圣的国家，而不与其他国家融合为一体。这就是犹太人建立以色列国家和以耶路撒冷为其永恒首都的根本原因之一。前面所属的圣殿山被犹太教视作最重要的圣地，而圣殿参与的哭墙就成了最重要的崇拜物了。
犹太人与耶路撒冷的渊源自古就有也是关系紧密的。犹太人朝着耶路撒冷这个方向朝拜，在每天三次的朝拜中常常提到此城，在逾越节结束后会说句向往之言：“明年相约耶路撒冷”，在每顿饭结束的祝福祷告中要回想该城。
圣殿的毁坏在犹太人的意识中更显得格外严重；他们采用各种方式来纪念这特殊的悲惨一天：房子留下部分不修，妇女弄个不完整的妆或残缺的首饰，在婚礼上将一块玻璃打碎。
此外，耶路撒冷还有一个更显著的历史角色，在过去的整个世纪以来，它是犹太国唯一的首都（事实上，耶路撒冷从没有被其他主权国家定为首都），尽管历经几个世纪的迫害和流亡，犹太人在耶路撒冷这片故土上一直顽强地存在着。
犹太人与耶路撒冷的渊源起于3,000年以前，并于公元前1004年被大卫王统一，定为其王朝的首都。自此，耶路撒冷变成了一个宗教、文化和学习的中心。所罗门王在位时期，巩固其父亲的政权，修建了圣殿，作为朝拜中心。并从耶布斯人手里夺取了耶路撒冷定为首都，之后大卫决定把存放摩西与上帝立下十诫石板的约柜接到耶路撒冷存放，约柜是犹太人的圣物，它的到来意味着耶路撒冷在犹太人心中的地位变得无比神圣。
此后，该城作为大卫王朝的首都达400年之久，直到公元前586年被巴比伦人攻占。
之后，巴比伦国王驱逐了所有的犹太人并烧毁了圣殿。50年后，巴比伦被波斯灭亡，犹太人重新回到了以色列这片故土，开始重建耶路撒冷和圣殿。在随后的五个半世纪里，耶路撒冷再次成为了犹太人的文化和宗教中心。
公元前167年，塞琉西帝国入侵耶路撒冷圣殿，马加比家族起义爆发，哈希芒王朝夺回了耶路撒冷。
犹太国复国之后，耶路撒冷进入了一个增长和发展的时期，直到公元70年，一次反抗罗马的起义惨败后，罗马人烧毁了第二圣殿，耶路撒冷成被夷为平地，当地居民再次被奴役，驱逐出境。
在此后耶路撒冷被外国侵略者——罗马（直至公元324年）、拜占庭（324-614）、波斯（614-638）、穆斯林阿拉伯人（638-1099）、欧洲十字军（1099-1291）、马穆鲁克（1291-1516）、奥斯曼土耳其（1516-1917）以及英国托管地（1917-1948）占据的时期里，犹太人历尽迫害，但仍顽强地在耶路撒冷生存着、忍耐着。
犹太人一直定居在耶路撒冷，1844年又成为了该城最大的种族群体。