于是，汉尼拔安排新争取来的凯尔特盟友保卫后方，接着开始攀登阿尔卑斯山。他极其谨慎地选择路线，认为山脉并非全然无法通过，居住在附近的凯尔特人便有过翻越先例。最后，选择了阿尔卑斯山西南边阿洛布罗克斯人居住区，作为全军的上山突破口。
在迦太基全军行进在比较开阔的平地时，当地人非常忌惮他们的骑兵和战象，所以不敢轻举妄动。但当远征军逐渐开始走入崎岖破碎的山区，附近居民便开始盘算如何袭击这群不速之客。他们迅速集结起了规模庞大的部队，依靠自己对当地的熟悉，赶在迦太基军人之前抵达了下一处高地。不过，勉强凑出的大军毕竟素质有限。埋伏的事情很快便被汉尼拔麾下的凯尔特向导发现，这次袭击便转而成为了强攻。在付出惨痛的代价后，汉尼拔也只能让部队稍稍后撤。
汉尼拔并不死心，派出向导不断侦查凯尔特人的防御漏洞。他们注意到对手有非常固定的行事规律，一到夜晚便跑到附近的城镇休息。于是，汉尼拔命令全军在白天当着守军的面高调进军，吸引了附近守军的注意力，并在接近敌人的山脚下扎营。等到夜幕降临，就在营地里点燃大量篝火，继续迷惑对方。阿洛布罗克斯人在白天神经紧绷，到了晚上已疲惫不堪。结果，大部分人按照惯例到附近城镇休息。这个易守难攻的隘口，就这样被汉尼拔的精选突击队给轻易占据。
第二天早上，阿洛布罗克斯人才发现汉尼拔的诡计，但他们并没有真正放弃敌对行动。随着迦太基人的继续深入，道路再次变得蜿蜒曲折，整支队伍被拉得又细又长。阿洛布罗克斯人迅速追赶，从多处袭击这支首尾不能相顾的军队。危机时刻，汉尼拔还迅速调动之前挑选的精锐突击队，赶赴几处被袭击的地方。
他们以居高临下之势，对阿洛布罗克斯人实施反突袭。一直到那些勇武的山民被击溃，整支军队才获得喘息之机。但清点损失后，汉尼拔意识到自己最大的问题在于大量驮兽的坠崖。这意味着他的军队已丢失了赖以生存的各类物资。于是，全军转而进攻阿洛布罗克斯人的城镇，希望在那里获得必要的补给品。由于大多数土人的男丁都已经出征在外，所以整个城市几乎都不设防。汉尼拔的士兵得以用找来的各种食物，在敌人的城市里休整一天。
阿洛布罗克斯人的失败消息，很快就传遍了阿尔卑斯山区的所有凯尔特部落。他们惊讶于迦太基的强大，纷纷派人赶来示好。汉尼拔不敢相信以背信弃义著称的他们，但也暂时找不到其他帮手。仅仅过了2天，这些“友好”的山民便又组织军队，在狭窄隘口袭击了迦太基士兵。他们不断砸下滚石，再居高临下的发动集团冲击。幸亏汉尼拔一直以警戒的状态行军，才避免了全军覆没的结局。这样的窘境一直持续到了夜晚，汉尼拔的大军才在艰难困苦之下，缓慢的向隘口突围。
之后的两天，迦太基人都停在原地休息。汉尼拔见状，立刻召开士兵会议。他拿出惯用的洗脑演说，给士兵们画起了大饼。急需望梅止渴的士兵，便暂时收拾心情，同意再度踏上征程。
很快，迦太基大军就抵达了终年积雪的阿尔卑斯山顶，将目标所在的北意大利尽收眼底。但汉尼拔和他的士兵却都高兴不起来，大量积雪和恶劣天气都让下山道路变得艰难险阻。2次突如其来的山崩，也摧毁了本可以通过的山道，使其狭窄得连牲畜都无法通过。同时，绕开这条小道又非常困难，整个行军纵队就这样被困在原地。在大雪天的持续摧残下，一些人开始滑落掉下悬崖。
在这般危急时刻，汉尼拔再次发挥了个人才智。他决定砸石融冰，开拓道路。士兵们到附近砍伐大量树木，放在挡路的巨石上燃烧。等到温度急速提升，再用携带的醋和水浇灭炭火。急速的温度变化，立刻让石头在热胀冷缩的效应下崩裂。原先坚硬的石头变得容易锤碎，也就无法再阻拦迦太基人的下山道路。
但经历了15天的翻山越岭，整支迦太基远征军都被折磨得体无完肤。士兵们在饥寒交迫中摸爬滚打，大部分人都面黄肌瘦、盔甲残破，如野兽那样衣不遮体。军马战象更是在饥饿中日渐消瘦，很难担负起正常的作战任务。鉴于这样的情况，汉尼拔再次让士兵们停下来休息。通过盘点，他发现自己带来的部队已折损近半。这样的损失让他印象深刻，因此在拉辛尼安石碑上记录下幸存者的情况。
这次翻越阿尔卑斯山的远征，行程近900公里，汉尼拔的大军克服了许多艰难险阻。只用了33天时间就越过了冰雪覆盖、山高坡陡、气候恶劣、岩多路滑的阿尔卑斯山，走完这段异常艰苦的征程后，汉尼拔离开罗讷河时的3.8万步兵、8千骑兵和几十头战象组成的大部队只剩下2万步兵，6千多没有马的骑兵和数头战象了。不久前刚被罗马人征服的内阿尔卑斯山居民仇恨罗马统治者，所以，汉尼拔的军队开下山时，一些高卢部落纷纷来投奔，汉尼拔又得到了充足的人力和马匹。
