短暂领袖
1982年11月12日，勃列日涅夫去世两天后，安德罗波夫被选举为苏共中央总书记，成为第一个成为总书记的前克格勃领导人。
1983年的苏共十六届五中全会仅安德罗波夫缺席，之后他参与工作的时间大幅下降。
同年7月和8月，安德罗波夫的健康状况不断恶化，大部分时候他在一个乡间别墅工作，往往起不了床；不过与勃列日涅夫不同安德罗波夫依然保持着清晰思考，每天浏览400页的文件，看文学期刊和电视节目。而当时访问莫斯科的德国总理科尔赶到时，他只能在医生和保镖的帮助下与其会面。
1983年9月1日安德罗波夫主持的的中央政治局会议后他到克里米亚休息。这是其最后一次参加会议，在克里米亚他得了感冒，最后产生脓肿（组织化脓性炎症），需进行手术。手术虽然成功，但术后伤口无法愈合。同年被《时代》杂志评为1983年的“年度风云人物”。
人物逝世
1984年2月9日，安德罗波夫因长期肾病而病逝，终年70岁。
安德罗波夫的葬礼在莫斯科红场举行。美国和一些欧洲国家的领导人出席，包括前英国首相撒切尔夫人和时任美国副总统的老布什等。
