1975年5月，霍查主持召开党的七中全会，把矛头对准了主管国家经济的最高领导人——党中央政治局委员、国家计划委员会主席、阿尔巴尼亚-中国友好协会主席阿布杜·勒凯莱齐和政治局委员、工矿部长科乔·蒂奥多西，并把他们定性为“经济反党集团”。凯莱齐、蒂奥多西等人在全会结束时被解除党内外一切职务，并开除出党。

1981年——1982年清除谢胡反党集团：1981年12月18日，阿尔巴尼亚政府总理谢胡“自杀”；21日，霍查在阿党八届二中全会宣布说谢胡是自绝于党的敌人。1982年初，改组政府，中央各部委“精简”400人，霍查命令全军听从他的直接指挥，要求军队把谢胡作为巴卢库反党集团的总后台进行彻底清算；下半年，霍查首先在党内作关于谢胡间谍活动的报告，然后在地拉那选民大会上首次公开谢胡事件，宣布谢胡是南、苏、美“多国间谍”。谢胡死后，他的家人、部下及身边人员都受到了株连。

霍查晚年偏执、多疑（甚至对所有政治局委员无一例外地进行对话监听，同时设有替身）、僵化、专制，把国家建成了与世隔绝的“碉堡之国”，被外界称为“神秘的国度”。在他统治的后期，自诩“世界上唯一真正的社会主义国家”的阿尔巴尼亚，被人以“一二三四五六七八九十”来形容：一盏红绿灯：车少。二牛抬杠：牛车是主要交通工具。三群当道：牛群、羊群和鸡群。四处碉堡：以碉堡武装保卫祖国。武警林立：警察和便衣警察多。六亲不认：霍查多疑，法律连坐。七窍不通：闭关自守，自绝于世界文明。八面威风：霍查做派。久久不变：体制僵化。十分落后：欧洲最贫穷的国家。

死后掘坟

上世纪90年代，随着苏联解体和东欧剧变，阿尔巴尼亚也发生了剧变，霍查受到了批判和鞭笞。

1991年2月6日，阿尔巴尼亚第一个反对党——民主党刚一成立，党主席萨里·贝里沙便发表文章批判霍查的个人迷信，成为否定霍查及劳动党的第一个信号弹。他在文章中称霍查是“斯大林式的独裁者，在阿尔巴尼亚建立专政，大搞残酷的阶级斗争，打击政治反对派，造成国家的贫困和孤立”。6日当天，霍查大学的学生们便举行了罢课、绝食，要求“霍查大学”恢复原校名等。2月20日，矗立在市中心广场上的霍查铜像被示威者推倒，其他城市的霍查塑像也遭到同样下场。接着，各家政治书店被捣毁；70余卷的霍查著作付之一炬。

1992年5月5日“烈士节”前夕，总统贝里沙做出把霍查等“非烈士”的遗骸迁出“祖国烈士陵园”的决定。5月2日夜间，霍查的墓穴被挖开，棺木被撬，遗骸挪到了地上。次日，霍查之子伊利尔等获准进入辨认尸体收棺，把棺材运到沙拉公墓，草草入葬。墓穴前的破水泥板上用粉笔写着：恩维尔·霍查。

“第一夫人”

在阿劳动党执政的45年间，霍查夫人奈奇米叶一直是党中央委员和人民议会议员，先后担任党中央宣传和文教部长、马列主义研究所所长等职。另外，她还是阿尔巴尼亚妇女组织的创始人。

1990年底，地拉那霍查大学发生学潮。霍查夫人被迫辞去民主阵线全国委员会主席职务。随之，示威者冲进高干住宅区，包围了霍查夫人住所，并扬言放火烧掉房屋、揪出霍查夫人。全家被迫搬出了高干区，迁入一座又脏又破的公寓楼。1991年6月，标志着阿尔巴尼亚劳动党演变的第十次党代会决定首次公开批判霍查。霍查夫人对这次党代会及劳动党改名为社会党持否定态度，尤其对公开批判霍查表示愤慨，并宣布退党（实为被开除），从此退出了政治舞台。1991年9月，霍查夫人因“大量侵吞国家财产”的罪名遭软禁，随之被捕，并进了地拉那313号监狱。年底，被判处9年有期徒刑，1997年1月获释。出狱后，与霍查的单身妹妹一起住在地拉那市郊的一座筒子楼里。