地节三年（公元前67年），霍光刚刚死去一年的时间，汉宣帝封许平君的父亲许广汉为平恩侯，同时册立与许平君在民间所生的刘奭为太子。霍显非常恼怒，甚至“恚怒不食，呕血”，并授意霍成君伺机毒杀刘奭。但因为太子的老师（一说保姆）先试菜验毒，所以霍成君几次下手均未成功。

这正应了“君子之泽，五世而斩”。霍光虽为大汉立下汗马功劳，但霍家人却不知惜福，日益骄横，不将任何人放在眼里。霍氏一门族人虽然身居高位，却不知为官之道，“朝请”时却“数称病私出”，“朝谒”也叫“苍头奴”代劳，最后连家奴都狗仗人势，竟因与人争道而入御史府踢大门，还动不动就扬言“县官（指汉宣帝）非我家将军（指霍光）不得至此”。

贵为天子的刘询已是“是可忍，孰不可忍”了。

首先，宣帝解除了霍光两女婿东宫、西宫卫尉的职务，剥夺了他们掌管的禁卫军权，这样，就将保卫自己的势力紧紧地攥在自己的手中。

其次，宣帝还将霍光的两个侄女婿调离了中郎将和骑都尉的职位，让自己的亲信担任南北军和羽林郎的统帅，继而把兵权掌握在自己手中。如此一来，霍家要是有什么动作，宣帝也可以用武力镇压。

再次，宣帝还提拔霍光的儿子霍禹为大司马，明升暗降，实际上剥夺了他的实权，其右将军屯兵的权力从此付诸流水。

最后，宣帝为了将霍山、霍云领尚书事的职务架空，还大力改革上书制度，下令吏民上书，直接呈皇帝审阅，不必经过尚书。

霍家的酒囊饭袋开始时并没有察觉，还以为这是宣帝对霍家的恩宠。此时，霍家掌握的权力被宣帝剥夺殆尽，特别是军权逐渐集中在汉宣帝的手中，霍家人终于明白，这个皇帝绝不是个头脑简单的人，而一想到宣帝对于许平君的深情，霍家还将其谋害，几个知情人就感到不寒而栗，惶恐不安之下，霍家最终决定铤而走险，举行叛乱，推翻汉宣帝，保住他们的既得利益。他们设计了两次阴谋，一次是谋害丞相，另一次是废黜皇帝而以霍禹代替。

这两次企图都得到了以皇太后名义颁布的诏书的支持。太后为霍光的外孙女，她的诏书曾被非常有效地利用过，但这一次霍家却不走运。阴谋的消息泄露到宣帝的耳中，不仅政变没有达到既定目标，霍氏一门还遭受了灭门之祸。参加叛乱的人都被处以极刑，其中霍光子霍禹、霍云，侄子霍山，都被杀或者自杀。而阴谋毒害太子的霍成君也被宣帝废掉，令其迁往上林苑的昭台宫。

十二年后的五凤四年（公元前54年）再度令其迁往云林馆，霍成君自杀，葬于蓝田县昆吾亭东。

废后诏书原文：

皇后荧惑失道，怀不德，挟毒与母博陆宣城侯显谋，欲危太子，无人母之恩，不宜奉宗庙衣服，不可以承天命。呜呼伤哉，其退避宫，上玺绶有司。

至此，刘询终于为发妻许平君报仇，比起吕太后、卫子夫等人，许平君总算得到了宣帝的真感情，从这点看，许平君是幸运的。自此，在西汉朝廷中盘踞了十几年的霍家势力一朝覆灭，汉宣帝最终确立了他的绝对统治。