原来自温裕被捕之后，天子司马炎心头一松，病势顿时有了起色。暗自庆幸于齐献王司马攸的灵魂并未作祟，司马炎对满朝王公赐下布帛，以示庆祝。却不料就在同一天，宫城内的含章殿、修成堂、晖章殿南阁和景坊东屋同时发生火灾，等到火势终于被扑灭，这几处精美的建筑已经焚毁殆尽，司马炎也因为惊吓病势再度恶化。加上前两年太庙和宣帝庙分别发生地陷梁折的险情，众臣之中便传言齐献王司马攸死后怨气不散，一而再再而三地显灵，若不采取措施平息司马攸鬼魂的怨恨，只怕以后还会有更大的灾祸。
自汉代以来，朝廷一直讲究“天人感应”，所以就算这些变故与司马攸的鬼魂无关，也必定是上天对司马炎施政措施的警示。众臣不好明说司马攸一事戳司马炎的心窝，就拿公认的罪魁祸首外戚杨家开刀，纷纷上书说“杨氏三公，并在大位，故天变屡见，窃为陛下忧之”，逼司马炎裁撤赋予杨家的大权。
杨骏杨珧杨济三兄弟知道杨家发迹太快不得人心，加上司马炎对众臣上书不置可否的态度，顿时都心慌意乱起来。杨骏连夜召唤潘岳，原本就是想询问在汹汹物议之前，该如何应对。
“明公可否告知下官，另外两位杨将军对此事是什么想法？”面对杨骏一夜之间青黑的眼圈，潘岳不慌不忙地问。
“我三弟杨济武将出身，其实与朝局所涉不多。倒是二弟杨珧心生退意，说什么‘自古以来，一门二后的家族都没有什么好下场’，想要撺掇我和他一起辞官。”杨骏烦躁地回答。
杨家接连出了杨艳杨芷两位皇后，“三杨”更是权势喧天，因此杨珧能萌生出急流勇退的心思，倒也令人佩服。潘岳心头转过这个念头，面上却做出一副大惊失色的模样，连连摇头道：“明公万万不可听从卫将军的建议辞官归隐，否则上负天子，下误前程，那就中了宵小们的诡计了！”
见杨骏抬头一瞬不瞬盯着自己，潘岳解释道：“天子力排众议倚重杨家，原本就是为了平衡宗亲和世家，为将来太子奠定稳固的朝局。明公若是贸然退隐，无异于将鼎立三足折毁其一，天下大势又如何能平稳下去？何况明公乃是皇后亲父，太子嫡亲外公，身份之尊谁人能与争锋？就算杨氏一门需要暂退一二明哲保身，也绝不该是明公您退位啊。”
“我若不退，难道你指望我二弟退位？”杨骏轻哼了一声。二弟杨珧和三弟杨济少年得志，在仕途上已经得意了大半辈子，哪里像自己辛辛苦苦在低位熬了十几年，好不容易才爬进朝廷中枢？