“祖父！”听到这里，佑仁更是无地自容。
确实，孝明天皇还在世时，类似的风言风语就已兴起，如今秀保病重之际，更是甚嚣尘上。
当年孝明天皇对这类言论甚为厌恶，相关人员一旦查出必予以严惩。
佑仁当时年幼，也被身边侍从有意无意灌输了不少流言蜚语，孝明天皇得知后大为光火，下令处死及流放者达百人。
佑仁颇为不解，孝明天皇也是以相同的口气告诉他：“你小小年纪，没有经历几十年前那个风雨飘摇的年代，是不会理解祖父的，你要记住，没有祖父，便没有现在的我们。”
从那时起，孝明天皇就时不时给佑仁讲述秀保当年的事迹，从与德川家康斗智斗勇，到出兵朝鲜的九死一生，再到秀吉逝后的临危受命，最终力挽狂澜、一战定乾坤，后来皇籍奉还、入嗣大统更是千年未有之举，大和丰臣氏摇身一变，成为日本名正言顺的主人。
凡此种种，孝明天皇讲得眉飞色舞，佑仁却听得云里雾里，但父亲对祖父的崇拜之情，让他也不好再说什么。
其实，佑仁一直有个心结，那便是自己的血统：虽然名义上自己的祖父和外祖父都是“正亲町—诚仁”一系，但这是“皇籍奉还”的结果，免不了外人说三道四。
孝明天皇没得选，只能借助秀保铺好的路走下去，可自己不一样，不仅可以走秀保铺的路，也可以走“正亲町—诚仁—后花山”之路，后者显然更加“堂堂正正”。
加上周遭的流言蜚语，致使他开始刻意疏远和武家华族的关系，转而亲近公家华族，秀保虽不以为意，但孝明天皇却甚为不满，更为此严惩了诸多公卿，这让佑仁产生了不小的叛逆心理。
即位后，祖孙二人的关系也愈发微妙，秀保开始逐步放手，佑仁也趁机扶植了一些亲信，但这些人大多是溜须拍马、无才无德之辈。
不少朝中重臣对此抱有异议，秀保则认为佑仁年轻气盛，只要没出大乱子，就可以做一些新的尝试。
因此，明和五年（1658）的“江户骚乱”，便是基本由佑仁自行处理，但中途却因使者的骄纵跋扈，引发江户宫的不满，十余名佑仁近臣被杀，最终还是秀保出面，才平息了众人怒火、解除了危机。
经过此事，为恢复朝廷的威信，秀保在朝中进行一番清洗，佑仁也开始反思自己之前的冲动，在人员选拔上更加慎重，藤堂高明、那须资成等一些武家华族后起之秀先后被委以重任，处理政务也更加稳重。
但这件事中展现出的秀保的控制力和影响力，仍让佑仁心存芥蒂。
随着秀保身体的日益衰弱，佑仁逐渐收回权力，为证明自己的能力、树立威信，明和九年（1662）他亲自制定计策并主持平定了“壬寅之乱”，中间虽有波折，却终归取得了预定效果。
虽说借此巩固了地位，但正如秀保所说，这件事的“副作用”也开始显现，亲族和朝臣多对佑仁关于坂本宫的处置有所怨言，更有人认为他是借机震慑和扫除秀保旧班底。好在这时秀保出席了新年庆典，才使得这种言论偃旗息鼓。