不过胤祥的身体在长期高负荷工作压力下，早已不堪重负，已经油尽灯枯，即使再好的药物和名医，也无法挽回。雍正八年（1730年）五月初四，四十四岁的胤祥病故于京师，为四哥雍正帝鞠躬尽瘁。胤祥去世后，万分悲痛的雍正帝有如断却臂膀，数日食不甘寝不安，不顾君臣分别，坚持穿素服为十三弟致哀，并著令胤祥之名由之前的“允祥”改回“胤祥”，赐谥号“贤”，再加“忠敬诚直勤慎廉明”于谥号前，以示恩宠。
同时，雍正帝确立了胤祥生前一直拒绝的“世袭罔替”待遇，把他的世子弘晓册立为世袭亲王：“吾弟之子弘晓，著袭封怡亲王。世世相承。永远弗替。 凡朕加与吾弟之恩典后代子孙，不可任意稍减。”额外再立其子弘皎为世袭郡王：“著令怡贤亲王子弘皎加恩封授郡王，以嘉王之功勋。”从此，怡亲王的后代，就有了一个亲王、一个郡王的世袭爵位，这在整个清朝，都是罕见的（除了国初时候，礼亲王及其后裔中，有一个亲王、两个郡王的世袭爵位，不过那个是军功封爵，不能相比。
）雍正十三年（1735年）八月，雍正帝去世，乾隆帝即位。新君继位后，按照雍正帝的嘱托，明确了弘晓的怡亲王和弘皎的宁郡王爵位世袭罔替资格，并授予胤祥庶长子弘昌贝子爵位（亲王庶子一般只封授镇国将军，弘昌封贝子，已经是莫大的恩遇了。）但是弘昌不满意自己的待遇，对于父亲一直有意压制自己很是怨恨（弘昌性格跋扈、为人轻浮，胤祥怕他惹事，所以长期把他关在府内不许外出，直到胤祥去世后，才得以出外），于是联络同样心怀不满的四弟宁郡王弘皎（弘皎是胤祥嫡长子，因为胤祥不想自己的成年儿子继承亲王爵位，将来给皇权造成威胁，所以特地选择了年幼的嫡子弘晓继承爵位，因此弘皎失去了亲王之位），勾结废太子胤礽之子理亲王弘皙等，阴谋作乱，想要谋逆。
不过他们还没来得及举事，就被早有准备乾隆帝一举粉碎。乾隆四年（1739年）十二月，乾隆帝将弘皙、弘昌、弘皎等人全部软禁关押，之后将弘皙革除王爵，圈禁景山；弘昌革除贝子，收回御赐府邸；弘皎则因为是雍正帝亲封的世袭郡王，不好太过处置，所以乾隆帝将其释放，没有加罪，但是其世袭郡王改为降等承袭，而且停郡王俸禄终身。
此后弘昌在乾隆三十六年（1771年）以闲散宗室身份去世，身后也没有谥号。弘皎则在乾隆二十九年（公元1764年）默默无闻地死于宁郡王府，死后谥号“良”，称宁良郡王。他这一支，失去了世袭的郡王资格，不过以后机缘巧合之下，弘皎的后裔还会入继大宗，承袭怡亲王爵位，这都是后话了。在这一场风波中，承袭了怡亲王爵位的弘晓因为才满十八岁，年幼本分，所以没有牵扯进“谋逆案”中。
但是在乾隆七年（1742年）三月和八年（1743年）八月，他所担任的管理理藩院及正白旗满洲都统还是都被免去，此后再也没有担任过其他重要职务，只是凭借世袭罔替的“铁帽子王”爵位，参与朝廷大典、朝会列班，仅此而已。弘晓此后将全部精力放在了收藏古文典籍上，他在怡亲王府内修建了几座藏书楼，取名名“乐善堂”、“明善堂”、“安乐堂”，把搜集来的典籍善本藏于期间，时时观摩，并据此著《明善堂集》作为一生志趣爱好的总结。
弘晓以此态度，躲过了有可能来自乾隆帝的打击和惩罚，远离朝堂，以藏书家和诗人自娱，总算得以将世袭罔替的怡亲王爵位安全保住，不至于像两个哥哥弘昌、弘皎一样，被褫夺爵位、或者被降等承袭，给怡贤亲王胤祥护住了家族荣耀。乾隆四十三年（1778年）四月，五十七岁的第二代怡亲王弘晓去世，朝廷赐谥号“僖”，称怡僖亲王。
弘晓次子永琅承袭了怡亲王爵位（弘晓长子永杭死于乾隆四十二年（1777年），没有来得及承袭爵位，而且也没有子嗣），成为第三代怡亲王。之后，怡亲王传承分别为：第三代：怡恭亲王永琅（乾隆四十三年（1778年）袭爵，嘉庆四年（1799年）薨。）怡亲王绵标（永琅次子，嘉庆四年（1799年）时先于永琅去世，子奕勋承袭爵位后追封）第四代：怡恪亲王奕勋（绵标长子，嘉庆四年（1799年）祖父永琅去世后袭爵，嘉庆二十三年（1818年）薨。
）第五代：怡亲王载坊（奕勋长子，嘉庆二十四年（1819年）四岁时袭爵，嘉庆二十五年（1820年）薨，年仅五岁，无嗣，无谥号。）嘉庆二十五年（1820年），五岁的怡亲王载坊去世后，怡亲王爵位经历了长达五年的空位期，直到道光五年（1825年），怡恪亲王奕勋的次子、怡亲王载坊的异母弟，时年十岁的载垣才被道光帝下诏承袭怡亲王爵位，得以延续这“世袭罔替”的“铁帽子王”。
