可过了些日子，杨广竟然问姐姐那个柳氏女哪去了。杨丽华不敢隐瞒，便说在杨暕府上。杨广一听就不高兴了，我是皇帝啊，你这个做儿子的，怎么能跟我抢女人呢？由是，杨广“不悦”。又有一次，杨暕跟随杨广前往汾阳宫狩猎。杨暕“大获麋鹿以献”，而杨广的队伍则啥都没捞着，这使得杨广“好没面子”，于是便问“从官”是怎么回事。
“从官”们说是野兽们为“杨暕左右所恶，兽不得前”。杨广得知详情以后，忍无可忍，遂“发怒，求暕罪失”。上面已经提过杨暕“所为多不法”，现在皇帝要找你的罪过，那还不是很容易？其时，杨暕考虑到哥哥杨昭还有三个儿子，“恐不得立，阴挟左道为压胜”。“压胜”这种事，历来为皇家所忌讳，你现在竟然对自己的亲侄子行“压胜”之术，这令到杨广愤怒，一怒之下，便把杨暕身边的“宠臣”杀了个精光。
杨暕呢？考虑到杨杲年幼，杨广对侍臣说：“我现在就杨暕这一个儿子了，不然，我就把他杀了以谢天下。”就这样，杨暕免于一死，但“恩宠日衰，虽为京官，不复关预时政”，退出了大隋的政治舞台。武德元年（618年），宇文化及弑杀隋炀帝后，杨暕以及他的两个儿子也受到了诛杀。值得一提的是，宇文化及叛乱之初，杨广还以为是杨暕发动的叛乱，阴谋夺权；而杨暕就更倒霉，临死之前还以为是杨广对他下的手——想来，这父子俩也只能是去到阴间释惑了。
杨暕虽死，但他还有一个名为杨政道的遗腹子在世。后来，阴差阳错，杨政道和奶奶萧皇后得以北上投奔突厥。突厥处罗可汗立其为“隋王”， “中国人没入北蕃者，悉配之以为部落，以定襄城处之”。再后来，李世民贞观年间，杨政道回归大唐，“授员外散骑侍郎”。至此，杨暕一脉虽然没落，但好在子嗣未绝，依然可以延续下去。相比杨暕，赵王杨杲就悲惨地多了，小小年纪就没了性命。
杨杲“小字季子。聪令，美仪容。年七岁，以大业九年封赵王”。杨杲这孩子很有文学才华，杨广“有所制词赋，杲多能诵之”，而且非常孝顺，见到杨广身体不适“不进膳”时，他“亦终日不食”。因此，杨杲也是深受杨广喜爱。宇文化及弑杀杨广的时候，他就在杨广旁边，被一并诛杀，时年十二岁。到这里，杨广三个儿子及其后代的情况就全部讲完了，总起来看，他们的命运都不是太好，特别是长子杨昭的三个儿子都未得善终，实在是令人唏嘘。
最后，我们来看杨广的两个女儿南阳公主和李世民妃杨氏南阳公主是杨广的长女，母为萧皇后。南阳公主“美凤仪，有志杰，造次必以礼”。十四岁（约599年）时，南阳公主嫁给了许国公宇文述的三子宇文士及——他的两个哥哥即为宇文化及和宇文智及。是的，没错，就是他俩弑杀了隋炀帝，大家可以从中看出这种复杂关系。宇文化及江都“弑逆”以后，遂携隋宫室北上，这里边既有萧皇后，也有南阳公主。
不过，也该他倒霉，宇文化及在抵达聊城（今山东聊城）以后，遭到了夏王窦建德的进攻，并惨败被俘。是以，萧皇后南阳公主等隋朝宫室们又落到了窦建德的手中。窦建德便趁机“接见”了这些隋朝宫室们。大家都是女眷，跟一个“叛军”首领会面，自然是十分害怕，唯有南阳公主“神色自若”。窦建德与之交谈时，“主陈国破家亡，不能报怨雪耻，泪下盈襟，声辞不辍，情理至切。
”这使得窦建德和“观听者莫不为之动容损涕，咸肃然敬异焉”。是时，窦建德准备将宇文化及、宇文智及等“谋逆”之人一并诛杀，斩草除根。这里边也包括宇文士及和南阳公主之子——年仅十岁的宇文禅师。或许是南阳公主之前的说辞“感化”了窦建德，窦建德决定“网开一面”，遂派虎贲郎将於士澄劝说南阳公主：“……您的儿子，按法也要从坐诛杀。
如果您不愿意，说一句，我们也可以留着他的性命。”这本身是窦建德给南阳公主的一次机会，只要她说两句，就可以保住儿子的性命，不料她却说：“虎贲你原来也是隋朝贵臣，你想杀就杀，这种事又何必多问呢？”见到公主的答复如此决绝，窦建德“竟杀之”。就这样，年幼的宇文禅师丢了性命。或许，有朋友问，为什么南阳公主就不能服个软呢？这可能还是源于其内心的仇恨。
毕竟，宇文家族弑杀了自己的父亲杨广，而宇文禅师又是宇文家族的后人——至少在她眼里是，她已经恨到无以复加的程度了。这里有一点要说明的是，当时宇文士及并不在聊城，而是早就“开溜”，“自济北西归大唐”。所以，宇文士及并没有受到窦建德的诛杀。两年后（621年），秦王李世民攻克洛阳，俘获夏王窦建德，以及原有的隋朝宫室。
