当时的太子杨勇粗率，不象个做儿子的样子，独孤皇后不喜欢他。晋王杨广想夺取太子之位，见杨素有权有势，就屈尊象对待父亲一样对待他。杨素十分高兴，对身边的人说：“这个小子很让人疼爱，日后我要提拔他。”

一天晚上，文帝邀请杨素到宫中赏月。杨素借机说：“太子是国家根本。太子要贤，天下就能安定；若太子不遵循礼法，就不是可以担负国家大事的人物。”在旁边的独孤皇后也附和杨素，称赞杨广，认为太子杨勇不能担当国家重任。在这种情况下，文帝废了杨勇的太子之位，改立杨广。

后来，杨广趁文帝生病期间，调戏其宠妃。文帝知道后，让杨素尽快叫来杨勇。杨素却不奉诏。文帝十分生气，说：“你受到我的厚恩，却不知道感激我，反而恩将仇报，坏我家大事。你欺我病重不能杀你，我死后决不饶你。”不久，文帝驾崩。

杨素辅佐杨广登基做了皇帝。但是杨素视杨广为儿戏，上殿从来不拜，奏事也不称名。杨广拿他毫无办法。

一天早朝后，杨素刚要退班，突然绕宫殿而走，边走边说：“臣有负文帝厚恩，罪该万死。”说完，倒地而死。大概是文帝显灵将其打死的。

（资料来源：《太上感应篇》）