開皇十二年，楊素被任命為尚書右仆射，與左仆射高颎同掌朝政，成為隋文帝的左膀右臂。

開皇十三年，楊堅在岐州之北興建仁壽宮，并讓楊素負責監造。楊素為討好楊堅，平山填谷以構筑宮殿，在營建過程中，他督役嚴急，死亡者數以萬計。楊素將他們的尸體直接焚毀。其殘暴程度令人發指。真是應了那句話，興，百姓苦，亡，百姓苦！

晚年的楊堅變得喜怒不定，量刑定罪都是根據個人感情用事。而得到楊堅信任的楊素不但不勸諫，反而迎合楊堅，同時打擊報復其他大臣。

開皇十九年，為了教訓經常擾邊的突厥，隋文帝決定發兵進攻突厥。隋文帝任命楊素為靈州道行軍總管，統帥三路兵馬進攻突厥。在此戰中，楊素一改陳舊落后的車、騎、步互相衛護的陣法，大膽使用騎兵突擊，將突厥打得落花流水。

此后，楊素又再次打敗突厥，逼得突厥人遠逃，漠南再沒有他們的蹤跡了。

隨著，楊素在隋朝如日中天，早有爭奪太子之位的楊廣也主動結交楊素，楊素權衡利弊后開始押寶楊廣。頗有城府的楊素先是稱贊楊廣的孝順，在確定獨孤皇后有廢太子楊勇的意思后，楊素便在她面前竭力詆毀楊勇。獨孤皇后聽后，竟然賜給楊素財物，讓他勸楊堅廢了太子楊勇。

在楊素和獨孤皇后的兩邊發力之下，楊堅最終是廢黜楊勇，同時改立晉王楊廣為太子，楊素押寶成功。

隨著楊素的地位水漲船高，他的弟弟、叔父等多人都位列公卿。楊素的那些兒子雖然都沒有什么汗馬之勞，卻都當官做到柱國、刺史，真的是一人得道雞犬升天。

楊素家里有家童幾千人，那些樂妓、小妾更是成百上千。楊素的府第華麗奢侈，不知道的人還以為是皇宮。在那些大城市，楊素的旅店、水磨和肥沃的田地、華麗的房子都以千百來計算。

史書評價說，楊素的顯貴，南北朝以來無人可與他相比。

楊素作為隋朝顯貴大臣，本應一心為公。然而楊素這個人很是陰險，心胸狹隘，。大臣中如果有冒犯他的，除史萬歲被他獻讒言致死外，像賀若弼、柳述等，都被他在暗中中傷，甚至于皇子蜀王楊秀被廢也是出自楊素之手；如果楊素的親信或其親屬，即使無才可用，楊素也一定加以推薦提拔。于是，朝廷內外沒有不怕楊素、不歸附楊素的，所謂結黨營私說的不就是他這種人嘛！

好在，太子、蜀王獲罪被廢的時候，其他大臣都震驚惶竦，楊素卻喜形于色，楊堅很是不爽。再加上其他大臣的彈劾，楊堅便逐漸疏遠和猜忌楊素。楊堅也是玩弄權術的高手，他開始表面尊崇、優待楊素，實則將其架空。

仁壽四年，楊素跟隨楊堅到仁壽宮休養。楊堅病重的時候，楊素和駙馬柳述、元巖等人入宮侍候。當時楊廣為防不測寫了一封信給楊素問計。楊素回信卻被宮人誤送到了楊堅的住處，楊堅見信大怒。恰好此時，宣華夫人又對楊堅說楊廣對她無禮。

楊堅大發脾氣，要召見楊勇，準備重新立他為太子。然后，楊廣聯合楊素等人發動政變，楊堅突然駕崩，楊廣成功上位，為隋煬帝。

楊廣上位后，想要誘騙他的弟弟楊諒回長安，楊諒不甘俯首就范，就起兵反叛了。楊廣派老狐貍楊素親自出馬，楊素三除兩下就把楊諒打趴了，不得不投降。

大業元年，楊廣升楊素為尚書令，加拜為太子太師，賞賜無數。同年，楊廣鑒于楊素有搞過基建工程，就讓他負責營造東都洛陽。

雖然，楊素是楊廣上位的大功臣，又平定了楊諒的叛亂，但楊廣卻對他非常猜忌，表面上對他禮遇有加，實際上恩情卻很淡薄。

等到楊素臥病在床的時候，楊廣常派一些名醫前去給他治病，還賜他許多珍貴的藥物，然而卻總在暗地里問醫生楊素到底什么時候會死。

聰明一世的楊素當然知道自己的名望和地位已到了極限，自己的這位新主子對自己的猜忌，于是他就干脆直接不肯吃藥，一心尋死。

大業二年，楊素因病去世，終年63歲。楊廣追贈他為光祿大夫、太尉公及弘農、河東等十郡太守，謚號“景武”，還給他辦了個隆重的喪事，也算是給足了面子。

楊素死后，他的兒子楊玄感繼承了他的爵位。大業九年，楊玄感在黎陽起兵叛亂，失敗后遭到誅殺，楊氏家族遭受滅族之災，這也算是上天對楊素冥冥之中的報應吧！

唐代史學家李延壽評價他：楊素年輕的時候為人灑脫而不受羈絆，兼有文才武略，志向遠大，常以立功揚名自期。隋文帝將要掃清天下的時候，常把要事、重任托付給他。他在宇內掃盡妖孽的氣焰，使四海之內風平浪靜；在邊疆摧毀敵人驍勇的騎兵，迫使匈奴逃離得遠遠的。推究他鏟平敵人、平定叛亂，有功之臣沒有誰能比得過他；看他那些神奇的計策和高水平的文章，可以稱得上一代俊杰。

　　然而他一味地憑借自己的聰明和欺詐自立于世，不走仁義的正道，阿諛奉迎皇帝，使皇帝的行為有些偏離；修建仁壽宮鋪張浪費，使皇帝陷于奢侈的名聲；策劃廢除皇帝的嫡親長子，使國家最終傾覆，皇家的祖廟變成一片廢墟。這禍害衰敗的源頭，不就是楊素嗎！