楊少華是相聲界出了名的老來紅，年輕的時候因為家里窮，日子一度過的很窘迫，雖然有馬三立和侯寶林大師的提攜，但也沒能紅起來，在窮的時候，為了生計，一度很卑微，被馬志明戲耍，又被侯家弟兄輕視，翡翠麻將更是成為痛點。

楊少華的窮似乎貫穿了他的大半生，早年他曾在啟明茶社打雜，并和啟明茶社常連安的公子常寶霆關系要好，在常寶霆父親常連安的引薦下，楊少華被推薦給當時啟明茶社的臺柱子郭榮啟當徒弟，郭榮啟既是常家的姑爺，又在常家的啟明茶社工作，面對常連安的推薦，也就答應了，按照當時的規矩，徒弟拜師需要掏錢擺知，楊少華家里窮，沒錢擺知，這事并被無限期拖延下來，這也成為楊少華師承備受爭議的主要原因之一。

在解放后，為了養家，楊少華一度去當工人，到了特殊時期過后，又在馬三立的提攜下進入了天津曲藝團，跟馬三立的長子馬志明搭檔，對于這組搭檔，楊少華和楊議在訪談的時候談到過是馬三立求著楊少華去搭檔的，但馬志明和楊少華一同做客節目的時候，則直言楊少華之所以和馬志明搭檔，完全是為了調入曲藝團。

楊少華和馬志明的搭檔并不愉快，兩人甚至三年不到就不歡而散，在搭檔的時候，馬志明還因為楊少華愛占小便宜的毛病戲耍過楊少華，那時候楊少華家里窮，但是煙癮不小，后臺演員有半截煙的，都被楊少華偷偷拿去抽了，馬志明有一次偷偷把一個炮仗卷到煙里面，故意放著，自己登臺演出去了，等到馬志明登臺后，楊少華果然拿著煙抽起來，馬志明在臺上演出的時候，還留意著后臺，不大一會，后臺就砰的一聲傳來，讓馬志明在臺上演出的時候，都忍不住樂。

在和馬志明散伙后，楊少華也沒能立住腳跟，于是他又趕時髦去北漂，在北漂的時候，楊少華吃住都在侯家，在日后訪談的時候楊少華甚至抱怨在侯家跟傭人差不多，但其實在那個時代，白吃白住在侯家幾年，侯寶林大師的確也算的上是厚道人。

楊少華家窮的時候，也不得不卑微，就連侯寶林大師的兒子侯耀文和侯耀華也并不尊重楊少華，侯耀文更是在采訪的時候說楊少華偷偷往家里劃拉東西，言外之意楊少華就是賊，對于侯耀文，帶著楊少華演出的時候，更是有一次直接將給楊少華的勞務費扔到地上，楊少華一邊撿錢，一邊還得賠笑：您接著扔。

楊少華在相聲界的人緣并不算好，但憑借著卑微，還是把幾個兒子拉扯大，對他而言，翡翠麻將事件更是痛點，不過老汪曾經在直播的時候辟過謠，說翡翠麻將這事并不真實，但楊少華似乎順東西的習慣，在相聲界是人盡皆知的，以至于很容易將翡翠麻將的事聯系到楊少華身上，不過雖然卑微了一輩子，楊少華在晚年卻遇到了自己的貴人趙偉洲，兩人創作表演了許多優秀的相聲作品，這也使得楊少華在晚年名氣大增，成為了著名相聲演員。