1930年的中原大戰中，蔣介石面對北方軍閥在隴海路鐵路一線與對方展開激烈交戰，而自己麾下的嫡系部隊第一師在這一次作戰中付出了重大傷亡，第一師師長徐庭瑤更是身負重傷。徐庭瑤身負重傷，無法再進行指揮工作，于是蔣介石便特令第一師麾下的第一旅旅長胡宗南火線成為第一師的代理師長。從此之后這位黃埔出生的小個子將軍開始了自己幾十年的風光歷程。

1928年蔣介石重新上臺之后著手對自己曾經的嫡系第一軍進行了大張旗鼓的改革，大量黃埔出身的學生們補充到了這支部隊中。蔣介石之所以對這支部隊這么重視，不僅僅是因為這事自己的原始發家部隊。更重要的是在1927年面對李宗仁和白崇禧新桂系的聯合發難，掌握自己嫡系部隊的何應欽居然一言不發保持默許的態度，這種境況讓蔣介石大受刺激，他也從此暗暗發誓決定要把部隊掌握在自己手中，畢竟看人臉色實在是太被動了，他老蔣再也不想面臨這樣的困境。

于是1928年蔣介石在重新上臺之后著手開始對第一軍進行整頓。蔣介石讓原來的第一軍軍長何應欽成為了北伐軍的參謀長，在第一軍內開始大肆進行整頓。在這個時候，蔣介石當初的黃埔嫡系們也開始紛紛嶄露頭角，在第一軍中擔任重要職務。胡宗南就是這樣的重要代表，他在第一軍第一師中逐漸成為中流砥柱。

蔣介石結束對第一軍的清洗之后，開始了轟轟烈烈的第二次北伐戰爭。第二次北伐戰爭獲得階段性勝利之后還沒過幾天安定日子，中國又開始陷入到中原大戰之中。

在中原大戰中，第一師作為蔣介石的絕對嫡系部隊和北方軍閥展開了激烈的作戰，第一軍第一師師長徐庭瑤身負重傷，已經無法再繼續指揮戰斗。正所謂君不可一日無主帥，面對第一師指揮官的空缺，蔣介石當機立斷讓自己的心腹學生胡宗南從第一旅長火線成為第一師代理師長。

胡宗南后來之所以能夠成為蔣介石身邊最受寵幸的軍事重臣，就在于他能夠準確的把握住蔣介石的心思。胡宗南在成為第一師的代理師長之后雖然并沒有那么名正言順，但還是放開手來對第一師進行了大規模的整頓，重要崗位紛紛換成自己和蔣介石信任的嫡系人員。盡管第一師中很多人對胡宗南一上來就搞這么大的動作表示不滿，但是奈何人家是蔣介石的心腹嫡系，背后有老蔣做靠山，他人心中有意見也說不出什么話來。

從此之后徐庭瑤便和第一師徹底無緣，但是蔣介石也知道此舉對于徐庭瑤來說有些不大厚道，于是后來也讓他成為了第17軍的軍長。徐庭瑤帶領第17軍在1933年的長城抗戰中做出了重要貢獻，麾下幾大戰將關麟征、杜聿明等人紛紛嶄露頭角。

然而好景不長，徐庭瑤雖然在長城抗戰中做出了不小的貢獻，但是由于他在1936年西安事變之際被何應欽任命成為前敵總指揮，帶領部隊對張學良和楊虎城部進行攻擊而又一次站錯了隊。此時何應欽存了心思利用部隊進攻激怒張學良和楊虎城部從而使其對蔣介石進行迫害。

但是何應欽沒想到西安事變最終快速得到了解決，蔣介石再一次回歸南京。老蔣回來之后對于徐庭瑤作為進攻張學良和楊虎城部前敵總指揮這一事始終不滿，從而也一直對其沒有徹底信任。后來在抗日戰爭期間老蔣撤掉了徐庭瑤集團軍總指揮的職務不能說這里面沒有相應的考量。

但是對于徐庭瑤來說，他最大的貢獻就是組織建立了國民黨軍隊最早的機械化部隊，他一手締造的第五軍成為了國民黨軍隊中最早的摩托化部隊，也成為后來遠征作戰中少有的能拿得出手的部隊。即使老蔣沒有重用徐庭瑤，他也對徐庭瑤的貢獻表示認可，在去到了臺灣以后也過了幾年頗為舒服的日子。