在許多人的認知里，第二次世界大戰中的納粹德國陸軍一定是機械化程度較高的隊伍，擁有大量坦克、裝甲車和汽車，其實德軍中還有騎兵，不過只有一個騎兵師，即第1騎兵師。第一次世界大戰中，坦克登上戰爭舞臺，各國的騎兵逐漸沒落。到了三十年代中期，納粹德國陸軍重點發展裝甲機械化部隊，大批騎兵部隊改編為摩托化部隊。

截止到第二次世界大戰爆發前的1938年，德軍還有一個騎兵旅，這個旅是基于那些出身騎兵的貴族軍官的堅持而保留的。德軍唯一的這個騎兵旅是在1936年4月1日，在原魏瑪共和國第5騎兵旅的基礎上組建的，番號為第1騎兵旅，下轄第1、2騎兵團，他們分別駐扎在因斯特堡和安格爾堡。

1939年9月1日，德軍向波蘭發動進攻，第二次世界大戰全面爆發。當時第1騎兵旅屬于德軍北方集團軍群第3集團軍戰斗序列，從東普魯士出發向波蘭南部發起進攻，于9月13日挺進到波蘭首都華沙城下，在那里與波軍殘部戰斗至9月17日，之后撤到薩克森州休整。

1939年10月25日，第1騎兵旅在德累斯頓擴編為第1騎兵師，下轄第1、2、21、22騎兵團和第1騎炮兵團。該部為德軍唯一的師級騎兵部隊，首任師長為庫爾特·費爾特中將，部隊編制約10000人，配備28門37毫米戰防炮和75毫米山炮。

德軍在1940年5月10日打響了西歐戰役，第1騎兵師作為B集團軍群第18集團軍指揮下的部隊，跨越德荷邊境，向荷蘭發起進攻。在德軍強大的攻勢下，短短五天荷蘭就投降了，第1騎兵師就地休整。6月初，第1騎兵師的鐵蹄又開始了征戰，在法國北部加入第4集團軍的戰斗序列。

第1騎兵師在強渡索姆河的戰斗中表現出色，打垮了一部分法軍后堅守陣地，掩護其他德軍渡河。在向法國縱深推進中，第1騎兵師與友軍密切協同，在法國首都巴黎以北地區渡過塞納河，對巴黎實施包圍。1940年6月下旬法國戰役結束后，第1騎兵師承擔大西洋沿岸的拉羅謝爾和羅什福爾地區的占領任務。

1941年3月，第1騎兵師調往波蘭，與其它德軍部隊為進攻蘇聯做準備。6月22日，該部歸屬中央集團軍群第2裝甲師的戰斗序列，攻入蘇聯后沿白俄羅斯普里佩特沼澤北側行動，負責古德里安指揮的裝甲部隊南翼安全。

普里佩特沼澤是歐洲最大的沼澤地，這里河川縱橫、植物茂密、潮濕泥濘，德軍那些裝甲部隊的車輛難以通行。第1騎兵師的馬匹此時顯現出優勢，在復雜的地形中往來機動，有效保障了裝甲機械化部隊側翼的安全。

第1騎兵師后來又參加了基輔和不良斯克戰斗，由于東歐大平原有利于裝甲部隊作戰，在開闊地形騎兵容易遭受空中和地面火力的打擊，因此該部于10月25日調離前線，撤到白俄羅斯東南部戈梅利地區休整。

盡管第1騎兵師在二戰初期的表現比較出彩，但那是在己方實力占優勢的情況下創造的，如果地方火力強悍，脆弱的馬匹很難有生存力，因此德軍統帥部下決心將騎兵師改編為裝甲師。1941年11月28日，第1騎兵師在東普魯士的斯塔不拉克進行改編，授予新番號為第24裝甲師，師長還是費爾特中將。該部的17000匹戰馬被分配給各步兵師，用于牽引火炮和馱運輜重。