怡親王是康熙第十三子胤祥（允祥），雍正帝封其為怡親王，是除鐵帽子王之外，又一“世襲罔替”親王。

其王府所在地，在北京先后一共有三處怡親王府：第一座怡親王府位于王府井帥府園；第二座怡親王府位于朝陽門內大街路北；第三座怡親王府位于東單北極閣三條。

北京的第一座怡親王府，位于王府井帥府園。該處王府，只居過始怡親王允祥。怡親王府的王爺愛新覺羅·允祥是清康熙帝的第十三子，生母是敬敏皇貴妃，排行十三，人稱“十三爺”。

關于怡親王允祥，史書這樣評價他：“詩詞翰墨，皆工敏清新”“精于騎射，發(fā)必命中，馳驟如飛。”他曾一度受到清圣祖康熙帝的寵信。在康熙末年的“九子奪嫡”事件中，他始終站在四阿哥胤禛，也就是后來的雍正皇帝的一邊，為雍正皇帝的繼位立下了汗馬功勞。在眾多兄弟中，胤禛對允祥的感情最深，在他繼位后，便封允祥為和碩怡親王，并重用他，允祥不但受重用，而且得到雍正完全的情任。雍正親書“忠敬誠直勤慎廉明”八字匾額賜允祥。

允祥自然也是盡全力輔佐雍正皇帝治理國家，自始至終都沒有期負雍正皇帝的器重。允祥生前曾表示死后要將宅院改為寺廟。雍正八年（1730），允祥死，雍正親臨奠祭，贊他是“自古以來，無此公忠體國之賢王”，命配享太廟，準許他名字上一字用“胤”字，賜謚曰賢。四年后他的住宅改建為寺，雍正皇帝親自賜名“賢良寺”，并御撰碑文。

在《乾隆京城全圖》上，從所繪賢良寺的形制上可見王府之貌。南起帥府園胡同、北至金魚胡同、東起今校尉胡同、西至近王府井大街處的范圍內，有面闊5間的正門、面闊7間的正殿、面闊各7間的左右配樓、面闊5間的后殿、面闊各7間的后寢和后罩樓，顯露出王府的嚴整、宏偉。20世紀80年代為校尉小學校，現(xiàn)賢良寺已無存。

賢良寺遷建于冰碴胡同路北之后，便成了外省的朝廷重臣進京朝見的住處。曾國藩、李鴻章、左宗棠、張之洞等晚清炙手可熱的地方督撫進京時都寄住于此。賢良寺眾多“留客”里數(shù)李鴻章的故事最多。梁啟超先生所著的《李鴻章傳》里有這樣一句話：李鴻章之在京師，常居于賢良寺。據(jù)史料顯示，李鴻章第一次進京時便住在這賢良寺里，之后的無數(shù)次進京，李鴻章都居于賢良寺，最后還終老于賢良寺。

甲午戰(zhàn)爭后，李鴻章有半年時間閑居在賢良寺。這在他忙忙碌碌的為官生涯中，是從沒有過的事兒，也是他一生中最投閑置散的一段時間。面對門庭冷落車馬稀，他素性關起大門研究起了“養(yǎng)生之術”。著書、緣字、鍛煉、吃飯和睡覺成了他一天的功課。他每天六七點鐘起床，稍進餐點后即檢閱公事，或隨意看《通鑒》數(shù)頁，臨碑帖一紙。午間飯量頗佳，飯后更進濃粥一碗，雞汁一杯。飯后，脫去長袍，表負手，出廊下散步。

1900年庚子事變之后，正在兩廣總督任上的李鴻章從廣州被調回北京與聯(lián)軍議和，也住在賢良寺。當時的北京已被八國聯(lián)軍控制，賢良寺因有李鴻章居住而成為當時“由清國政府管轄的兩個小院”之一，另一個是與聯(lián)軍議和的慶親王府。

兩個月后，李鴻章胃血管破裂。當時在賢良寺的臥房里，除了躺著的李鴻章，還有等待他簽字的俄國公使。1901年11月7日，李鴻章在賢良寺死于欽差大臣任上。

怡親王胤祥死后，因府改為寺，故又在朝陽門內大街北側建造了新府，繼襲怡親王爵位的允祥第七子弘曉由第一座怡親王府中遷出，居于該處。第二座怡親王府位于朝陽門內北小街，今為中國散文詩學會、中國科學文化音像出版社等近10家單位所在地。此府不僅占地廣闊，且規(guī)模宏偉，其主體規(guī)模和構架至今保存得相對比較完好。

愛新覺羅·弘曉是愛新覺羅·允祥的第七個兒子。字秀亭，號冰玉道人。是清朝著名的藏書家、詩人，有書呆子親王之稱。

弘曉雖是親王，但他沒什么政治才能，也不擅長交際，就喜歡讀書，是個好學的人，總是將經史子集反復讀誦，并將美參為經典。在王府里有一個安樂堂（又名明善堂），堂里面有九個巨大的書櫥，裝滿了弘曉的藏書。弘曉嗜書如命，對自己的書更是視為寶中之寶。乾隆命紀曉嵐主編《四庫全書》的時候在全國各地征集資料，各個主公大臣、文化名流統(tǒng)統(tǒng)將自己的藏書呈遞宮中，而唯有弘曉一本也舍不得獻出來。這樣不通人情世故的弘曉給乾隆留下了很差的印象。弘曉飽讀詩書，從不舞槍弄劍，這在彪悍跋扈的滿清貴族中算是個異類，而且又因為他的書呆子性格，更是經常在一些交際與禮節(jié)方面無意的怠慢。乾隆帝首次到盛京謁陵，并在清寧官舉行祭祀活動。而在這樣的活動中，弘曉卻忘記帶佩刀，這使乾隆很不高興，并對其進行了嚴厲的斥責。

乾隆非常討厭弘曉的書生習氣，與其杰出的父親相比較，弘曉更是讓乾隆感到無比的失望，但因為雍正帝“凡朕加于吾弟之恩典，后代子孫不得任意稍減”的諭令，乾隆帝一直保留著弘曉的爵位。怡親王弘曉也是最早抄《紅樓夢》的王爺，具說到《紅樓夢》，曹家與怡親王府還有一定的關系，雍正初年曹家被抄，怡親王允祥曾奉命監(jiān)管過曹家事情。怡親王弘曉對紅學貢獻最大的是為留下了一部珍貴的《石頭記》。紅學界稱這個本子為“己卯本”，或“脂怡本”。這個本子是目前所見諸本子中比較早的一種。

怡親王府的第三座府邸在東單北極閣三條，原為寧郡王府，今為中國話劇團所在地。寧郡王弘皎是怡親王允祥第四子。雍正朝封為郡王。后來，他被牽連進政治爭斗中，據(jù)《嘯亭續(xù)錄》記載，皇帝譴責他們“私相交結往來詭秘”，“漸有尾大不掉之勢”。盡管弘皎保住了王爵，但遭此打擊后，心灰意冷，他故而遠離政治，養(yǎng)菊自樂。據(jù)說，弘皎于南方購得菊花數(shù)百品種，試種于北方，獲得成功，他養(yǎng)的菊花分“神品、逸品、幽品、雅品”等諸多品目，達數(shù)百種之多。另外，他還能自制精扇，名“東園扇”，一時，士大夫爭購之。

怡親王府的首位王爺允祥去世之后，怡親王位一共襲了九次，其中比較有名的有兩個，一個是第五次襲的載垣，還有一個是第八次襲的溥靜。這兩個怡親王有一個相同點，那就是均死于非命，一個被賜死，一個被八國聯(lián)軍撻辱而亡。