江米巷一带接近皇城，明清两代这里衙署、府第、祠庙很多，设有吏、户、礼、兵、工各部，以及宗人府、鸿胪寺、钦天监、太医院、翰林院、上林苑、贤亲王祠、庶常馆、高丽馆、詹事馆、户部银库、经板库等，而这些建筑大多建于明初。

明代的会同馆到清代以后改为会同四译馆，专门负责接待国内少数民族和外国来朝贡的使节，同时还负责语言文书的翻译事务。

不过当时的贡使们不许在会同馆内常驻，只允许他们在这里居住40天。住在四译馆的外国人也是不允许与中国老百姓接触的，并且有兵卒严格把守，“严禁该夷人擅自出入”，老大之中国，在这里可见一斑。

东江米巷一带不仅仅是中央机关的聚集地，清初朝廷中也有一部分皇亲贵胄喜欢在这一带选址建府。

比如清初“八大铁帽子王”之一的肃亲王豪格的府第，就在现在的正义路东侧；在正义路西侧与肃亲王府遥遥相对的，是康熙的第七子淳亲王允佑的府第淳亲王府，现在位于公安部大院里面；另外，还有一座辅国公纯堪的宅邸纯公府，也说明了这一带的地理位置确实极佳。