Los jardines y edificios de la Colina Fragante se construyeron inicialmente en 1186, con una historia de casi 900 años hasta hoy en día. Ya en las dinastías Yuan, Ming y Qing, la familia imperial había construido un palacio independiente en la Colina Fragante, donde los emperadores iban a cazar y a refrescarse durante el verano y el otoño, y el Templo Xiangshan fue en su día el más importante del oeste de Beijing.