Budynek Ermitażu znajdziemy w północnej części ogrodu, w pobliżu pomnika Jana III Sobieskiego. Ermitaż (fr. ermitage - pustelnia, samotnia, zacisze) pochodzi jeszcze z czasów Stanisława Herakliusza Lubomirskiego. Był niewielkim pawilonem na planie kwadratu, zaprojektował go prawdopodobnie Tylman z Gameren.