Pałac Potockich został wybudowany na zlecenie Augusta Czartoryskiego według projektu Szymona Bogumiła Zuga w latach 1780-1782. W 1782r. pałacyk otrzymała Elżbieta Lubomirska, a w 1799r. stał się własnością córki, Aleksandry Lubomirskiej i jej męża Stanisława Kostki Potockiego. W 1807r. nazwa majątku Bażantaria w którym znajdował się pałac, została zmieniona na Natolin - na cześć Natalii Potockiej urodzonej w tamtym roku.