Park Winny jest położony na wzgórzu (Góra Ceglana, d.Ziegelberg) między ulicami Wrocławską i Podgórną. Nazwa wzgórza pochodzi od cegielni miejskiej, która we wcześniejszych wiekach znajdowała się w tym miejscu (nazwa występuje w aktach z 1619 roku). W XIX w. całe wzgórze pokryte było winnicami, obecnie odtwarzanymi. W najwyższym punkcie wzgórza i parku znajduje się Palmiarnia Zielonogórska.