Z prawego brzegu Nysy Kłodzkiej znajduje się rozległe wniesienie , nazywane Górą Parkową (388 m. n.p.m.). Jej zachodnie zbocze stromo opada ku rzece, a wschodnie bardzo łagodnie. Większość terenu pokrywają użytki rolne, na grzbiecie oraz zachodnim zboczu w XIX wieku powstał Park Miejski. Wytyczona została promenada i ścieżki. Obecnie znajduje się tam punkt widokowy, który stanowi doskonałe miejsce do podziwiania niezwykłej architektury miasta. W jego południowej części zlokalizowany jest pięknie położony basen kąpielowy, obecnie nieczynny. Na północnym skłonie, nad zboczem wznosi się barokowa kaplica św. Floriana pochodząca z lat 1725 – 1726. Powstała ona na planie prostokąta z półkolistym zamknięciem od strony wschodniej. Elewację frontową budowli zdobi bogaty szczyt. Na dachu znajduje się niewielka sygnaturka. W jej wnętrzu umieszczono barokowy ołtarz główny z relikwiami św. Floriana, które przekazał Jezuita M. Gruber. Ołtarze boczne wykonano w stylu rokokowym. Znajduje się tam szereg rzeźb i obrazów, z których dwa są szczególnie cennie. Pierwszy z nich prezentuje św. Floriana gaszącego pożar Bystrzycy z 1703 r., podobny motyw znajduje się na fresku zdobiącym sklepienie kaplicy.