Murowany budynek klasztoru pijarów wybudowano w latach 1737-1742 na miejscu wcześniejszego, drewnianego budynku spalonego przez Szwedów. W tym samym czasie powstał również pobliski kościół pw. św. Józefa. Do szkoły prowadzonej przez pijarów uczęszczali synowie rodzin szlacheckich i mieszczańskich. W roku 1774 było ich 306. Zespół klasztorny mocno ucierpiał podczas wielkiego pożaru miasta w roku 1795, a jego odbudowa zakończyła się dopiero w 1821 roku. Podczas odbudowy budynek kolegium rozbudowano o część stykającą się z ulicą Barycz (wzdłuż placu Legionów - obecny budynek nr 1 przy placu). Ponownie budynki kolegium ucierpiały w następnym wielkim pożarze miasta w roku 1858. Poza funkcją klasztorną i edukacyjną budynek pełnił też inne funkcje: w latach 1812-1813 mieścił się w nim lazaret i koszary wojskowe, a w latach 1863-1864 część pomieszczeń zajmowało carskie więzienie. Po roku 1864 władze carskie zlikwidowały klasztor, umieszczając w zabudowaniach poklasztornych Urząd Powiatowy, szkołę elementarną i mieszkania dla nauczycieli - w związku z tym około roku 1868 obiekt przebudowano.
Przed II wojną światową w budynkach poklasztornych funkcjonowała Powiatowa Komenda Uzupełnień i do 1929 r. Starostwo Powiatowe, a potem poczta. W roku 1930 miała miejsce kolejna przebudowa. Kolejne prace budowlane i restauracyjne to rok 1950 i lata 90-te XX wieku.
Zabudowania kolegium składały sie z dwóch piętrowych skrzydeł - wzdłuż ulicy Królewskiej i placu Legionów. Oba zachowały sie do dziś. Skrzydło biegnące wzdłuż Królewskiej jest załamane zgodnie z biegiem ulicy. Skrzydło stanowiące wschodnią pierzeję placu Legionów składa sie z dwóch części: starszej, łaczącej się ze skrzydłem położonym wzdłuż ulicy Królewskiej i nowszej stykającej się z ulicą Barycz - ta część ma niższy dach (obecnie część ta ma oddzielny adres: plac Legionów 1). W latach 70-tych XX w. zlikwidowano połączenie z kościołem św. Józefa przy zachowaniu śladów po tym łączniku. Po wojnie w kolegium działało wiele instytucji: do lat 70-tych XX wieku poczta, w latach 70-tych i chyba jeszcze 80-tych, w piwnicach działała restauracja Rycerska. Poza tym biura poselskie, biura innych podmiotów, bank, a na początku XXI wieku również Państwowa Szkoła Muzyczna I Stopnia. Obecnie budynek spełnia funkcje biurowe, a kilka pomieszczeń od strony placu Legionów wykorzystuje również restauracja. W pomieszczeniach banku od ulicy Królewskiej zachowały się polichromie z roku 1801.
[kk2022]