У 1822 році сини князя Ізефа Любомирського, власника Рівного, поділили батьківські частки. Рівне, разом із ключами Рівненським та Олександрійським, отримав Фредерик. Жив він у Рівному усамітнено, тому побудував для себе за містом гарний, але значно скромніший за палац – будинок “На Гірці” (територія сучасного парку ім. Т. Шевченка), оточив його гарним садом і почав там жити. У 1844 році князь передав старий палац рівненській гімназії. Однак через відсутність коштів на його утримання адміністрація гімназії після довгої тяганини повернула палац Любомирським. Відтоді почалося його повільне руйнування, яке довершила пожежа 1927 року. Помер князь Фредерік у 1848 році.

Після смерті Фредеріка Любомирського в 1848 році власником Рівного став його молодший син – Казимир. Він жив здебільшого у Варшаві, де в мистецьких колах мав славу талановитого композитора та поета і тримав свій музичний салон.

Осів Казимир у Рівному тільки в 1860 році і провів тут останні роки свого життя, в які тяжко хворів. Він був попечителем Рівненської гімназії та фундатором місцевого католицького костелу, а наприкінці життя займався літературними перекладами.

Із занепадом палацу, зменшенням статків власників міста життя і побут князів Любомирських у Рівному привертають усе меншу увагу. Навіть новий палац “На Гірці”, як згадують сучасники, виглядав так скромно, що не відповідав статусу такої знатної родини.

Станом на 1856 р. серед нерухомостей, які належали князю Казимиру Любомирському у Рівненському фільварку, значаться і такі, які розташовувалися на території сучасного парку

Шевченка, а саме:

• “дом господский” – камʼяний пофарбований, критий гонтом будинок, з оранжереєю з одного боку, балконом – з іншого і камʼяним ганком на підвищенні з третього боку. В будинку було 8 кімнат, один великий коридор та дві маленькі кімнати нагорі. 
• біля другого флігеля була деревʼяна будівля з кімнатою для дворової прислуги, складом дров, “хлевником” для худоби, приміщення для худоби. 

Там же розташовувалася будівля під назвою «лазенка» з однією кімнатою та колодязем; камʼяна конюшня і комора.

При цих будівлях був великий фруктовий сад, біля вʼїзних воріт – камʼяний будинок для сторожі; будинок «экономический» деревʼяний, критий черепицею на 5 кімнат. При ньому була «людская», крита соломою на дві кімнати з коморою; камʼяний льох, сарай для свійської птиці з місцем під склад дров.

Помер князь 20 червня 1871 року у Львові, але похований був у родинному склепі Любомирських у Рівненському костелі. Спадкоємцем Казимира став його син Станіслав, підприємлива та енергійна людина, яка постійно ініціювала в місті нові комунальні проекти.

Як власник міста, він планував влаштувати водогін, провести трамвайну лінію, проводив меліоративні роботи, які, на жаль, не дли бажаного результату. Помер Станіслав у 1919 році, Рівне відійшло його старшому синові Адаму.

Під час Першої світової війни палац “На Гірці” було спустошено, майно розграбовано.

Відбудова потребувала таких великих затрат, що хоча в 1922 році номінально Адам і посідав 9730 га землі на Волині та у Львівському воєводстві, руйнування і відчуження найкращих, розташованих біля міста фільварків під військове осадництво, примусило його продати палац державі.

У 30-х роках минулого століття садиба “На Гірці” вже слугувала міським парком, тому магістрат Рівного звернувся до власників з проханням дозволити проводити на його території великий ярмарок під назвою “Волинські торги”, знаний далеко за межами Польщі Проводячи девʼять років поспіль цей захід, Рівне ще раз підтвердило свій статус торговельної столиці Волині.

Повернення до Рівного мало трагічні наслідки для Адама. Невдовзі після встановлення тут радянської влади у вересні 1939 року він був заарештований і в січні 1940 року помер.