Уперше питання про влаштування у Рівному жіночої гімназії було порушено міською владою перед Міністерством народної освіти (далі – МНО) у вересні 1897 році. Була пропозиція пристосувати для потреб жіночої гімназії один із будинків реального училища, за яким зберігалася назва «оранжерея» пам’ять про попереднє призначення цієї будівлі у палацово-архітектурному комплексі князів Любомирських), окружний архітектор склав проект реконструкції цього приміщення, яким передбачалося його розширення за рахунок прибудов. 6 грудня 1900 р. у Рівному відбулося урочисте відкриття жіночої гімназії. До цього часу уже був набраний її штат, організовані вступні іспити, які витримало 145 дівчаток. За сумісництвом керуючим жіночою гімназією був призначений вже згадуваний директор реального училища І.Г. Радкевич, а головною наглядачкою – Анастасія Онуфріївна фон Фрейман, яка раніше працювала у Кам’янець-Подільському міському двокласному училищі. 

Для потреб жіночої гімназії у центрі Рівного, навпроти Воскресенського собору, міською думою були найняті в оренду два цегляні двоповерхові будинки власника І. Фрейлаха терміном до трьох років. У тісних і доволі незручних приміщеннях, які викликали неодноразові нарікання мешканців Рівного, а також занепокоєння високопосадовців – наприклад, самого волинського губернатора, жіночій гімназії довелося працювати фактично три навчальних роки – аж до літа 1904 року. Відтак ідейні натхненники знову повернулися до плану створення жіночої гімназії у новому прибутковому будинку власника Риковського на вул. Пироговській – навпроти вже згадуваної “оранжереї”. У архівному фонді зберігся план, за яким цю двоповерхову кам’яну будівлю разом із підвальним поверхом мали пристосувати під указаний навчальний заклад. На ньому зафіксовані спроектовані достатньо просторі і у потрібній кількості навчальні аудиторії, актова зала, бібліотека, учнівська столова, яка одночасно мала слугувати і як рекреаційне приміщення.

Ще до кінця XIX ст. на місці електростанції знаходилася водна частина річки Усті, яка омивала острів, де знаходився князівський палац. Розвиток забудови вулиці характеризується щільною міщанською забудовою. Від кінця XIX – початку XX ст. починаються процеси інтенсивної забудови міста. Однією з них була електростанція князя. Любомирського. Рівне стало третім містом Волинської губернії, яке використовувало електричне освітлення, після Житомира (центра губернії) та Луцька (одного з повітових міст). Власне на замовлення і кошти володаря міста князя Станіслава Любомирського у 1912 р. першою в місті була збудована приватна електростанція. Електростанція на 250 кВт (за деякими джерелами – на 100 кВт ) освітлювала палац князів Любомирських, ректифікаційний завод, чотири військові казарми, кілька приватних будинків на Директорській вулиці і Торговій площі.  В 1915 р. основне обладнання двох електростанцій евакуйоване на схід у зв’язку з початком першої Світової війни. При цьому повністю була виведена із ладу внутрішня і зовнішня мережа. В 1920-1923 рр. Рівне було позбавлене електричного освітлення. У 1928 р. магістрат Рівного стверджував, що електростанція була дощенту знищена більшовиками ще до 1920 р. А електростанція князя Любомирського так і не була відновлена за своїм призначенням. До сучасних днів електростанція дійшла вже відбудованою.

Стилістичне вирішення будівлі загалом вказує на вплив так званого «цегляного» стилю на формування архітектурного образу будинку. р.

Будівля має два повноцінних поверхи і підвал. З інвентаризаційних планів за 1950 рік, що зберігаються у Рівненському міському Бюро технічної інвентаризації, видно, що близько двох третин будівлі відведено під цех для генерування електроенергії, а одна третя – під допоміжні службові приміщення. З західної сторони була ще одна прибудова, котра не дійшла до нашого часу.