Замок було збудовано протягом 1635–1640 років під керівництвом архітектора Андреа дель Аква за вказівкою коронного гетьмана Станіслава Конєцпольського. Підгорецький замок є одним із найкращих в Європі зразків поєднання ренесансного палацу з бастіонними укріпленнями
Легенда
Відвідувачам Підгорецького замку у Бродівському районі екскурсоводи часто оповідають про чарівний привид з трагічною історією. Нібито коридорами замку блукає чарівна жінка, більш відома як «Біла панна». За переказами це один з власників палацу вбив власну дружину та замурував до стіни. Тому століттями дівчина ходить замком та благає християнського обряду поховання. Було це 400 років тому. Граф Вацлав Жевуський, багатий та дратівливий, взяв у дружини молодшу за себе на 40 років красуню Марiю. Та погодилась на  такий шлюб через зубожіння власної родини. Часто тікаючи від нелюбого чоловіка в парк, закладений ще родиною Конєцпольських, Марія скаржилась на долю квітам та пташиному співу. А старий граф ревнував юну красуню до гостей і навіть слуг, випрошуючи її кохання. Одного дня графиня не повернулась з прогулнки – пішли чутки, що старий чи то вбив дружину, чи то замурував живою, і ще довго було чути її стогін… Біла панна нагадує про свою присутність легким подихом, мерехтливим стогоном, несподіваним вітерцем. Не так давно легенда Підгорецького замку про Білу пані вважалася лише вигадкою, та під час однієї з фотосесій випадково зняв біля підземелля загадковий силует жінки, який не зникав після серії знімків. Відтоді хто тільки не шукав привид замку – і телепередача «Битва екстрасенсів», і приватні фотографи. Досі тут фіксують лише димчаті ефекти на фото, пояснити які ніхто не береться.

Працівники музею запевняють, що у палаці живе привид королеви Марі Казимири д'Аркуін або, як її охрестили сучасники, Білої пані. Мабуть прикипіла всією душею до палацу, що досі бродить по ньому. Кажуть, смілива жінка командувала своїм військом під час турецької облоги замку. Та й взагалі ще за життя темпераментна француженка міцно тримала у руках не тільки статки, але й чоловіка. Ходили слухи, що саме вона правила країною через Яна Собеського. І була настільки холоднокровною та цілеспрямованою, що отруїла свого першого чоловіка. Як би там не було, польська королева залишила по собі значний слід та пам'ять про себе не одному майбутньому поколінню.

Біла пані не єдина, хто «володіє» замком. Чорний лицар – ще один привид, але вже Східного палацу. Працівники музею припускають, що то сам король Ян Собеський, що й після смерті продовжує кохати свою ненаглядну дружину. Шукає він її, та ніяк не може віднайти.

Ну, і який замок та й без легенд? Отже, давним-давно працювала у Свірзькому замку місцева дівчина. В ті часи ворог неодноразово підходив під фортечні стіни, мріючи захопити Свірж. Невідомо, яким чином дівчина змогла закрутити роман з ворожим солдатом, але що сталося — те сталося. Військо коханого взяло Свірж в осаду. Мрії про любощі засліпили дівчину — і вона відкрила своєму бусурманському соколу фортечну браму. Та не кохання чекало на нещасну: захопивши замок, загарбник скинув зрадницю у глибокий колодязь. Логіка зрозуміла: хто зрадив один раз, зрадить вдруге. От і лякають тепер місцеві мешканці туристів розповідями про тінь нещасної зрадниці, яка блукає фортецею, не знаходячи спокою — і, навчена гірким досвідом, закриває всі двері на своєму шляху.

В результаті король задовольнив вимоги Василя-Костянтина Острозького. Православний русин переміг поляків на їхній території, підсумовує сучасний дослідник Василь Ульяновський і припускає: для того, щоб укріпитися на цих землях він міг задумати величезний замок у Старому Селі.

Натомість Антоні Шнайдер писав, що князь не цікавився містечком. Лише коли потрапив на спустошені татарами землі та "на власні очі переконався у нещастях його жителів", то звільнив селян від панщини.

Ян сів на троні і слова свого дотримав. Чернець же на тій землі побудував монастир.

Після смерті короля замок переходив від одних власників до інших, дуже занепав і почав втрачати вигляд фортеці. Поворотним моментом в історії замку став час, коли Поморяни  перейшли у власність Прушинських. Тоді, внаслідок перебудов, замок перетворився на палац. Однак вже з XVIII ст. він був повністю занедбаний. Нині від старого замку збереглись два двоповерхових корпуси і кругла кутова вежа. У південному корпусі з боку подвір’я є відкрита галерея.