Według Władysława Łozińskiego, opierającego swe wywody na aktach grodzkich przemyskich, w pierwszej ćwierci XVII w. Krasnobród należał do podkomorzego Tomasza Lipskiego. Następnymi dziedzicami tych dóbr byli Leszczyńscy h. Wieniawa. Za ich czasów osada otrzymała prawa miejskie. Leszczyńscy założyli również w miasteczku zbór kalwiński. W 1647 r. w Krasnobrodzie odbył się synod prowincjonalny małopolski pod przewodnictwem Tomasza Węgierskiego. Jakiś czas dobra krasnobrodzkie należeć miały do Zamoyskich, Micewskich, a w końcu w drugiej połowie XVII w. znalazły się w posiadaniu Tarnowskich.
Jako pierwszego właściciela z tej rodziny wymienia Żychliński Jana Stanisława Tarnowskiego (1642-1676), pana na Dzikowie, Przecławiu etc. Jeden z jego synów, Aleksander Dominik (1668 -1707), żonaty z Marianną Dzieduszycką, zapoczątkował linię Tarnowskich zwaną lubelską lub podbereską, czyli wołyńską, podczas gdy drugi, Michał, stał się protoplastą linii dzikowskiej, zwanej także krakowską.
Po Aleksandrze Krasnobród, Kozin z zamkiem rezydencjonalnym, Bereźce vel. Podbereźce i inne dobra wołyńskie odziedziczył jego syn Kajetan Amor Tarnowski (zm. w 1748 r.), żonaty z Anastazją Boguszówną (zm. w 1796 r.), a następnie młodszy syn Kajetana Amora Antoni Fortunat (1746 -1819), ożeniony z Zuzanną Jełowicką (zm. w 1831 r.). Ponieważ starszemu synowi Janowi Amorowi przypadły w dziale dobra wołyńskie, Antoni Fortunat Tarnowski otrzymał tylko sam Krasnobród, w którym się osiedlił, oraz Czohar na Węgrzech, który sprzedał.
Kolejnym właścicielem Krasnobrodu był syn Antoniego Fortunata Jan Tarnowski (zm. w 1835 r.), żonaty z Pauliną Wisłocką h. Sas (zm. w 1873 r.), a ostatnim z rodziny Jan Teodozjusz (1820-1886), ożeniony z Izabellą Prażnowską. Mieszkał on głównie w odziedziczonych po zmarłym w 1862 r. stryjecznym dziadzie, płk. Marcinie Tarnowskim, Podbereźcach na Wołyniu, Krasnobród zaś sprzedał. W 1880 r. dobra te nabył Kazimierz Fudakowski h. Dołęga (1831-1901), syn Ignacego, żonaty z Ludwiką Saryusz-Bielską. Nie zamieszkał on jednak w dość już wówczas zdewastowanym pałacu krasnobrodzkim, lecz w majątku żony Uher. Ostatnim właścicielem Krasnobrodu był syn Kazimierza, Kazimierz Fudakowski jun. (1879-1965), ożeniony z Marią Kicińską (1889 -1973).
Wielokrotnie niszczony, m.in. w czasie najazdu szwedzkich przetrwał w Krasnobrodzie, czy raczej w oddalonej o półtora kilometra od miasta wsi Podzamek, dawny zameczek, a może tylko część pierwotnego założenia obronnego i rezydencjonalnego, przerobiony z czasem na pałac. W zameczku tym w 1612 r. artysta imieniem Jan, zwany Francuzem, czynny poprzednio przy dekoracji zamku w Krasiczynie, ozdobił malowidłami także sale ówczesnej rezydencji podkomorzego belskiego Tomasza Lipskiego. Ponieważ zameczek przeszedł następnie wiele burz dziejowych, po malowidłach tych do czasów nowszych nie pozostał żaden ślad. Tarnowscy, posiadając także inne rezydencje, o Krasnobród dbali zapewne mniej. Dowodzi tego m.in. wzmianka w wydanej przez E. A. Kuropatnickiego w 1786 r. Geografii Galicyi, według której w owym czasie pałac w Krasnobrodzie był "nieco spustoszały, wielą portretów sławnego domu grabiów Tarnowskich staroświeckiego malowania ozdobiony".
Gdy w Krasnobrodzie zamieszkał Antoni Fortunat Tarnowski, zachowana do, drugiej połowy XVIII w. część zameczku okazała się, jak na wielkopańską rezydencję, zbyt szczupła. Nowy właściciel, dokonując i w tej części znacznych zmian, wzniósł jeszcze obok obszerną oficynę, a być może także i inne budynki, które do XX w. nie przetrwały.
Przerobiony na pałac dawny zameczek miał plan kwadratu o bokach długości ok. 40 m, a mury zewnętrzne grubości półtora metra. Według stanu z początków XX w., kryty był wysokim czterospadowym, łamanym dachem "polskim", pobitym gontami. Parter pałacu z pewnością był pozostałością dawnego zamku, podczas gdy nieco wyższe piętro, bez wątpienia nowsze, pochodziło najprawdopodobniej z drugiej połowy XVII w. W siedmioosiowej, dekorowanej kanelowanymi pilastrami elewacji głównej tego budynku, zwróconej na wschód, wszystkie okna i drzwi kondygnacji górnej, dzielone wielką liczbą szczeblin, miały kształt dużych prostokątów. Elewację poprzedzał rząd ośmiu, podobnie jak pilastry żłobkowanych, kolumn doryckich, wspierających balkon. Każda kolumna wyciosana była z jednej bryły piaskowca. Elewacje południowa, północna i zachodnia zameczku miały mniejszą liczbę okien czy też drzwi, ale o podobnym w zasadzie kształcie jak elewacja główna. Na piętrze, zamiast porte-fenetrów występowały tam jednak okna zwykłe prostokątne. Elewacje boczne i tylna nie wykazywały dekoracji. Naroża budynku od strony południowo i północno-zachodniej wzmacniały przypory.
Główne wejście do pałacu znajdowało się na osi środkowej, od strony wschodniej. Mieściła się za nim długa, wiodąca w głąb wąska sień ze stromymi jednobiegowymi schodami na piętro. Od strony południowej do sieni przylegała podłużna sala z trzema oknami i szerokim, półkoliście zamkniętym porte-fenetrem, a od północy druga, znacznie mniejsza, o podstawie kwadratu. Pośrodku strony zachodniej mieścił się wpisany w kwadrat okrągły salon o trzech oknach. W czterech miejscach miał on półkoliste wnęki, m.in. na kominki. Salon ten dekorowały sztukaterie. Naroże północno-zachodnie zajmował jeszcze jeden podłużny pokój ze sklepieniem wspartym na centralnie umieszczonym filarze.
Na piętrze całą wschodnią, frontową stronę pałacyku zajmowała największa sala służąca jako balowa. Połowa zachodnia podzielona była na cztery różnej wielkości pomieszczenia, zapewne mieszkalne. Sufit sali balowej zdobiły malowidła chiaroscuro. Pośrodku przedstawione zostały dwie figury alegoryczne, a dokoła w ośmiu okrągłych medalionach portrety znakomitych ludzi. Kwadratowa salka w rogu południowo-zachodnim miała piękne fryzy o klasycznych motywach, a pokój po stronie północno-zachodniej na środku sufitu wyobrażenie Aurory.
Przed 1914 r. freski te o zdecydowanych cechach empiru były już mocno przemalowane, zdradzały jednak pewną wartość artystyczną i zabytkową. Kryta ćwierćkolista galeria o arkadach otwartych w stronę dziedzińca łączyła pałac z oficyną. Środkowa arkada galerii była nieco szersza i znacznie wyższa od pozostałych, gdyż mieściła drzwi prowadzące z gazonu na drugą i stronę, do warzywnika i na folwark. Galeria miała ściany rozczłonkowane boniami. Zwróconą frontem do południa, parterową, długości ok. 80 m a szerokości ok. 12 m oficynę, krytą gładkim czterospadowym dachem gontowym, od strony dziedzińca poprzedzał portyk złożony z 11 kanelowanych kolumn. Na osi oficyny występował półokrągły taras, na który wiodły dwustronne, ćwierćkoliście wygięte kamienne schody. Od strony północno-wschodniej oficyna miała przedłużenie w postaci krótkiego skrzydła mieszczącego dwa pokoje i korytarz, z pewnością dziewiętnastowiecznego.
Osiedliwszy się w 1911 r. w Podzamku, ze względu na rozmiary niektórych sal i małą liczbę mniejszych pokoi, niepraktyczny rozkład oraz większy stopień zniszczenia, na swą siedzibę przeznaczyli Fudakowscy nie dawny pałac, lecz będącą w znacznie lepszym stanie oficynę, którą wewnątrz częściowo przebudowali. Miała ona układ dwutraktowy, z ogromnym, zajmującym całą szerokość domu salonem, umieszczonym pośrodku budynku, z wejściem z tarasu. W 1914 r. cofające się wojska rosyjskie podpaliły wszystkie budynki dworskie Krasnobrodu wraz z pałacem i świeżo urządzoną oficyną. Spłonęły one z całą swą zawartością.
W 1917 r. Kazimierz Fudakowski rozpoczął odbudowę pałacu, jak oficyny, wykorzystując w tym celu ocalały projekt Stanisława Witkiewicza, wykonany jeszcze w 1913 r. W 1920 r. właściciele zamieszkali znów w Krasnobrodzie.
Dawny zameczek odbudowany został jednak tylko częściowo. Mury pierwszego piętra pożar osłabił do tego stopnia, że właściciel zdecydował się rozebrać je w trzech czwartych wysokości, w poprzednim stanie pozostawiając jedynie środkową część sali balowej o trzech porte-fenetrach. Całość budynku nakryta została dachem podobnym do pierwotnego, tylko znacznie wyższym.
Dość znacznych zmian dokonano także przy rekonstrukcji oficyny, która po wojnie znów stała się głównym domem mieszkalnym. Przede wszystkim, w myśl dawnych założeń Witkiewicza, front od strony południowej, czyli od dziedzińca, przeniesiono na stronę północną, dodając tam portyk o czterech parach kolumn, zwieńczony okapem i krytą trójspadowym dachem facjatką z półokrągłym oknem. Podwyższono też i złamano gładką poprzednio północną połać dachu, urządzając w jego więźbie wiele gościnnych i mieszkalnych pokoi, usytuowanych wzdłuż biegnącego od strony północnej korytarza. W południowej połaci dachu umieszczono w końcu sklepione w lunetę okna, oświetlające pokoje.
Gruntownej przebudowie poddany został także parter dawnej oficyny, m.in. przez zwiększenie liczby pomieszczeń z piętnastu do dziewiętnastu. W obszernej sieni, wyłożonej do wysokości półtora metra boazerią z drewna modrzewiowego, umieszczono kilkakrotnie załamane schody, wykonane z tego samego materiału, wiodące na piętro. Z modrzewia sporządzone zostały poza tym wszystkie drzwi i odrzwia. Ponieważ sień z powodu umieszczenia w jej przedniej części klatki schodowej okazała się zbyt ciemna, rozjaśniono ją za pomocą poczwórnych drzwi z lustrzanego szkła, ustawionych w ścianie przeciwległej głównym drzwiom wejściowym. Te szerokie drzwi wiodły do usytuowanej od strony południowej biblioteki z oknami wychodzącymi na fragment podcienia kolumnowego. Zarówno sień, jak biblioteka sąsiadowały z pozostawionym w dawnym kształcie salonem. Obok dużego salonu, od strony południowej mieścił się jeszcze salonik mały. Całą szerokość domu zajęła przylegająca do sieni i biblioteki od strony zachodniej sala jadalna. Trzy pokoje gościnne mieściły się we wschodniej i dobudowanej części oficyny. Przedpokój, salon i jeden pokój na piętrze sypialny właścicieli, otrzymały kominki murowane, wyłożone od czoła gładkimi, białymi kaflami. Ściany sali jadalne; i biblioteki pokryto boazerią, podobnie jak w sieni. Natomiast ściany salonu, z drzwiami i odrzwiami lakierowanymi na kolor biały, obito dołem również białymi lamperiami. Supraporty nad drzwiami miały być w przyszłości wypełnione malowidłami, wyobrażającymi widoki okolic Krasnobrodu. Salon urządzony został kompletami mebli biało lakierowanymi w stylu Ludwika XVI. Między oknami zawieszono duże lustro w złoconych ramach. Do urządzenia pokoju dodano jeszcze piękny kryształowy żyrandol na pająku wykonanym z białego metalu oraz puszysty dywan wschodni o wymiarach 6 x 6 m.
Salonik otrzymał meble głównie mahoniowe, natomiast sień i biblioteka urządzenia w postaci m.in. foteli klubowych, barwnie wyściełanych. Najcenniejsze antyki stały jednak przed 1939 r. w pokoju stołowym. Był to komplet mebli czeczotkowych w stylu empire, na który składało się osiemnaście krzeseł, wielki i mały stół, bufet oraz zegar gdański, wszystkie z motywem dekoracyjnym brązowego, złoconego łabędzia. Meble te, wywiezione przed rewolucją z Petersburga, gdzie stanowiły własność książąt Oboleńskich, nabył Kazimierz Fudakowski w Warszawie w 1919 r. W ciągu międzywojennego dwudziestolecia zdołali też Fudakowscy zgromadzić w Krasnobrodzie trochę dzieł sztuki, zarówno starszych, jak zupełnie nowych. Były wśród nich m.in.: alabastrowa grupa Laokoona ustawiona na kominku rogowym w przedpokoju, figurka z porcelany kopenhaskiej i druga, "madame Recamier" alabastrowa, jak tez uważana za bardzo piękną waza korecka, na kominku w salonie, dwa duże kandelabry z brązu, pas słucki zawieszony w gabinecie pana domu, obraz Madonny z Dzieciątkiem, portret ks. Eustachego Sanguszki, portrety członków rodziny właściciela, wykonane przez malarza lubelskiego Wiercińskiego, a w końcu wiele sztychów. Biblioteka liczyła kilka tysięcy tomów z rozmaitych dziedzin, w językach polskim, francuskim i niemieckim. W zbiorze Owym wyróżniała się biblia, kunsztownie iluminowana w oprawie skórzane wysadzane turkusami.
Dwór i jego otoczenie stały w malowniczej dolinie rzeki Wieprz, w mocno pofałdowanym terenie. przy gościńcu prowadzącym z Zamościa do Krasnobrodu, naprzeciw fasady starego pałacu, stała żelazna ażurowa brama wjazdowa, zawieszona na dwóch czworograniastych, murowanych i otynkowanych słupach, zwieńczonych kamiennymi urnami. Pod koniec lat dwudziestych XX W., po skasowaniu traktu przecinającego dotąd park i oddaniu do użytku szosy, poprowadzonej w innym miejscu, brama ta została zlikwidowana.
Przed pałacem i dawną oficyną do czasów nowszych na terenie dworskim nie przetrwał żaden inny budynek zabytkowy. W okresie międzywojennym trafiono na płyty kamienne, tworzące posadzkę jakiejś niedużej budowli, usytuowanej naprzeciw oficyny. Według miejscowej tradycji, mogła to być dawna kaplica pałacowa. Nie jest rzeczą wykluczoną, że łączyła się ona z pałacem również za pomocą arkadowej galerii, tworząc razem symetryczny, półkolisty układ.
Park krajobrazowy z warzywnikiem i tzw. "górnym sadem", o łącznej powierzchni ok. 20 ha, ze względu na swe naturalne położenie przedstawiał się bardzo malowniczo. Z XVIII w. niewiele jednak zachowało się w nim śladów. Niemal od połowy XIX w. ogród nie był należycie utrzymywany, nie odnawiano drzewostanu ani alejek, ani dróg. Owalny trawnik przed pałacem i oficyną otaczał gęsty wał strzyżonej niegdyś, zdziczałej później świerczyny. Zapuszczony był też dalszy ogród otaczający pałac i oficynę ze wszystkich stron. Porządkowanie parku zaczęło się już w 1914 r. Wojna prace te przerwała, ale w okresie powojennym podjęto je na nowo. Wykarczowano najpierw sośninę na gazonie i założono gazon strzyżony, zupełnie gładki. W gęstwinie drzew wycięto perspektywę, otwierając w ten sposób z okien dawnej oficyny widok na położoną niżej gazonu sadzawkę i płynącą równolegle do niej Młynówkę, odnogę Wieprza, zwaną "Świnką", na pastwisko, rzekę Wieprz a jeszcze dalej największe stawy rybne i lasy. Od widocznej z ganku oficyny kamiennej studni, ku sadzawce schodził półokrągłymi stopniami taras ziemny.
Przez Młynówkę przerzucony został wygięty mostek. Na stawy wpuszczono łabędzie. Posadzono nowe grupy drzew obramowane krzewami, wzdłuż ścieżek wytyczono rabaty kwiatowe. Odsłonięta też została ukryta dotąd w zaroślach piękna studnia z obudową naziemną z płyt piaskowca wysokości ok. 2 m. Miała ona plan prostokąta zbliżonego do kwadratu. Z trzech stron była zamknięta, z czwartej otwarta; dekorowały ją płaskorzeźbione girlandy. Po obu stronach studni ustawiono wazony zdjęte ze słupów bramy wjazdowej. Park poszerzono m.in. o dawne pastwisko położone między Młynówką a Wieprzem, zbudowano nowe cieplarnie, zasadzono nowe sady. W parku krasnobrodzkim rosły m.in. brzosty, wiązy, lipy, klony, jawory, olchy, świerki, brzozy, modrzewie i wiele innych gatunków drzew.
Przed 1914 r. obszar całego majątku Krasnobród i Husiny wynosił 9436 ha. Po 1930 r. został on zmniejszony do 2500 ha. W czasie II wojny pałac ocalał. W 1958 r. w wyniku spięcia elektrycznego spłonął częściowo dach nad dawną oficyną. Szkodę tę wkrótce naprawiono.
