Historie tohoto místa sahá až do roku 1478, kdy král Vladislav II. věnoval Olešnou do dědičného užívání
svému dvořanu Jiříkovi Bírkovi z Násilé – dříve z Ebersdorfu. Bírkové jsou původně vladycký rod ze Slezska,
a jejich rodové jméno je odvozeno od vsi Nasiedle v Polsku. Bírkové vlastnili také Krušovický pivovar, který
následně prodali Rudolfovi II. Jiří Bírka ve vsi roku 1507 nechává postavit dvůr s dřevěnou tvrzí zavanou
Oleška, jejíž gotické prvky se dodnes zachovaly v podzemí zámku.

Jiří zastával tehdy čestné role, a to roli hejtmana rakovnického kraje a roli purkrabího na hradě Křivoklátě.
Na sklonku svého života přesídlil do Olešné a psal se poté jako Jiří Bírka z Olešné. Zde také v roce 1520
byl vybudován pivovar, který i po jeho smrti dále fungoval. Když Jiří zemřel, jeho synové ves s tvrzí
a pivovarem prodávají Janu Šlovskému, ze Šlovic.

Jan se pak následně také píše jako Jan Šlovský z Olešné. I on v českém království zastával řadu
významných úřadů, kde si dopomohl k slušnému jmění a mohl tak dřevěnou tvrz ke konci 16. století
přebudovat na renesanční zámek. Během třicetileté války, se zde majitelé v rychlém sledu střídali. V letech
1750–60 vlastní zámek hraběnka Marie Anna z Mollart a její manžel Jan Štěpánem Meraviglia Crivelii.

V té době dochází k barokní přestavbě budovy podle vzoru schönbrunnského zámku ve Vídni, s unikátní
mansardovou střechou a průčelím s dvěma křídly. Součástí zámku se stává i nově vzniklá francouzská
zahrada s parkem, několika sady a ohradou pro výcvik koní. Roku 1838 získává do svého držení Olešnou
Karel Egon Fürstenberk a připojuje ji ke svému křivoklátskému panství.

Rod Fürstenberků patřil v té době k nejvyšší české světské i duchovní aristokracii, řadil se mezi tzv.
apoštolskou šlechtu. Po zrušení poddanství pak roku 1850 Fürstenberkové přestavují Olešenský pivovar
na lihovar a vaří pivo již jen v Krušovicích.

Po vzniku Československa přešel zámek do vlastnictví města Rakovník. Pro neutěšené finanční
poměry počátkem minulého století prodalo město Rakovník zbytkový statek se zámkem Karlu Gallerovi –
generálnímu řediteli České uhelné společnosti v Praze. Po následném zestátnění majetku, vznikla
v prostorách zámku Strojní a traktorová stanice (STS) pro okres Rakovník. V době restitucí byl pak zámek
opět vrácen potomkům Gallera. Od té doby byl nevyužíván a zůstal a dlouho opuštěný. Spoustu škod zde
napáchali zloději a vandalové. Naštěstí se zde uchovalo několik významných prvků, jako jsou třeba fresky
v některých místnostech, sál s výmalbou znázorňující historický vzhled zámku a přilehlého okolí z dob
barokní přestavby, zámecké podzemí s gotickými prvky a částečně zachovalými chodbami, které kdysi ústily
v přilehlých lesích.

Po roce 2000 byly zámek i sousední budovy nabídnuty k prodeji. Nyní je zámek v soukromém vlastnictví
rodiny Malkovských, kteří v roce 2018 obnovili vaření piva a chod tehdejšího pivovaru, současně se také
postupně opravuje zámek. V budoucnu bude památka a její nejhodnotnější části zpřístupněny veřejnosti,
nicméně již teď je pivovar otevřený všem milovníkům řemeslného piva a konají se zde kulturní
a společenské akce.