I By församling utanför Säffle föddes den 2 november 1882 Ernst Hugo Teodor Silvén, Silvénska villans skapare. Han var son till skeppsredaren och godsägaren Gustaf Silvén, som var ägare till Säffle gård och sedermera byggherre till Bylunda, ett ålderdomshem som idag är fritidsgård och sommartid vandrarhem. Gustaf Silvén startade sin rederirörelse - som sonen Hugo Silvén senare övertog - i Säffle redan 1862.
Som 28-åring övertog kapten Hugo Silvén faderns blomstrande rederi år 1910. Han hade året innan gift sig och var nu intresserad av att bygga sig en egen villa i Säffle. Det dröjde dock fram till 1915 innan planerna tagit fast form och det var bestämt att villan skulle byggas på tomt nr 9 i kvarteret Kvarnen.
Arkitekterna Arvid Bjerke och R O Swensson, Göteborg, fick i uppdrag att göra ritningar till den villa skeppsredaren önskade bygga. Vid Säffle köpings byggnadsnämnds sammanträde den 13 oktober 1915 godkändes ritningarna och bygget kunde igångsättas. Året därpå var villan inflyttningsklar.
 

I cirka 30 år fungerade villan som bostad åt familjen Silvén, men också som kontor för rederiet, vilket var inrymt i vinkelbyggnaden (Lilla Hallen). I augusti 1946 avslutades "epoken Silvén", då skeppsredaren avlider endast 63 år gammal.

I och med Hugo Silvéns bortgång blev en försäljning av villan aktuell. Det var många som var intresserade av den vackra och så centralt belägna villan och den 22 april 1947 blev hovapotekare John Frykholm ny ägare för en köpesumma av 150 000 kr.

Den nya ägaren önskade få tillstånd att bygga till huset för att ge utrymme åt den tandläkarpraktik, som dottern Stina och svärsonen Karl-Erik Lindeström avsåg att öppna. Denna begäran avslogs dock av byggnadsnämnden under hänvisning till att praktiken kunde inrymmas i "redan befintliga lokaler" (förutvarande rederikontoret).
1965 övertog makarna Lindeström Silvénska villan fram till 1970, då Wermlandsbanken blev ny ägare för 300 000 kr. Silvénska villans fjärde ägare höll på att bli den sista. Banken hade nämligen planer på att riva villan för att ge plats åt ett parkeringsdäck. Detta föranledde dåvarande stadsarkitekten Carl Waldenström att i en tjänsteskrivelse till byggnadsnämnden den 15 februari 1972 skriva:
"Den befintliga villan å tomten nr 9 i kvarteret Kvarnen uppfördes i början av 1900-talet av skeppsredare Silvén och utgör än idag ett av stadskärnans ur arkitektoniska synpunkt förnämligaste byggnadsverk. Att medverka till rivning av denna byggnad och ersätta den med ett parkeringsdäck är enligt mitt förmenande direkt hänförligt till vandalisering."
Från 1970 till januari 1976 står villan obebodd. Därefter, fram till den 5 juni 1978 har Wermlandsbanken sin verksamhet förlagd till villan under tiden de gamla banklokalerna restaureras.
1979 säljer banken villan till Emil der Nederlanden för 300 000 kr. Bland spekulanterna fanns också baptistförsamlingen i Säffle. Till kommunfullmäktige inlämnades nu en borgerlig trepartimotion, där vikten av att bevara Silvénska villan poängterades tillsammans med ett förslag att kommunen skulle köpa villan. Silvénska villan skulle enligt motionärerna kunna bli ett levande kultur- och föreningshus i centrum, att utnyttjas av såväl allmänhet som föreningar.

Vid sammanträdet i juni 1979 beslutade kommunfullmäktige att utnyttja den kommunala förköpsrätten att köpa fastigheten av Wermlandsbanken för 300 000 kr. Beslutet togs under stor enighet, men på förslag av Erik Janson (s) gjordes det tillägget till kommunstyrelsens förslag, att när planerna för utnyttjandet av fastigheten skulle diskuteras, borde kontakt tas med baptistförsamlingen. Denna hade, enligt Erik Janson, blivit överspelad vid försäljningen.

På hösten aktualiserades åter frågan: "Skall Silvénska villan bli kulturhus eller kyrka?"Baptistförsamlingen inkom nämligen med ett nytt önskemål om att få köpa fastigheten av kommunen eller som andra alternativ få hyra den.
Nu följde en lång tid av utredningar och diskussioner. I maj 1981 fattade kommunstyrelsens arbetsutskott beslutet att Silvénska villan skulle användas som kultur- och föreningshus och att den skulle få hyras av husföreningen Merkurihuset (senare omdöpt till Husföreningen Silvénska villan). Samtidigt beslöts att villan fram till årsskiftet fick disponeras utan kostnad av husföreningen, eftersom man redan betalat hela årshyran för Merkurihuset.

Trots beslutet flammade nya diskussioner upp om Silvénska villans användning. I en skrivelse till kommunstyrelsen i juni 1981 anmälde LO-sektionen och ABF sitt intresse av att hyra villan. Skrivelsen kom som en total överraskning för de flesta ledamöterna och från borgerlig sida ställde man sig avvisande till tanken på att hyra ut till förening eller organisation med politisk anknytning. Silvénska villan skulle vara en samlingspunkt för Säffles hela befolkning, oavsett politisk eller religiös uppfattning.
Och det blev det. Lördagen den 19 september 1981 invigdes Silvénska villan som kultur- och föreningshus efter en omfattande yttre och inre renovering. Hela veckan var det "Öppet hus" och besökarantalet uppgick till cirka 3 000 personer. Varje dag hade man olika aktiviteter och i galleriet pågick en fin samlingsutställning med kända värmländska konstnärer.
 

Sedan Säffle kommun köpt Silvénska villan 1979 påbörjades en omfattande ombyggnad och renovering, bl a installerades en hiss. Renoveringen kostade totalt 2 076 443 kr, varav den invändiga delen kostade drygt 1,5 milj kr. Till byggprojektet utgick 721 000 kr i AMS-bidrag.
Renoveringen 1981 kostade ungefär lika mycket som det en gång kostade att bygga villan 1916, enligt något osäkra uppgifter. I byggkostnaden ingick då även allt stenarbete, som murar och lusthus samt trädgårdsanläggningen med sina terrasser och fontän.