Im frühen 13. Jahrhundert gaben die Habsburger den Bau einer Burg in Auftrag. Die Höhenburg Wildegg diente wohl zur Kontrolle der Juraübergänge und der Fernstrasse zwischen Bern und Zürich.
Zuerst bauten die Habsburger nur einen Schutzturm und eine Ringmauer. Diese wurden aber bald mit einem niedrigen Palas, einem Wohngebäude, ergänzt.
Wildegg war eine typische Höhenburg, deren Zweck auf Schutz und nicht auf den Komfort der Bewohner ausgelegt war. Die älteste schriftliche Erwähnung findet man in einer Urkunde von 1242.
Im 14. oder 15. Jahrhundert stockten die habsburgischen Dienstleute das Wohngebäude auf und erweiterten die Anlage mit einem Küchengebäude. Ausserdem wurden die Wehranlagen verstärkt. Der Hof zwischen den beiden Bauten blieb offen. In diesem Zustand übernahm die Stadt Bern Wildegg.
Das Schloss kam zuerst in Besitz der Stadt Bern, später an die Brugger Familie Effinger. Die starteten eine rege Renovations- und Bautätigkeit.
In einer stürmischen Nacht 1552 schlug ein Blitz in den Wehrturm von Wildegg ein. Das Feuer zerstörte den kompletten Innenausbau.
Der Wiederaufbau dauerte mindestens 12 Jahre; der Wehrturm blieb sogar fast 100 Jahre unbenutzt. Die Berner ermahnten die Besitzerfamilie Effinger, den Wehrcharakter der Anlage nicht zu vermindern. Der Wohnkomfort steigerte sich in diesen Jahren enorm: Die Effinger liessen einen Festsaal und einen Treppenturm einbauen. Ausserdem erhielt der Wehrturm ein Ziegeldach. Ein Garten kam dazu und später eine Scheune, die heute nicht mehr steht.
Im 17. Jahrhundert bauten die Effinger Wildegg zum barocken Lustschloss aus, wie es sich bis heute präsentiert.
1618 entstand das Eingangstor zum Schlosshof, 1661 die grosse Scheune. Bernhard Effinger gab der Wildegg schliesslich das heutige Aussehen: Er liess 1684 die Fassade des Wohngebäudes mit barockem Putz verzieren und drei Giebel aufsetzen. Ausserdem vergrösserte er das Wohngebäude mit einem Anbau, der in zwei Stockwerken für mehr Platz sorgte und im Erdgeschoss die heutige Eingangshalle bildete.
Bernhard gestaltete auch den barocken Garten und versah diesen mit Eckpavillons. Vom Wehrcharakter der ursprünglichen Burg war nicht mehr viel übrig.
Die Effinger änderten ab dem 18. Jahrhundert nichts mehr am Ausbau des Schlosses. Im Innern änderten sie Raumeinteilungen und Nutzung der Zimmer. Im 19. Jahrhundert entstanden neue Nebengebäude.
Ludwig Albrecht Effinger baute 1825 für seine Schwester Sophie ein ebenerdiges Landhaus, das Erlachhaus und 1835 das Rebhaus mit Wasch- und Baderäumen im Erdgeschoss. Heute beherbergt es die Büros von Museum Aargau, während sich im Erlachhaus ein Bistro befindet.
Julie von Effinger von Wildegg liess sich eine zweistöckige Villa im neugotischen Stil in den Schlosshof bauen.
Julie war die letzte Person, welche die Schlossanlage mit Gebäuden erweiterte. Aus ihren Tagebüchern erfährt man vieles über ihr Leben: Wenn sie als Mann geboren worden wäre, wäre sie Architektin geworden. Diese Leidenschaft lebte sie bei der Planung ihrer Villa aus.
Das Leben im Schloss war Julie zu umständlich geworden: Über die Winterzeit war es zu kalt und im Ganzen zu unmodern. Das Dach war mit Turmspitzen verziert, die im 20. Jahrhundert entfernt wurden. Heute befindet sich der Museumsshop und die Kasse im Gebäude.
Die Habsburger liessen die Burg erbauen. Sie bewohnten diese allerdings nicht selber, sondern überliessen sie verbündeten Adelsfamilien. So lebten die namensgebenden Schenken von Wildegg und später Hallwyler auf der Burg, bis 1415 die Berner den Aargau eroberten.
Die Bewohner von Schloss Wildegg waren vom 13. bis 15. Jahrhundert Familien aus dem Gefolge der Habsburger. Die Bedeutendsten waren die Herren von Hallwyl.
Thüring von Hallwyl leistete um 1415 erfolgreich Widerstand gegen die anrückenden Berner Truppen. Nach einem Friedensvertrag übergaben die Hallwyler Schloss Wildegg der Stadt Bern. Durch das 15. Jahrhundert hindurch wechselte das Schloss mehrmals den Besitzer. 1484 kaufte Kaspar Effinger das Schloss.
Der Brugger Landadlige Kaspar Effinger (1442-1513) kauft Schloss und Domäne Wildegg von der Stadt Bern und wird somit Schlossherr.
Die Familie Effinger war das führende Bürgergeschlecht in Brugg. Kaspar Effinger sass als Schultheiss der Stadtregierung vor. Er gehörte zur lokalen Führungsschicht.
Doch das war nicht der einzige Grund, der ihn für die Berner als Käufer attraktiv machte. Neben persönlichen Beziehungen zur Berner Regierung, kämpfte Kaspar 1476 in der Schlacht bei Murten auf Seiten Berns. Kaspar kaufte Schloss und Domäne für 1730 Gulden.
Bernhard Effinger (1658-1725) renovierte Schloss und Garten. Er war eines der wohlhabendsten und politisch einflussreichsten Familienmitglieder der Effinger.
Schon bald nannte sich die Familie Effinger von Wildegg, um sich von der Verwandtschaft in Brugg abzugrenzen. Bernhard Effinger wurde in den grossen Rat von Bern gewählt und vertrat die Eidgenossenschaft an grossen Königshöfen wie zum Beispiel Versailles. Durch eine gute Heiratspartie mit Barbara von Salis aus Graubünden wurde er sehr reich. Mit dem Geld seiner Frau baute er die Wildegg zur barocken Schlossanlage aus und legte einen Garten an. Die Schlossdomäne erreichte unter Bernhards Herrschaft die grösste Ausdehnung.
Die Halbgeschwister Sophie und Albert lebten in stürmischen Zeiten auf Schloss Wildegg. Die Französische Revolution fegte 1798 die alte Eidgenossenschaft weg und bedeutete für die Familie Effinger sozialen Abstieg.
Sophia Julia Erlach-Effinger, genannt Sophie, erlebte zwei Welten: eine vor und nach der Revolution. Als 1798 die Franzosen in die Schweiz einmarschierten und die Helvetische Republik gegründet wurde, verloren die Effinger nicht nur einen Teil ihres Vermögens, sondern auch ihre adligen Vorrechte.
Sophie beschreibt ihren Kummer darüber in ihren Tagebüchern und in einer Burgchronik. Sie trauerte über den frühen Tod der Mutter und ihrer eigenen zwei Kinder. Ihre Ehe war so unglücklich, dass sie sich scheiden liess. Sophie lebte fortan mit ihrem ledig gebliebenen Halbbruder Ludwig Albrecht, genannt Albert.
Der Kunstliebhaber und letzte männliche Besitzer von Wildegg. Er bewohnte mit seiner Frau und zwei Töchtern das Schloss, richtete sich ein Atelier ein und bemalte die Eingangshalle.
Ludwig Rudolf gehörte zur ersten Generation, die ohne adlige Privilegien aufwuchs. Seine Kindheit verbrachte er mit seinen Eltern auf Schloss Kiesen bei Konolfingen. Rudolf beschäftigte sich im In- und Ausland mit Mathematik, Geschichte und Ingenieurswesen. Seine Leidenschaft war aber schon früh die Kunst.
Mit seiner Frau Adelheid Sophie Julie May und seinen beiden Töchtern lebte er in England, Frankreich und Österreich. Die finanzielle Lage der Familie war nicht immer gesichert; um über die Runden zu kommen musste Rudolf auch als Gymnasiallehrer arbeiten. Nach dem Tod seiner Tante Sophie 1842 erbte er Schloss Wildegg und konnte sich voll und ganz auf die Kunst konzentrieren. Er gründete 1854 die bernische Künstlergesellschaft und blieb lange in deren Vorstand. Im Schloss richtete er sich ein Atelier ein. Die Wand- und Deckenbemalung in der Eingangshalle und manche Bilder im Schloss stammen von ihm.
Als letzte Besitzerin des Schlosses sicherte Julie Effinger die Erinnerung an ihre Familie. In hohem Alter vererbte die alleinstehende Frau Schloss und Domäne Wildegg an die Eidgenossenschaft.
Adelheid Pauline Juliette von Effinger, kurz Julie, und ihre Schwester Julia Sohie Pauline von Sinner-von Effinger waren die beiden Kinder von Ludwig Rudolf Effinger und damit die letzte Generation der Familie, die im Schloss Wildegg gelebt hat. Julie blieb lebenslang unverheiratet. Schon früh wandte sie sich religiös-karitativen Tätigkeiten zu: Sie führte eine Sonntagsschule und begründete eine Stiftung zur Bekämpfung von Alkoholismus. Letztere ist heute noch unter dem Namen "Von Effinger Stiftung" tätig. Die Bevölkerung beschrieb die Herrin von Wildegg als streng, aber gerecht.
Julie lebte nur noch teilweise auf Wildegg. Sie vermietete Das Schloss bis 1901 an einen englischen Oberst namens Rivett-Carnac. Nach Julies Tod ging Schloss Wildegg an die Eidgenossenschaft über. Der Bund machte die Anlage als Museum öffentlich zugänglich. 2011 übernahm sie der Kanton Aargau.