Als elfjarige graaf kwam hij hier als erfgenaam van neef René van Chalon (1519-1544). René was doorgegaan met de bouwwerken aan het nieuwe paleis van zijn vader graaf Hendrik III van Nassau (1483-1538). Deze werken aan het Bredase “palazzo in fortezza” kwamen nu stil te liggen en konden door de opstand in de Nederlanden niet meer worden voortgezet.
Prins Willem overpeinsde zijn gelukkige jaren met Anna van Egmond (1533-1558), gravin van Buren, hier op het Kasteel van Breda. Zijn wereld was nu in een stroomversnelling gekomen en pogingen om, via de landvoogdes Margaretha van Parma (1522-1586), met de permanent in Spanje verblijvende Filips II (1527-1598) tot een vergelijk te komen, waren mislukt.
De druk op hem werd steeds groter en hij besloot zijn bezittingen uit het kasteel en het Plombé (de privé-woontoren bij het kasteel) over te laten brengen naar Dillenburg in Duitsland. Een groot deel zou hij te gelde moeten maken om de “Opstand” financieel te steunen.
De inventarisatie van prins Willems inboedel door conciërge Jacques de Maubus vormde de basis voor de lijsten die de diverse transporten via land en mogelijk ook over water vanaf Breda begeleidden. In totaal worden 353 voorwerpen opgevoerd, een tragisch bewijs dat voor het Kasteel van Breda het begin van de Tachtigjarige Oorlog documenteert. Van alle kostbaarheden vallen de achttien gobelins in het bijzonder op, alleen al vanwege hun enorme afmeting. De eerste tien, ca. 4,20 x 7,60 m, hebben de “Piscaria oder Visscherie” als thema. De overige acht van ca. 4,17 x 5,56 m illustreren de graven en gravinnen van Nassau, ontworpen door Bernard van Orley en vermoedelijk gemaakt door het Brusselse tapijtatelier Pannemaeker.
