Christoph von Elsenheim wurde um 1520 geboren, holte sich 1553 in Italien den Doktorgrad der Rechte, erhielt 1558 seine Berufung als Hofrat nach München, wo er als Geheimer Rat an wichtigen politischen Geschäften beteiligt war. ,,Qualifiziert in allem, was zu einer so hohen Verrichtung gebührt", wurde er vom Herzog dem Kaiser als Reichsvizekanzler vorgeschlagen. Er aber entschied sich anders, nachdem er durch seine Vermählung mit Jakobe Stockhamerin bereits in verwandtschaftliche Beziehungen zum bayerischen Landadel und Münchener Patriziat getreten war. Die Preysing werden als mit ihm verschwägert bezeichnet.
1569 verlieh ihm Herzog Albrecht den Lehenssitz Hampersberg/Ndb, bald darauf die Pflege Traunstein. 1571 erhielt er für sich und seine Nachkommen Edelmanns- und Hofmarks-Freiheit; 1574 - nach dem Tode Eck's, des bayerischen Bismarck - das Hofkanzleramt. 1584 verkaufte ihm Herzog Wilhelm IV. Schloß, Markt, Kasten und Gericht Wolnzach.
Christoph von Elsenheim hatte zwei Söhne: Christoph Ulrich und Heinrich, und mehrere Töchter, deren eine den Pfleger von Landsberg, Max Fugger, zum Manne hatte. Er starb wahrscheinlich um die Jahreswende 1589/90.
Christoph Ulrich, geb. ca. 1564, studierte 1579 zu Ingolstadt, trat 1594 in den bayerischen Dienst, übernahm 1596 die Pflege Mainburg, nachdem er zuvor schon Pfleger in Traunstein gewesen war. 1596 kam er in den Besitz von Wolnzach und nannte sich ,,zu Elsenhaym und Wolnzach, Hampersberg und Nanhofen". 1599 schloß er einen Vergleich mit dem Markt Wolnzach. 1604 war er auch Rentmeister in München.
1610 wurde er Geheimer Rat und Hofkammerpräsident in München. Er war verheiratet mit Anna Maria von Zeilhoven (Starzhausen) und hatte 1610 sechs Söhne, für deren redliches Fortkommen er sehr besorgt war, wie aus einer Supplik (Bittschrift) an Herzog Wilhelm zu ersehen ist. Eine Tochter Anna Maria ist 1626 in Mainburg gestorben und liegt in der Salvatorkirche begraben.
Ein Sohn, Georg Ulrich, sein Nachfolger in Wolnzach, erhielt am 1. Juli 1623 unter des Vaters Verantwortung die Pflegadministration in Mainburg. Christoph Ulrich ist am 18. Juli 1630 gestorben.
Die kaiserliche Bestätigung des Elsenheimer Adels scheint aber erst 1616 erfolgt zu sein. Einige Jahre später wurde die Familie auch in den Freiherrnstand erhoben, mit zwei Büffelhörnern im Wappen.
Die beiden genannten Brüder stifteten 1613 für sich ein Erbbegräbnis in der Dreifaltigkeitskapelle der Augustiner in München. Für seinen Vater hatte Christoph Ulrich 1617 vier Quatembermessen in der Pfarrkirche Wolnzach gestiftet. Die drei noch lebenden Söhne Christoph Ulrichs, nämlich Georg Ulrich, Heinrich Benno und Hans Thomas teilten am 9. März 1632 ihr für die damalige Zeit bedeutendes Vermögen nach folgendem Wertanschlag:
a) Wolnzach, samt Knodorf, Irsching und Allersbach - alles brüderlich angeschlagen zu 100 000 fl;
b) die Hofmark Oberpöring mit Ettling und Westerndorf zu 70 000 fl;
c) die Hofmark Haiming mit Winkelheim und Ottenberg zu 52 000 fl;
d) zinstragende Kapitalien 93 187 fl, Summe: 313 187 fl.
Da Hampersberg und Nanhofen nicht mehr genannt werden, dürften diese Besitzungen seinerzeit an Heinrich, den Bruder Christoph Ulrichs, gefallen sein.
Bei der Verlosung fiel Wolnzach an Georg Ulrich. Der bisherige Pflegeadministrator für Mainburg erhielt nach dem Tod des Vaters diese Pflege zu eigen. Als Pfleger von Mainburg erbot er sich, das von den Schweden niedergebrannte Schloß in Mainburg auf seine Kosten wieder aufbauen zu lassen; sein Anerbieten wurde von der Hofkammer jedoch abgewiesen. Er schrieb sich Georg Ulrich von Elsenheim zu Wolnzach und Ratzenhofen, war aber wenig in Wolnzach.
An seiner Stelle präsentierte sein Bruder Heinrich Benno; da aber auch dieser als Rittmeister sehr viel abwesend war, sein Richter Johann Augustin. Es ist möglich, daß Georg Ulrich den Wolnzacher Besitz seinem Bruder ganz überlassen hat; Wolnzach war ja nach der Zerstörung des Schlosses im 30jährigen Krieg nicht mehr viel wert.
Georg Ulrich, der - wie er am 9. September 1633 von Ratzenhofen aus schrieb - ,,von Freund und Feind großen Schaden erlitten" hat, erbat sich auch für Mainburg einen Pflegsverwalter, wahrscheinlich um Ratzenhofen wieder in die Höhe zu bringen; seine Bitte wurde jedoch abgewiesen. Er wohnte während des Krieges eine zeitlang im Schloss Ratzenhofen, das seinen Mündeln, den Albrecht von Maming'schen Kindern gehörte; er war aber nie Besitzer des Schlosses.
Georg Ulrich hatte 1623 zu Wolnzach eine Tochter des Wolfgang Moriz von Rohrbach geehelicht. Er starb 1647; seine Söhne erhielten die Amtsnutzung von Mainburg mit einem Pflegsvater, bis 1657 Johann Heinrich Moriz, Freiherr von und zu Rohrbach, diese Pflege erhielt. Der Bruder Heinrich Benno ist schon 1637 als Obrist-Leutnant gestorben.
Wolnzach ging an Hans Thoma, den 2. Bruder Georg Ulrichs, über. Er hatte eine Maria Elisabeth Christine Cribellin de Gutto zur Gattin; seine Tochter Eva Maria Franziska, ,,ein liebenswürdiges und bei den Wolnzachern beliebtes und wohltätiges Fräule", verheiratete sich 1667 mit einem Herrn von Muggenthal.
Weniger beliebt war der Vater. Hans Thomas wandte sich an den Churfürsten wegen der ,,im allhiesigen Siechhaus befindlichen Umständ". Er überlebte seinen Bruder Georg Ulrich um 16 Jahre und starb am 28. November 1663. Mit ihm starb die Christoph-Ulrich'sche Linie der Elsenheimer im Mannesstamm aus.
Gemäß dem Stifts- und Saalbuch beim kgl. Rentamt Pfaffenhofen fiel Wolnzach an die Heinrich'sche Linie der Elsenheimer und zwar an Johann Heinrich, Freiherrn zu Elsenheim auf Nanhofen, Hampersberg und Kirchtraubach, den Hofmarschall und Hofrat des Bischofs von Straßburg. Der aber übertrug diese Herrschaft seinem Sohn Leopold Heinrich (aus seiner 1. Ehe mit Maria Amalia, geb. von Wildstein).
Baron Leopold Heinrich von Elsenheim war als Oberst des bayerischen Leibregiments mit dabei, als Max Emanuel von Bayern 1688 Belgrad belagerte und eroberte. Von ihm wird erzählt, dass er drei türkische Frauenzimmer, die er als Kriegsbeute mitgebracht hatte, im Wolnzacher Schloss unterhielt. Sicher ist, dass am 9. März 1690 eine vornehme Türkin aus Belgrad in Wolnzach öffentlich auf den Namen Maria Franziska getauft wurde.
Jeder Sieg brachte unermessliche Beute: Zelte voll Prunk und Kostbarkeiten, ferner Geschütze, Wagen und Pferde. Nach der Eroberung Ofens fiel auf der Margaretheninsel den Siegern der Pascha-Harem in die Hände; Hundert der schönsten Frauen wurden als Sklavinnen weiterverkauft. Die erbeuteten Dukaten mussten die Soldaten in Helmen messen. Max Emanuel duldete wohl keine Lagerweiber, aber auch er soll eine Gefangene - als Page verkleidet - als Konterbande mitgenommen haben.
Von einem Teil seiner Kriegsbeute und von zusätzlichen Geldern, die er von den Fugger'schen Verwandten aufnehmen konnte (Graf Fugger zu Schwindegg hatte nach dem Ableben der Elsenheimer noch eine Summe von 5000 fl zu fordern), hat Baron Leopold Heinrich das Schloss zu Wolnzach 1697 ganz neu aufzubauen begonnen und so hergestellt, wie es in Wenings Topographie zu sehen ist. Er starb am 10. Februar 1715 als Generaloberstwachtmeister mit 62 Jahren und wurde in der Elsenheimer-Kapelle in Wolnzach begraben.
Nachfolger als Herr zu Wolnzach wurde der letzte dieses Stammes, sein Stiefbruder. Franz Anton Wilhelm, Baron von Elsenheim auf Nanhofen, kurfürstlicher Kämmerer, Oberstleutnant des Leibregiments und Pfleger zu Moosbach, gebürtig aus der 2. Ehe Johann Heinrichs mit Anna Barbara Kempfin von Angrett. Weil er sich nicht gesund fühlte, leitete er bereits 1725 Verhandlungen ein wegen der Rückgabe der Herrschaft Wolnzach an den Churfürsten Karl Albrecht gegen eine jährliche Nutzung von 4000 fl und mit der Bedingung, in diesem Markt ein Kapuzinerkloster zu errichten. Das geschah denn auch anno 1727.
Dieses Vermächtnis hatte eine mehr politische Bedeutung; denn der Kurfürst war ohnehin der natürliche Erbe von Wolnzach; doch wollte man einer früher gemachten Schenkung eine andere entgegensetzen. Er starb bereits am 4. September 1725 zu Bogenhausen bei München und wurde am 23. IX. in der Elsenheimer-Kapelle zu Wolnzach beigesetzt.
Von seinem Reichtum zeugt das im Kreisarchiv München aufbewahrte Inventar-Verzeichnis. Aufgezählt sind eine Menge Silbergeschirr; kostbar gestickte Kleider; herrliche Zimmereinrichtungen, von denen der Kurfürst einen Teil um 9605 fl ablöste. Für Ablösung des Inventars, für Meliorationen und als Rückkaufsumme hatte der Kurfürst an die Mutter des verstorbenen Barons insgesamt 54 704 fl hinauszuzahlen.
Kurfürst Karl Albrecht, der nachmalige Kaiser, richtete das Wolnzacher Schloss als Jagdschloss ein und kam auch alljährlich zu den Sau-Jagden hierher. Das Jägerhaus des Schlosses, das spätere sog. Brandl-Haus, wurde 1969 abgerissen und neu aufgebaut. Seitdem ist es ein Bankgebäude.