Mitwitz hat zwei Schlösser, die stolze Wasserburg im Tal und den Herrensitz, das obere Schloss, am Berg. Welches das ältere der beiden Schlösser ist, ist nicht bekannt.
Das obere Schloss wurde im 30-jährigen Krieg in Mitleidenschaft gezogen. Der Mitwitzer Chronist Andreas Dötschel schreibt:
„Kronacher fallen in Mitwitz ein, plündern das Schloss, zerschlagen und verwüsten alles.“
Um 1713 wurde das Schloss unter Johann Ludwig von Würtzburg wieder aufgebaut.
Reichsrat Ludwig Freiherr von Würtzburg (1845 – 1922) wohnte mit seiner Familie vorübergehend im Oberen Schloss. Zuletzt wurde es immer in den Sommermonaten von der Mitwitzer Ehrenbürgerin Baroneß Anne-Marie von Cramer-Klett bewohnt. Sie verstarb am 17. März 1992.
Die Grabkapelle im Schlosspark des oberen Schlosses ließ einst Ludwig Freiherr von Würtzburg für seinen 1915 im Ersten Weltkrieg gefallenen Sohn Edmund errichten. In der Nähe der Grabkapelle liegen die Mitwitzer Ehrenbürgerin Baronesse Regina und Anne-Marie von Cramer-Klett begraben.
Das Obere Schloss befindet sich in Privatbesitz und kann nicht besichtigt werden.
