Die Baugeschichte des Schlosses läßt sich zurückverfolgen bis in die Zeit um 1330, als die Eichen für die Deckenbalken des Erdgeschosses gefällt wurden. Graf Gerhard V. von Rieneck (um 1310-1381) war es vermutlich, der im Nordwesten der Stadt, an der doppelt bewehrten Mauer einen neuen Herrschaftssitz errichten ließ.

Der heutige Mittelbau folgt stilistisch dem Vorbild der französischen Donjons - wie einige zur gleichen Zeit entstandene repräsentative Wohnturmbauten des Hochadels in der Rhein-Mosel-Region.

Bis zu ihrem Aussterben im Jahr 1559 diente das Schloss den Grafen von Rieneck als Wohn- und Verwaltungssitz.

Die Mainzer Kurfürsten als neue Landesherren übernahmen das Gebäude und gaben ihm nach und nach seine heutige Gestalt.

Seit 1936 ist im Schloss das Spessartmuseum untergebracht; Träger ist heute der Landkreis Main-Spessart.

Unter dem Thema „Mensch und Wald“ präsentiert das Museum im Zuge einer Neukonzeption seit 1980 Vergangenheit und Gegenwart eines der größten zusammenhängenden Waldgebiete Deutschlands, das in vielem beispielhaft für die Entwicklungen auch in anderen Waldregionen steht.