Bereits im 10. Jahrhundert ließ der Graf von Blois, Eudes I., eine Festung errichten, um Blois vor den Angriffen des Grafen von Anjou zu schützen. Als Dank für seine Unterstützung schenkt er Chaumont dem normannischen Ritter Gelduin dem Jüngeren. Sein kinderloser Sohn und Nachfolger Geoffroy wählt seine Nichte Denise de Fougères zur Erbin. Sie heiratete 1054 Sulpice I. d’Amboise: Chaumont ging für fast fünf Jahrhunderte in den Besitz der Familie d’Amboise über.
Doch 1465 lässt Ludwig XI. die Gebäude und Erweiterungen zerstören, um Pierre d’Amboise dafür zu bestrafen, dass er sich gegen die königliche Macht aufgelehnt hat. Einige Jahre später, 1469, vergab der König Pierre d’Amboise, gab die Ländereien zurück und stellte Gelder für den Wiederaufbau von Chaumont zur Verfügung.
Von 1468 bis 1510 wurden der Nordflügel (heute nicht mehr vorhanden), der Westflügel und ein Anfang des Südflügels von seinem Sohn, Charles I., im gotischen Stil erbaut. Der Südflügel, das Eingangsschlösschen, der Ostflügel, die Kapelle und die große Ehrentreppe zum Hof werden von seinem Enkel Karl II. in einem stärker von der Renaissance geprägten Stil fertiggestellt.
1560 kaufte Katharina von Medici, die Witwe von König Heinrich II. und Regentin des französischen Königreichs, das Schloss Chaumont und zwang Diane de Poitiers, die ehemalige Favoritin des Königs, ihr im Gegenzug das Schloss Chenonceau zu überlassen. Diese ließ einige Arbeiten durchführen und brachte ihr Wappen über den Maschikulis des Wehrgangs an. Zwischen dem Ende des 16. und der Mitte des 18. Jahrhunderts wechselten viele Besitzer des Schlosses Chaumont einander ab.
Es wurde 1750 von Jacques Donatien Le Ray erworben, dem späteren Intendanten der Invaliden unter Ludwig XVI. Er ließ den Nordflügel abreißen, um den Ehrenhof zur Loire hin zu öffnen, und gründete in der Nähe des Schlosses (wo sich heute die Stallungen befinden) eine Töpferei und Glasmanufaktur, die viele Künstler anzog und von dem Bildhauer und Graveur Jean-Baptiste Nini geleitet wurde. Jacques Donatien Le Ray gelang es, das Schloss, in dem er 1776 Benjamin Franklin empfing, vor der Französischen Revolution zu bewahren. Sein Sohn, genannt Le Ray l’Américain, verkaufte es 1823 an den Baron d’Etchegoyen.
Im 19. Jahrhundert gehörte das Schloss nacheinander dem Grafen von Aramon und dann dem Viscount Joseph Walsh. Sie führten umfangreiche Restaurierungsarbeiten durch. 1875 kaufte Marie-Charlotte Constance Say, Tochter und Erbin des reichen Rohrzuckerraffinierers Constant Say, das Anwesen von Chaumont. Einige Monate später heiratete sie den Prinzen Henri-Amédée de Broglie.
Das Paar vergrößerte und verschönerte das Anwesen mit Hilfe des Architekten Paul-Ernest Sanson kontinuierlich: Restaurierung der Außenanlagen, Modernisierung der Innenräume (Einführung von Elektrizität, Zentralheizung und fließendem Wasser) und Bau von Ställen. Im Jahr 1884 legte der Landschaftsarchitekt Henri Duchêne den Zierpark an, der das Schloss umgibt. Doch 1938 verkaufte die bankrotte Prinzessin das Anwesen für 1 800 000 Goldfrancs an den Staat.
Seit 2007 gehört das Anwesen Chaumont-sur-Loire der Region Centre und ist seit Oktober 2008 ein Centre Culturel de Rencontre: eine vom Ministerium für Kultur und Kommunikation anerkannte Einrichtung, die sich mit der Bewahrung des Kulturerbes und der künstlerischen und kulturellen Entwicklung befasst.