C’est en 1608, sur l'emplacement de l'Espace Nesle, dans l'ancien jardin du couvent de Saint Augustin, que cette vaste demeure fut construite. Le premier propriétaire fut Messire Jean PAUMIER, conseiller secrétaire du Roi Henri IV. Il fut contraint en 1629 de se défaire de sa propriété par adjudication au profit de Messire Jean PONCET, conseiller à la cour.

C’est ensuite Jérémie BUGEAT des ROCHES qui repris le flambeau jusqu'à la révolution, date à laquelle la demeure fut vendue à un certain Grenier, négociant. Au cours des XIXème et XXème siècle, l'ensemble du quartier fut transformé en immeubles de rapport. Cette demeure accueillit un négoce en vins, puis une imprimerie, puis un journal satirique.

D'importants travaux furent entrepris en 1974 pour créer un théâtre et une galerie. La galerie a été inaugurée par Mme Bernadette CHIRAC. Cette galerie de 600 m² est devenue aujourd’hui le Musée des Lettres et Manuscrits.