Caspar van Breugel was het tweede kind uit het huwelijk van Jan Festus van Breugel, stadsadvocaat in Den Haag, en Eva Maria Burman. Hij werd geboren in Den Haag op 11 maart 1752 en trouwde op 6 mei 1781 met Mary Douglas, dochter van Robert Douglas en Helena de Brauw. Uit het huwelijk werden vijf kinderen geboren. Van Breugel overleed in Haarlem op 30 mei 1833.
