Er hatte eine solche Leidenschaft für die Naturwissenschaft, dass er 1818 zusammen mit seinem Vetter Franz Joseph von Sternberg Mandersheid und dem Oberstburgergrafen Franz Anton von Kolowrat-Liebsteinsky und ein paar anderen das Vaterländische Museum in Böhmen, und in Prag später das Böhmische National Museum) gründete.
Während eines längeren Aufenthalts in Paris stellte Alexander von Humboldt in 1805 den Kontakt zwischen Sternberg und vielen wichtigen Botanikern und Paläontologen her, die einen wichtigen Einfluss auf die spätere Karriere des Grafen hatte. (“Sternberg, Kaspar Graf Von.” Deutsche Biographie – Sternberg, Kaspar Graf Von. Deutsche Biographie, n.d. Web. 29 Jan. 2017.) Als Regensburg an Bayern fiel und Kaspar von Sternbergs Bruder verstarb, entschied er sich auf die Böhmischen Güter seiner Familie zu konzentrieren und zog sich zurück nach Böhmen. Er hatte eine solche Leidenschaft für die Naturwissenschaft, dass er 1818 zusammen mit seinem Vetter Franz Joseph von Sternberg Mandersheid und dem Oberstburgergrafen Franz Anton von Kolowrat-Liebsteinsky und ein paar anderen das Vaterländische Museum in Böhmen, und in Prag später das Böhmische National Museum) gründete. (“Sternberg, Kaspar Maria Graf Von.” Deutsche Biographie – Sternberg, Kaspar Maria Melchio Balthasar Graf Von. Deutsche Biographie, n.d. Web. 29 Jan. 2017.)