Nel caso di Castelraimondo si ha la rara fortuna di conoscere l’anno di nascita del paese: è il 1311, quando il rettore della Marca Anconetana, Raimondo da Spello, autorizzò il comune di Camerino, in premio dell’aiuto portato contro le vicine città ribelli di San Severino, Matelica e Fabriano, a erigere castelli ovunque volesse e in particolare il Castrum Raymundi, presso il fiume Potenza, che con ogni evidenza rende omaggio nel nome al rettore stesso. In tempi più prossimi a noi il comune ha incorporato altri castra confinanti, quelli di Crispiero e di Castel Santa Maria, di più antiche origini.