Il castello di Zumelle sorge in posizione strategica nella Valbelluna e un primo nucleo sarebbe romano, forse del 46-47 d.C., a controllo del passo di Praderadego. Con le invasioni barbariche divenne perno della difesa tra Feltre e Ceneda. Secondo la leggenda fu rifondato da Genserico, uomo di fiducia della regina ostrogota Amalasunta, che sposò l’ancella Eudosia: dai due gemelli nati sarebbe derivato il nome Zumelle.
Nel 737 re Liutprando fece il vescovo di Ceneda Valentino signore di Zumelle, causando una disputa con il vescovo-conte di Belluno. Fu ricostruito nel 1311 da Rizzardo da Camino; dopo il 1358 Venezia lo diede, con il contado e diciannove ville, alla famiglia patrizia Zorzi, con l’obbligo di pagare due torce l’anno alla Basilica e di tenere un vicario e quattro stipendiati.
