Al paese, situato sul versante settentrionale dello Sciliar, si giunge da Ortisei abbandonando il territorio ladino alla volta del passo di Pinei (m 1437). Castelrotto raccoglie le sue case del XVI-XVII secolo attorno alla piazza della chiesa dei Ss. Pietro e Paolo (pala di Francesco Unterperger), con campanile settecentesco nella cui parte inferiore si apre una cappella. Il toponimo si deve alla presenza di un fortilizio, nei cui ruderi furono ricavate nel Seicento le cappelle che concludono una Via Crucis. Sui dolci pendii verso la val Isarco si estende un campo da golf a 18 buche.