L'edificio venne edificato tra il 1876 e il 1899 dall'americano John Clay Mackowen, generale dell'esercito suddista, giunto a Capri dopo la fine della Guerra di Secessione. La Casa Rossa, in cui si fondono motivi architettonici e decorativi di varie epoche e culture, è senza dubbio una delle dimore storiche più singolari dell'isola e testimonia la diffusione dello stile eclettico a Capri nella seconda metà dell'Ottocento. L'impianto architettonico si sviluppa attorno a una torre quadrangolare del XVI secolo, eretta a difesa dell'abitato dalla incursioni saracene, e ospita una collezione permanente che costituisce un'interessante occasione per percorrere i luoghi che hanno reso famosa Capri nel mondo attraverso le immagini proposte dai vari artisti che frequentarono l'isola durante l'Ottocento. Dal 2008 sono anche ospitate le tre statue romane della Grotta Azzurra, ritrovate nel 1964, che hanno conservato l'originaria vivacità di movimenti che il riflesso dell'acqua, dalla quale emergevano dalla ginocchia in su, moltiplicava con il movimento della superficie