Ascona zählte in der Vergangenheit vier Burgen, die teils auf den umliegenden Hügeln angeordnet wurden, um die Schiffahrt auf dem oberen Verbano zu kontrollieren. Die Burgen waren mit unterirdischen Gängen miteinander verbunden: Castello San Michele, San Materno, dei Grillioni (oder Ghiriglioni) und dei Carcani. Von einigen sind noch Ruinen oder in neuere Bauwerke eingefügte Teile erhalten geblieben.
Das Castello San Michele, in der Nähe der gleichnamigen Kirche, wurde der Familie Duni im 12./13. Jahrhundert von den Bischöfen von Como als Feudalbesitz übergeben. Schon im 17. Jahrhundert waren davon nur noch zwei Türme und eine kleine Kirche, an deren Stelle das heutige Oratorium steht, übriggeblieben. Von der Burg ist praktisch nichts mehr zu sehen.
Vom Castello San Materno, ebenfalls ein Bau aus dem Mittelalter, zeugen nur noch wenige Reste in der Nähe der gleichnamigen Kapelle.
Das Castello dei Ghiriglioni am Quai von Ascona geht vermutlich auf das 13. Jahrhundert zurück und diente einer Mailänder Adelsfamilie als Wohnsitz. 1513, wurde die Burg teilweise zerstört, die Reste sind in das Albergo Castello und einige Nachbarbauten eingegliedert worden. Zu sehen sind noch zwei Türme und ein Teil des alten Mauerwerks. An der Via Ghiriglioni, seitlich des Hotels, sind zwei Tore erkennbar, die zur alten Befestigungsmauer gehörten.
Vom Castello dei Carcani, das sich mitten im Dorf befand, ist keine Spur mehr vorhanden.