Narra la leggenda che la nave che trasportava da Costantinopoli le spoglie di S.Elena, appena entrata nella laguna di Venezia andò ad arenarsi su delle secche che si trovavano dietro l'isola di Olivolo (S.Pietro di Castello).

  Nonostante gli sforzi non ci fu verso di far ripartire la nave; alla fine i marinai decisero di alleggerirla scaricando su una isola vicina tutta la mercanzia e naturalmente anche l'urna contenente le spoglie della Santa.
Così alleggerita la nave riprese a galleggiare e fu portata fuori dalle secche.
 A questo punto l'equipaggio prese a ricaricare le mercanzie, ma appena issata a bordo l'urna della Santa, la nave tornò ad incagliarsi e soltanto dopo che l'urna venne riportata sull'isola, la nave riprese a galleggiare.
 -Forse la Santa vuol rimanere qui – si dissero i marinai e così fecero. Deposero l'urna su quell'isolotto disabitato e proseguirono con la nave verso il Bacino di S.Marco.

 Naturalmente l'urna non venne abbandonata; nel 1028 venne costruita una prima cappella affidata ai religiosi dell'ordine degli Agostiniani i quali un po' per volta costruirono il convento e la chiesa nella quale venne conglobata la cappella originaria.
 Nel 1400 agli Agostiniani succedettero i Benedettini Olivetani che nel 1439 ricostruirono il convento e la chiesa nella forma in cui li possiamo vedere oggi.
Fu questa l'epoca migliore per l'isola e per l'Ordine che custodiva le spoglie della Santa.
Data la sua posizione il Convento venne utilizzato spesso come luogo di prima accoglienza per i dignitari stranieri che giungevano a Venezia che qui venivano accolti.

Tramite i numerosi lasciti di alcune famiglie (Talenti, Borromeo, Contarini, Balbi, Loredan, Giustinian, ecc.), i monaci poterono restaurare i primitivi edifici e costruirne di nuovi.
Il 18 aprile del 1515, la chiesa venne consacrata dal Vescovo di Aleppo.

Nel 1810, in seguito agli editti napoleonici, la chiesa venne sconsacrata ed adibita a magazzino. Il corpo di S.Elena venne quindi traslato e conservato nella vicina Cattedrale di S.Pietro, mentre il monumentale portale rinascimentale( che raffigura il generale Cappello inginocchiato davanti alla Santa) fu smontato e ricostruito a ridosso della facciata della chiesa di S.Aponal a Rialto.
Attorno agli anni 1920 la barena circostante trasformata da anni in sacca e successivamente utilizzata come zona di addestramento per i militari, venne bonificata ed urbanizzata.
Nasce così l'attuale isola di S. Elena, collegata all'originale isola dove sorge la Chiesa da tre ponti.

Con l'urbanizzazione della zona viene riaperta al culto la chiesa che nell'anno 1930 viene affidata all'Ordine dei Servi di Maria.
Con una memorabile processione viene riportato a S.Elena il corpo della Santa, mentre nel primo dopo-guerra viene riportato e rimesso al suo posto il portale.

Negli anni successivi con una sottoscrizione popolare viene ricostruito il campanile che sorge sulle fondamenta originali.