Dell'esistenza della chiesa dedicata a Santo Stefano abbiamo notizia solo a partire dal XVI secolo e si tratta di una cappella privata dipendente dalla famiglia nobile Calini. L'edificio sacro, tuttora esistente sulla sommità del colle omonimo, è una costruzione della prima metà del Cinquecento - con alcuni ampliamenti successivi -, divenuta nel tempo il mausoleo funerario dei conti Calini.
Anche la piccola casa costruita sul lato sinistro della facciata è della stessa epoca, così pure il dipinto raffigurante il Martirio di santo Stefano posto sull'altare maggiore, gli affreschi laterali della Madonna del latte e di San Giacomo (alcune fonti avevano individuato S. Rocco ma sembra ora più certa la figura di S. Giacomo) opera di un artista locale - un certo Giovanni Tommaso Pagnoni di Bornato, datati 1536, ma vistosamente ritoccati a metà del XX secolo, durante il restauro della cappella sostenuto dalla famiglia Maggi -, la lapide sepolcrale di Vincenzo Calini (1574) al centro della cappella e la cella campanaria.
Nella visita di San Carlo si legge che questo oratorio era "decoroso e ampio con tre altari e l'interno a involto", mentre nella casetta attigua abitava da qualche tempo un eremita della Valcamonica di nome Cataneo.
Nel 1567 già il vescovo Domenico Bollani aveva decretato di fare la pala e la predella per l'altare maggiore, di comperare croce, candelabri e tovaglie di lino decorato per i tre altari; inoltre, aveva ordinato di mettere i pavimenti alla chiesa, di imbiancarla e di sistemare la porta di accesso.

All'inizio del Seicento la cappella era di proprietà di Attilio Calini e nel 1648 risultava appartenere a Vincenzo, nonno del cardinale Lodovico.
Le opere richieste nelle disposizioni episcopali erano state in buona parte compiute, ma la chiesa si presentava ancora con un altare maggiore e due laterali; le attenzioni del visitatore furono quindi dirette alla sistemazione delle finestre laterali che dovevano essere allargate o aperte e dotate di vetri.
Nuove e più importanti opere, però, di ampliamento furono effettuate in seguito dai Calini - anche in ottemperanza alle disposizioni apostoliche -, per eliminare i due altari laterali troppo angusti e allargare la chiesetta verso nord, al fine di creare lo spazio per tumulare i propri cari, ma soprattutto verso mezzogiorno con la costruzione di una grande cappella a fianco della sacrestia. Lavori questi che interessarono la fine del XVIII secolo e comportarono lo spostamento da est verso sud dell'orientamento della chiesa con la creazione dell'altare dedicato alla Presentazione al tempio di Maria, che mise in secondo piano quello principale del martirio di santo Stefano.
Alcuni legati particolari poi, disposti dai Calini, permisero la celebrazione della messa almeno una volta alla settimana, specie nel giorno di sabato, e la frequente recita del rosario; altre volte i conti garantirono a loro spese persino la presenza stabile di un sacerdote per l'assistenza spirituale dei pellegrini e della stessa famiglia nobiliare.