Miejsce było doprawdy wspaniałe: „Schodźcie się tu malarze, schodźcie się poeci!” – tak opiewał je później Franciszek Wężyk. Ze wszystkich stron górę otaczał las, od południa stromymi zerwami skalnymi opadała ku Wiśle, wokoło zaś roztaczał się imponujący widok na zakola Wisły, na Wzgórza Tynieckie z murami opactwa benedyktynów, na obszerne partie Beskidów, a czasem nawet na Tatry. Charakterystyczną jest rzeczą, że już Jan Długosz na górze tej pragnął osadzić zakon kartuzów, jednakże jego śmierć w 1480 r. przerwała realizację tych zamiarów.
Wybór miejsca przysporzył sporo kłopotów Wolskiemu, ponieważ Bielnisza należała do Sebastiana Lubomirskiego, który jednak nie kwapił się do darowizny. W trakcie pertraktacji przybyli do Polski zakonnicy i zamieszkali tymczasowo po przeciwległej stronie Wisły, w Bodzowie, gdzie udzielili im gościny benedyktyni z Tyńca. Wolski jednak, mimo trudności, pragnął dotrzymać kamdułom swego przyrzeczenia. Tradycja mówi, że wyprawił wspaniałą ucztę, na którą zaprosił również Lubomirskiego. Wówczas rozmowę skierował na interesujący go temat. W toku, dyskuji otrzymał liczne propozycje ze strony obecnych na uczcie magnatów, którzy na ten cel ofiarowywali część swych dóbr.
Lubomirski, nie chcąc pozostać za nimi w tyle, darował wreszcie Wolskiemu upragnioną przez niego górę. Ten, w dowód wdzięczności, wręczył Lubomirskiemu, wszystkie srebra stołowe, na których ucztowano, a przygotowane wcześniej na tę właśnie okazję. Z kolei Lubomirski dodał kamedułom położoną u stóp Bielniszy, wieś Bielany. Na pamiątkę tych wydarzeń górę miano nazwać Srebrną. Kameduli od Wolskiego otrzymali jeszcze wsie: Mników i Mnikówek, a w wyniku testamentu fundatora – również Ryczówek na północ od Olkusza i Malec na Południe od Oświęcimia.
W 1605 r. rozpoczęto budowę pustelni (eremu), a ukończono ją w 1610 r. Będący w budowie kościół klasztorny zawalił się w 1617 r., wskutek czego Wolski dalszą jego budowę zlecił początkowo włoskiemu architektowi, Andrzejowi Spezza, a następnie Janowi Succatori i Jakubowi Lapicida. Kościół ukończono ostatecznie w 1632 r., już po śmierci Wolskiego (1630 r.), który w testamencie wyraził życzenie pochowania go anonimowo u wejścia do nawy, by deptały go nogi wiernych. Świątynię poświęcono w 1642 r.