Rodio se 439. godine u Kapadociji (Mala Azija). Stupio je kao dječak u bazilijanski samostan. Sa 18 godina hodočasti u Svetu zemlju, došao je u Jeruzalem te je u obližnjim brdima živio kao pustinjak.
Oko njega su se počeli okupljati ljudi željni sv. Sabu nasljedovati. Stoga osnuje glasoviti samostan Mar Saba koji je na Istoku poznat kao "Velika lavra". Postao je arhimandrit tog samostana, uživao je ugled u svojoj zajednici ali i izvan nje.
Njemu se pripisuje red bogoslužja za cijelu godinu, tzv. "tipikon", a za svoje je monahe napisao novo pravilo.
Umro je u visokoj starosti 532. godine u Mar Sabi. U Rimu je u 9. st. podignuta bazilika njemu u čast. Svečeve su se relikvije dugo nalazile u Veneciji, a onda je papa Pavao VI. preporučio da se prenesu u Mar Sabu.
