Sergiusz był z pochodzenia Syryjczykiem, ale urodził się w Palermo. Gdy po śmierci papieża Konona (687) rozgorzał spór pomiędzy dwoma kandydatami, Teodorem i Paschalisem, wybrano w końcu Sergiusza.
Już na samym początku swego pontyfikatu okazał niezłomną postawę: nie ugiął się, kiedy Justynian II żądał podpisania uchwał z Trullo (synodu odbytego pod kopułą pałacu cesarza), które między innymi zawierały sformułowania dotyczące wysokiej rangi Konstantynopola oraz inne zapisy, wrogie wszystkim zwyczajom zachodnim. Cesarz chciał wtedy Sergiusza - jak niegdyś Marcina I - ująć i uprowadzić, ale w obronie papieża stanął lud rzymski oraz ściągnięte z Rawenny milicje. Wysłannik cesarza musiał się ratować ucieczką. Znalazł w końcu schronienie pod łóżkiem papieża, który go ocalił.
Sergiusz utrzymywał dobre stosunki z Anglią (Aldhelm) i Francją, a Wilibrordowi, którego wysiłki popierał, posłał paliusz. Do liturgii zachodniej wprowadził święta maryjne obchodzone na Wschodzie: Zaśnięcie, Hypapante, Narodzenie i Zwiastowanie, a także święto Podwyższenia Krzyża.
Zmarł 8 września 701 r. i w tym dniu jest wspominany, choć Ado umieścił go w swym martyrologium pod dniem następnym.