Filip przyszedł na świat 28 maja 1856 roku w Lu Monferrato i tego samego dnia otrzymał na chrzcie imiona Filip Piotr. Był ósmym z dziewięciorga dzieci Krzysztofa i Antoniny z domu Brezzi. Pochodził z bardzo religijnej i w miarę dostatniej rodziny chłopskiej.
Gdy miał pięć lat, po raz pierwszy spotkał się z ks. Janem Bosko, który urządził swoim wychowankom wycieczkę do Lu Monferrato. To spotkanie utkwiło mu głęboko w pamięci. W roku szkolnym 1866/1867 rozpoczął naukę w gimnazjum salezjanów w Mirabello. Wtedy znowu spotkał się z księdzem Bosko, a kiedyś, w czasie spowiedzi, ujrzał go przez chwilę "w jakimś dziwnym blasku" - jak potem to określił.
Mimo ogromnej czci, jaka zrodziła się w nim dla księdza Bosko, opuścił Mirabello, tłumacząc się bólami głowy i słabym wzrokiem. Przez następnych dziesięć lat uprawiał rolę w swojej rodzinnej wiosce oraz przeżywał okres wewnętrznego zmagania się ze sobą. Jan Bosko prowadził z nim jednak korespondencję i w 1877 roku nakłonił go, żeby wstąpił do salezjańskiego zakładu dla spóźnionych powołań w Sanpierdarena. Tam minął kryzys.
13 sierpnia 1880 roku Filip złożył profesję zakonną. Później przez dwa lata studiował filozofię i teologię. Święcenia kapłańskie otrzymał w Ivrei 23 grudnia 1882 roku. Za radą św. Jana Bosko kontynuował naukę, aby móc nauczać w szkole. Będąc dyrektorem Instytutu św. Jana Ewangelisty w Turynie, stał się prawdziwym ojcem powołań. Jednocześnie utrzymywał stałe kontakty z ks. Bosko, formując w ten sposób samego siebie. Mówi się, że ks. Bosko przewidywał w nim swego trzeciego następcę w kierowaniu Zgromadzeniem, dlatego od początku dokładał wyjątkowych starań, by odpowiednio ukształtować go do przyszłych zadań.
Po śmierci św. Jana Bosko, bł. ks. Michał Rua mianował Rinaldiego dyrektorem hiszpańskiego zakładu w Sarria (1889), który potrzebował właściwej odnowy. Nowy dyrektor szybko zyskał sobie powszechne uznanie, uporządkował działalność zakładu i objął swoim wpływem także inne placówki salezjańskie w Hiszpanii. Doceniając to, przełożeni uczynili go inspektorem prowincji hiszpańskiej i portugalskiej.
W roku 1901 został odwołany do Turynu, gdzie przez następnych dwadzieścia lat pełnił stanowisko prefekta generalnego w zgromadzeniu, zyskując sobie wiele sympatii i ogromny szacunek. Brał też czynny udział w różnych akcjach i dziełach salezjańskich, założył m.in. Stowarzyszenie Zelatorek Maryi Wspomożycielki.
Gdy w 1921 roku zmarł ks. Paweł Albera, drugi następca św. Jana Bosko, Filip Rinaldi został wybrany generałem zgromadzenia, które w czasie swoich dziesięcioletnich rządów podwoił liczebnie. Szczególną troską otaczał misje, angażował w to dzieło młodzież - licząc na nowe powołania. Zabiegał usilnie o zachowanie i przekazanie młodym wychowankom ducha salezjańskiego. We wszystkim, a zwłaszcza w dobroci i ojcowskiej miłości, starał się naśladować księdza Bosko.
Mimo poważnej choroby serca nie ustawał w pracy. Organizował konferencje, sesje, zjazdy inspektorów i dyrektorów domów salezjańskich, wydawał okólniki. Czując zbliżającą się śmierć, jeszcze więcej czasu poświęcał na modlitwę.

Zmarł 5 grudnia 1931 roku. Św. Jan Paweł II beatyfikował go 29 kwietnia 1990 roku.