Urodził się 21 stycznia 1925 r. koło miasteczka Wiłkomierz w dzisiejszej środkowej Litwie. Po włączeniu Litwy w skład ZSRR (w 1940, a następnie w 1944 r.) związał się z ruchem oporu przeciw władzom sowieckim i kolaborującym z nimi rządem Litwy. Po raz pierwszy aresztowano go za związki z podziemiem antysowieckim w grudniu 1946 r., a w marcu 1948 r. skazano go na 10 lat więzienia. W łagrze w Republice Komi 3 października 1954 r. przyjął potajemnie święcenia kapłańskie z rąk przebywającego również na zesłaniu biskupa Pranciškusa Ramanauskasa (1893-1959).

20 marca 1956 r. odzyskał wolność i powrócił już jako ksiądz na Litwę, ale w nieco ponad rok później ponownie został zatrzymany i 26 lipca 1958 r. Sąd Najwyższy sowieckiej Litwy skazał go na sześć lat więzienia za przechowywanie książek i czasopism, wydanych jeszcze w przedwojennej Litwie. Po odbyciu wyroku w Mordowii (środkowa część Europejskiej Rosji) wyszedł na wolność 9 kwietnia 1964 r. Wrócił na Litwę i został proboszczem parafii w Vidukli.

Na początku lat siedemdziesiątych XX wraz z grupą dysydentów zaczął wydawać „Kronikę Kościoła Katolickiego na Litwie”, której pierwszy numer ukazał się 19 marca 1972 r. Odtąd był jednym ze stałych współpracowników tego niezwykłego, jak na warunki sowieckie, biuletynu informacyjnego. Był też członkiem Katolickiego Komitetu Obrony Praw Ludzi Wierzących.

Działalność ta jeszcze bardziej ściągnęła nań represje władz sowieckich i 26 stycznia 1983 r. został po raz ostatni - jak się okazało - aresztowany za działalność antysowiecką i po kilkumiesięcznym śledztwie 6 maja tegoż roku Sąd Najwyższy Litwy skazał go na siedem lat pozbawienia wolności i trzy lata zsyłki. Wyrok odbywał w łagrach koło Permu. Na wolność wyszedł już po pięciu latach – 11 lipca 1988 r. Formalnie nastąpiło to na mocy dekretu Prezydium Rady Najwyższej ZSRR, w rzeczywistości jednak przyczyniła się do tego interwencja ówczesnego prezydenta USA Ronalda Reagana u Michaiła Gorbaczowa. Warunkiem zwolnienia był wyjazd z ZSRR, toteż ks. Svarinskas udał się do RFN, ale już w 1990 r. wrócił do wolnej Litwy.

Rok później został posłem do Sejmu (wówczas jeszcze Rady Najwyższej) swego kraju i wkrótce potem władze kościelne mianowały go naczelnym kapelanem wojskowym (zanim jeszcze w 2000 r. oficjalnie powstał ordynariat polowy w tym kraju). Został też duszpasterzem kombatantów litewskich.

Jednocześnie ks. Svarinskas w wolnej Litwie włączył się bardzo aktywnie w różne działania antypolskie, np. podpisywał listy i uczestniczył w wiecach i innych akcjach potępiających wszelkie wystąpienia Polaków na Wileńszczyźnie w obronie swych praw.

Ks. Svarinskas zmarł 17 lipca w parafii św. Jana Chrzciciela w Wiłkomierzu, w której od 2000 r. był rezydentem. Jego doczesne szczątki wystawiono w krypcie wileńskiego kościoła św. Ignacego 20 lipca. Msza św. za spokój jego duszy została odprawiona 21 lipca w katedrze w Wilnie, po czym kapłan został pochowany – zgodnie ze swą ostatnią wolą – na cmentarzu partyzanckim koło Wiłkomierza.