Phillips kämpfte in den letzten Jahren seines Lebens mit einer schweren Krankheit. Vor acht Jahren hatte er innerhalb von sechs Monaten zwei Schlaganfälle.
Er begann seine Schauspielkarriere 1938, damals erst vierzehn Jahre alt. Sein erster großer Auftrag war 1952 in der Serie My Wife Jacqueline. Er war bekannt für seine Schlagworte aus den Serien.
Zwischen 1959 und 1992 spielte er in vier Carry On-Filmen mit. Anschließend spielte er 1987 in Steven Spielbergs Empire of the Sun mit.
Seine Stimme ist vielen sicher aus den Filmen über den magischen Jungen Harry Potter bekannt. Er sprach für den sprechenden Hut in den Filmen Nummer eins, zwei und acht.
Phillips hinterlässt vier Kinder, die er alle mit seiner ersten Frau, der Schauspielerin Penelope Bartley, hatte. Später heiratete er eine andere Schauspielerin, Angela Scoular. Sie starb 2011. 2013 heiratete er im Alter von 89 Jahren die 39 Jahre jüngere Zara Carr.