Nasceu em 11 Maio de 1896 em Gonyo, na Hungria, por cuja mítica seleção alinhou como médio centro. Em 1926 a famosa equipa do Szombately andou em digressão por Portugal reforçada com Szabo. Na Madeira, um dirigente do Nacional convidou Jozef Szabo (em português – alfaiate) a ficar no Funchal para jogar no seu clube, ao que acedeu. No ano seguinte, trocou o Nacional pelo Marítimo.

Em 1930. foi para o FC Porto onde chegou, viu e venceu. Começaram então a correr rumores de que o húngaro era conhecido em Lisboa, e os dirigentes portistas  tomaram a curiosa decisão de que, sempre que a equipa se deslocasse ao Sul, Szabo ficaria retido no Porto. Na Polícia havia ordem expressa para não o deixar embarcar fosse em que circunstâncias fosse. Manteve-se na cidade invicta até 1937, esteve depois pouco tempo no Braga, e quando os portistas já pretendiam o seu regresso foi contratado pelo Sporting.

Chegou ao clube de Alvalade já ia adiantada a temporada de 1936/37, e já o Sporting conquistara o 11º Regional lisboeta pela mão de Wilhelm Possak. O Sporting ofereceu-lhe condições nunca vistas no nosso país: 2 contos por mês, 50$ por empate, 100$ por vitória, 1.000$ pela conquista do Campeonato de Lisboa, 2.000$ pelo Campeonato de Portugal e 3.000$ pelo Campeonato da Liga.

O húngaro de olhos muito azuis, vivos e rosto corado, chegou, gostou e ficou até meados da época 1944/45, tornando-se o treinador com maior longevidade no comando técnico da equipa sportinguista – feito que perdura até hoje. Depois voltou como treinador de campo do secretário técnico Tavares da Silva, em 1953/54 e 1954/55, contribuindo decisivamente para a obtenção pelo Sporting do 1º tetracampeonato do Futebol português.

Szabo era um trabalhador incansável, um disciplinador com fama de insultar jogadores e dirigentes, mas que, na realidade se levantava muito cedo, apanhava o comboio em Paço d´Arcos, vinha de elétrico para o campo do Sporting e às 7 de manhã apitava 3 vezes (por cada minuto de atraso os futebolistas pagavam 10% do seu ordenado…). Até à noite treinava todas as categorias e depois massajava os jogadores.

Foi um treinador de sucesso, muito bem pago. Ele próprio referia que os grandes artistas teriam de ser recompensados. Costumava dizer que no Futebol o sucesso se faz com 10% de génio e 90% de transpiração… Dava a tática com bonecos de madeira num tabuleiro verde e ia para o banco de chapéu de coco na cabeça, baforando um charuto havano. Aconselhava os seus pupilos a não terem sexo nas vésperas dos jogos. Os jogadores solteiros não fumavam, os casados só com ordem do treinador, mas não à frente dos diretores. Os solteiros eram obrigados a tratar os casados por senhor. Antes de se ir deitar passava pela casa dos jogadores para saber se estava tudo em ordem…

Com Szabo, futebolistas como Peyroteo, Álvaro Cardoso, Canário, Armando Ferreira, Jesus Correia e Albano (só para referir os mais mediáticos) chegaram e fixaram-se na equipa leonina, o que dá uma ideia da importância que o técnico teve na hegemonia que os leões conseguiram nas décadas de 40 e 50 no futebol nacional. Em 1955 naturalizou-se português por gratidão ao país que tão bem o acolheu.

Pelo Sporting conquistou 4 Campeonatos Nacionais, 2 Taças de Portugal e 6 Campeonatos Regionais de Lisboa. É o treinador da História do Sporting com mais títulos (12). mais épocas (11), mais jogos (290), mais vitórias (217) e mais golos marcados (1.124). É ainda o 2º com melhor média de golos marcados (3,88).

O seu filho (guarda-redes), com o mesmo nome, chegou a fazer parte do plantel leonino em 1943/44 mas nunca foi utilizado oficialmente.

Depois de sair do Alvalade passou por diversos clubes, mas era tão Sporting que quis morrer no… Alvalade. Passou os seus últimos dias no centro de estágio, lá falecendo a 17 de Março de 1973.