O nome João da Baiana veio do fato de sua mãe ser conhecida como Baiana. Nascido na Zona Portuária, ele cresceu na Rua Senador Pompeu, no bairro da Cidade Nova, no Rio de Janeiro, e foi amigo de infância dos compositores Donga e Heitor dos Prazeres.