Normalmente você tem seu site no branch gh-pages e seu projeto no master. Ou talvez você tenha ambos no mesmo branch, mas empurre para ambos.
Existe uma maneira mais simples de fazer isso.
Faça do gh-pages o padrão e único branch e mantenha o projeto e o site neste branch. Quando você empurra, ambos serão atualizados.
Para alterar o branch padrão, basta clicar na guia Admin em seu repo e selecionar o branch pretendido