Recentemente, vi uma dica em que alguém recomendou a remoção de arquivos direcionando git ls-filescom sinalizadores para xargse, em seguida, usando rmpara excluir os arquivos:
git clean -f fará o trabalho de forma mais simples. Use git clean -npara fazer um teste autônomo e ver o que seria removido.