Use git clean
O comando abaixo é para simulação
$ git clean -n -d
options:
-d => remove untracked directories
O comando abaixo irá remover todos os arquivos não rastreados, bem como diretórios
$ git clean -d -f
O comando abaixo irá remover apenas os arquivos ignorados pelo git
$ git clean -X