Git: remove arquivos e diretórios não rastreados

Use git clean

O comando abaixo é para simulação

$ git clean -n -d
options:
-d => remove untracked directories

O comando abaixo irá remover todos os arquivos não rastreados, bem como diretórios

$ git clean -d -f

O comando abaixo irá remover apenas os arquivos ignorados pelo git

$ git clean -X