Se você enviar algo para um repo remoto ou apenas quiser excluir do seu repo local, poderá usar este comando para remover completamente os arquivos de todo o histórico:
git filter-branch --tree-filter 'rm -rf folder_to_delete' HEAD
Use por sua conta e risco