A partir de hoje, ainda não existe uma opção baseada em IU para remover um projeto no Team Foundation Service.
Então, como fazemos isso?
Acabou sendo muito mais simples do que eu havia me preparado mentalmente.
Abra o prompt de comando do administrador (win + xa), altere o diretório para:
C:\Program Files (x86)\Microsoft Visual Studio 11.0\Common7\IDE
Execute o seguinte comando substituindo os valores entre colchetes [].
TFSDeleteProject.exe /collection:"https://[name].visualstudio.com/DefaultCollection" "[project name]"
Você deverá ver um aviso, pressione y para excluir o projeto. Feito.
Observação:
eu tenho o VS2012 instalado e o VS já está associado ao meu Team Foundation Service.