(Isso pode ser óbvio para a maioria dos usuários do Vim, mas demorei muito para perceber que precisava disso)
Normalmente mantenho o Vim aberto na raiz do meu projeto atual, mas ao alternar entre os projetos, fecho o Vim e abro um novo do novo projeto. Ignorando o fato de que é trivial alterar o diretório de trabalho atual dentro do próprio Vim.
:cd /new/path
Agora não preciso fechar o Vim nunca mais. : D