Se você estiver usando zsh, certifique-se de ter ativado setopt auto_pushd(em oh-my-zsh , do qual sou fã, este é o padrão).
Agora você pode popdvoltar no histórico de navegação.
Você também pode usar dirs -vpara mostrar todos os diretórios empilhados.
Se você estiver usando o bash, provavelmente poderá cdcriar um alias para pushd.