Se você deseja se conectar por ssh dentro de uma caixa vagrant como se estivesse em sua máquina host, tudo que você precisa fazer é adicionar isto ao seu Vagrantfile:
config.ssh.forward_agent = true
Isso habilitará o encaminhamento do agente para todas as conexões ssh ( http://docs.vagrantup.com/v2/vagrantfile/ssh_settings.html ).
Obrigado a @andreysavelyev por perceber isso.