Gerenciar arquivos em um servidor remoto via scp é uma tarefa muito tediosa, que não apenas uma vez me deixou no limite da sanidade. Então me recomendaram a ferramenta
sshfsque abre uma conexão ssh padrão com seu diretório host e a monta em seu sistema de arquivos local sem a necessidade de qualquer software especial no lado do servidor.
Adição:
Adicione-se ao grupo fuser para executar sshfs sem privilégios de root.