Porque o ssh-agent carrega as chaves do Keychain Access quando é iniciado, e apenas essas chaves protegidas por senha serão salvas no Keychain Access.
Você pode verificar quais chaves estão disponíveis para ForwardAgent ssh-add -l.
Você pode adicionar uma chave para o ssh-agente e armazenar a senha no Acesso às Chaves com um comando: ssh-add -K [file].