Estou usando uma microinstância da AWS com apenas 600 MB de ram e tive o problema de executar o composer update
comando após alguns minutos e recebo uma mensagem de erro semelhante aproc_open(): fork failed - Cannot allocate memory
Minha primeira etapa foi definir o limite de memória do PHP
Se você executar php -r "echo ini_get('memory_limit').PHP_EOL;"
e tiver algo baixo como 128 MB, tente aumentar o limite em seu arquivo php.ini (ex. /Etc/php5/cli/php.ini)
Agora, se você ainda ficar sem memória, você pode habilitar a troca, (a partir deste tutorial )
# sudo /bin/dd if=/dev/zero of=/var/swap.1 bs=1M count=1024
# sudo /sbin/mkswap /var/swap.1
# sudo /sbin/swapon /var/swap.1
O primeiro comando pode demorar alguns segundos para ser executado, seja paciente. Depois que a troca foi habilitada, consegui executar a atualização do composer novamente.
Espero que isso ajude alguém