O kernel Linux tem limites no número de conexões simultâneas para sockets.
No caso de muitos pedidos simultâneos, o Nginx começará a eliminar alguns deles em torno de algumas centenas. Você pode aumentar o com o seguinte:
echo 1000 > /proc/sys/net/core/netdev_max_backlog
echo 1000 > /proc/sys/net/core/somaxconn