tl; dr
Bundler.with_clean_env do
system "cd childDir && bundle install"
end
Fiquei louco tentando descobrir por que isso:
system "export BUNDLE_GEMFILE=childDir/Gemfile && bundle install"
não funcionaria como esperado.
Artigo completo
https://makandracards.com/makandra/15649-how-to-discard-a-surrounding-bundler-environment