Levei um tempo para descobrir como usar um banco de dados remoto no Heroku, então decidi postá-lo aqui e tê-lo para referência futura. Outra razão é que alguém recentemente perguntou como fazer isso, pode ser mais comum do que eu pensava.
Aqui está o comando:
heroku config:add DATABASE_URL=mysql2://username:password@ip.goes.here/data_base_name --app heroku-app-name