Levei um pouco de escavação para encontrar isso, então pensei em compartilhar.
Em seu arquivo de configurações, você deve adicionar uma função de retorno de chamada ao dicionário de configuração debug_toolbar, assim:
DEBUG_TOOLBAR_CONFIG = {
'SHOW_TOOLBAR_CALLBACK': lambda r: False, # disables it
# '...
}