Exibindo robots.txt em django1.5

Você poderia ter veiculado o arquivo robots.txt no django <1.5 da seguinte maneira:

url(r'^robots.txt$', direct_to_template, {'template': 'robots.txt', 'mimetype': 'text/plain'}),

1.5 em diante, direct to template foi descontinuado, para veiculá-lo diretamente a partir de urls.py, use o seguinte snippet:

from django.views.generic import TemplateView
url('^robots.txt$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),