在Django项目中添加robots.txt，是为了让搜索引擎只爬取我们想让它爬取的内容。
一般搜索引擎在爬取网站内容时都会先爬取这个文件，然后根据这个文件的设置进行内容的爬取。
首先，先来看一下robots.txt文件的写法。
在robots.txt文件中，每一组配置主要由3个命令组成：
另外，在robots.txt文件中支持使用通配符”*”and”$”。
综上所述，我们来看一些例子。
1、允许所有的搜索引擎爬取网站全部内容
User-agent: *
Allow: /
或者
User-agent: *
Disallow:
2、 禁止所有搜索引擎爬取网站的任何内容
User-agent: *
Disallow: /
3、 禁止某个搜索引擎爬取网站内容
禁止百度搜索引擎：
User-agent: Baiduspider
Disallow: /
禁止360搜索引擎：
User-agent: 360Spider
Disallow: /
4、 只允许百度搜索引擎爬取网站内容
User-agent: Baiduspider
Disallow:
5、 禁止搜索引擎爬取指定目录
User-agent: *
Disallow: /admin/
Disallow: /tmp/
6、允许搜索引擎爬取指定目录中的部分内容
User-agent: *
Allow: /tmp/image
Disallow: /tmp/
7、使用”*”限制爬取
禁止访问/media/目录下所有的“gif”文件。
User-agent: *
Disallow: /media/*.gif
8、使用”$”限制爬取
仅允许爬取以”.html”为后缀的URL。
User-agent: *
Allow: .html$
Disallow: /
9、 禁止爬取网站中所有的动态页面
User-agent: *
Disallow: /*?*
10、仅允许百度搜索引擎爬取网站上的网页和“.png”图片
User-agent:Baiduspide
Allow: .png$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .bmp$
以上就是关于robots.txt文件的写法。
那么，这个文件放在哪里？如何使用呢？
这个文件应该让搜索引擎在网站的根目录就能够找到。
对于搜索引擎来说，它的URL应该是http(s)://www.domain.com/robots.txt
但是，实际上这个文件我们不会放在项目的根目录中去，因为放进去也访问不了。
根据Django的官方文档，可以采用下面这种方式。
1、将robots.txt文件放入项目的static文件夹中。
2、在nginx的配置文件中添加如下配置。
location /robots.txt {
<span class="hljs-built_in">alias</span> /path/to/static/robots.txt;
}
当然，并不是所有项目都是用nginx服务器。
我们还可以将robots.txt文件放到 templates 目录中，然后修改urls.py文件。
from django.views.generic import TemplateView
path('robots.txt', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),
除了使用robots.txt文件之外，有些搜索引擎还支持nofollow和noarchive标记。
nofollow：禁止搜索引擎跟踪当前页面上的链接
如果不想让搜索引擎追踪某个网页上的链接，且不传递链接的权重，可以在网页的<HEAD> 部分加上：<meta name=”robots” content=”nofollow”>
如果不想让搜索引擎追踪某一条特定链接，可以将标记直接写在某个链接上：<a href=”index.html” rel=”nofollow”>index</a>
如果仅拒绝某一个搜索引擎（例如百度）跟踪网页上的链接，可以在网页的<HEAD> 部分加上：<meta name=”Baiduspider” content=”nofollow”>
noarchive：禁止搜索引擎在搜索结果中显示网页快照
如果拒绝所有搜索引擎显示网页的快照，可以在网页的<HEAD> 部分加上：<meta name=”robots” content=”noarchive”>
如果仅拒绝某一个搜索引擎（例如百度）显示快照，可以在网页的<HEAD> 部分加上：<meta name=”Baiduspider” content=”noarchive”>
本文链接：http://so.lmcjl.com/news/2174/