题目内容
（请给出正确答案）
[单选题]
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取？（）
A.Allow
B.Disallow
C.nofollow
D.noindex
答案
查看答案
重要提示：请勿将账号共享给其他人使用，违者账号将被封禁！
查看《购买须知》>>>
请输入或粘贴题目内容
搜题
拍照、语音搜题，请扫码下载APP
题目内容
（请给出正确答案）
A.Allow
B.Disallow
C.nofollow
D.noindex
答案
更多“在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取？（）”相关的问题
第5题
搜索引擎派出的一个能够在网上发现新网页并抓取文件的程序被称为蜘蛛 (spider)或机器人(robot)。()
第6题
A、通过模式匹配方法，禁止掉具有某些特征的访问请求，可以通过 LocationMatch来配置
B、在cgi-bin目录，建立欺骗性脚本，当Whisker扫描到这些脚本时，这些脚本被执行。在这些脚本里通过定义一些功能，比如报警功能，可以发邮 件告知管理员发生了cgi扫描
C、robots.txt文件是帮助google、baidu等搜索引擎抓取网页用的用的， 扫描软件没有利用这种技术
D、以上说法均不正确
第7题
伪静态的主要目的在于()。
A.迎合搜索引擎
B.用户友好性较好
C.方便搜索引擎抓取网页上的相关内容
第8题
A.网页截图
B.网页索引
C.网页快照
D.网页标记
第9题
A.采用网页采集机器人robot，循着超链接不停采集访问到的页面
B.网页采集机器人可以采集到所有的页面
C.自动提取网页中的关键词建立索引
D.网页的更新有一定的周期，有时候存储的网页信息已经过时
第11题
A.免费登陆分类目录
B.搜索引擎优化
C.付费登陆分类目录
D.付费关键词广告
