网站通过（）告知网络爬虫哪些页面可以抓取，哪些不行
A、网站公告 ;
B、robots.txt文件;
C、网站服务;
D、没办法
发布时间：2025-07-26 03:11:27
请在 下方输入 要搜索的题目：
推荐参考答案 (
由 快搜搜题库 官方老师解答 )
答案：robots.txt文件
