球探足球比分

图片
您的位置: 首页 > 新闻 > 单机资讯 > 新闻详情

防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

时间:2024-08-22 11:48:18
  • 来源:快科技
  • 作者:3DM整理
  • 编辑:方形的圆

快科技今日(8月22日)消息,据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

0

玩家点评 0人参与,0条评论)

收藏
违法和不良信息举报
分享:

热门评论

全部评论

他们都在说 再看看
3DM自运营游戏推荐 更多+