防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

快科技今日(8月22日)消息,据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

也许你还喜欢

2026热门文字类游戏推荐 优质剧情

文字冒险类游戏近年来持续升温,凭借极简的交互逻辑与深度沉浸的

《黑神话:悟空》更新补丁准备中 将

根据《神话:悟空》的更新补丁正在准备中,将修复游戏内的一些Bug和问

《黑神话:悟空》耐雪枝的效果

耐雪枝是游戏中的一个珍玩,这个珍玩的品质是上品。效果是少许增加寒冻耐性。

Sol网络采用何种共识机制?为什么历

Sol网络采用一种由历史证明与权益证明组合而成的共识架构,用来协

热门模拟枪战游戏大全 2026人气最

模拟枪战类游戏普遍注重真实感营造,在视觉呈现、物理反馈与战术逻辑

WOO Network 如何优化交易流动性?WO

WOO Network 通过整合中心化交易平台与去中心化金融场景

网易赛车游戏推荐 2026热门网易赛

作为国内领先的游戏研发与发行企业,网易互娱在移动游戏领域持续

《黑神话:悟空》NPC葫芦仙人具体位

《黑神话:悟空》中的NPC葫芦仙人是游戏里非常关键的一个功能性NPC

黑神话悟空二周目继承及新增内容介

关于黑挑战。这次二周目据说更新了新的内容,听起来还是蛮吸引人的,一起去挑

爆衣格斗游戏人气排行榜2026 前五

提到格斗类手游,不少男性玩家对具备视觉张力与强反馈机制的作品尤为