热搜话题榜单

为了反爬虫 GitHub部署新规则：使用中文可能被限制访问

据报道，GitHub部署了新的风控规则，会检查用户浏览器请求头的语言部分，如果检测到用户使用的是中文（仅限zh_CN），则可能会触发访问限制。不过GitHub并非全面封禁中文用户，而是将多个条件整合触发限制，首先会检查常规规则（如黑名单IP和UA），再检测IP地址质量。只有当这两个条件全部通过后，才会检查语言部分是否包含zh_CN，如果用户IP质量没问题，通常不会触发语�

AI爬虫如狼似虎，维基百科已经选择认怂

美国新闻媒体联盟发起"负责任AI"运动，要求科技巨头为AI训练内容付费。与此同时，维基百科基金会宣布与谷歌旗下Kaggle合作，发布专门优化的AI训练数据集，包含研究摘要、图像链接等结构化数据。此举旨在应对AI厂商爬虫带来的带宽压力——维基百科发现AI爬虫虽仅占访问量的35%，却消耗了65%的核心数据中心流量。通过提供机器友好的JSON格式数据，维基百科希望引导AI厂商使用规范渠道获取内容，而非无节制抓取原始网页。这反映了内容平台在AI时代面临的两难：既要维护用户体验，又难以完全阻挡技术迭代带来的数据需求。

AI爬虫堪比DDoS攻击，占流高达97%，OpenAI成“最大黑手”

软件开发者XeIaso迎来了一重大难题——来自亚马逊的大量AI爬虫流量使其Git存储库服务不堪重负，反复导致服务不稳定、停机等问题。尽管设置了标准的防御措施——调整了robots.txt文件、屏蔽了已知的爬虫用户代理，并过滤了可疑流量——但Iaso发现，AI爬虫完美绕过了这些阻力——它们伪装用户代理，并使用住宅IP地址作为代理不断轮换。若是没有有效的监管，AI公司与受害平�

AI领域的全面战争，从AI爬虫毁灭互联网开始。

昨天看到一个非常有意思的事情。这是第一次，全世界最大的网络基础设施公司之一，Cloudflare，开始用魔法打败魔法，用AI来对抗AI爬虫。

墨迹天气启动华为鸿蒙原生应用开发

华为HarmonyOS官方正式宣布，全球下载量领先的天气App——墨迹天气，已经正式启动鸿蒙原生应用开发。这一里程碑式的合作将为亿万用户提供更丰富、更流畅的服务体验。用户无需打开App，即可在锁屏、负一屏等地方快速查看天气信息，实现信息获取的即时性。

出版商屏蔽AI网络爬虫 Direcqt开发AI聊天机器人

随着越来越多的媒体出版商开始阻止人工智能网络爬虫访问其内容，一家名为Direqt的初创公司正与他们合作，提供定制的聊天机器人解决方案。Direqt了解到即时通讯应用正在占据越来越多的消费者时间，因此看到了为出版商构建专门聊天机器人平台的机会。这为严重依赖广告的公司提供了一个诱人的选择，可以通过聊天机器人提高参与度和收入。

Reddit 若无法与生成式 AI 公司达成支付数据协议 可能屏蔽 Google 和必应的搜索爬虫

Reddit可能会切断与Google的联系，并强迫用户登录Reddit才能阅读内容，如果它无法与生成式AI公司达成支付数据的协议。Reddit似乎否认了这一报道。华盛顿邮报的报道不仅集中在Reddit上——它还关于超过535家新闻机构选择阻止公司如OpenAI等爬取其内容，以帮助训练ChatGPT等产品。

《卫报》确认已禁止 ChatGPT 所有者 OpenAI 的 GPTBot 爬虫抓取其内容

《卫报》已经阻止OpenAI从其内容中获取数据。该出版商是最新一家阻止人工智能公司使用其内容来创建ChatGPT等产品的新闻机构。Facebook和Instagram的所有者以及主要人工智能开发商Meta推出了一项新政策，允许用户表示是否不希望自己的个人信息用于训练人工智能模型。

全球大型网站正在阻止 OpenAI 等人工智能爬虫访问其内容

根据人工智能内容检测器Originality.AI的最新数据，全球前1000个网站中有近20%阻止爬虫机器人收集网络数据用于AI服务。在缺乏明确法律或监管规定管理AI使用版权材料的情况下，大小不一的网站都自行采取措施。Originality.AI的发现显示，前1000个网站中GPTBot的屏蔽率每周增加约5%。

继纽约时报，CNN、路透社等主流媒体开始屏蔽OpenAI网络爬虫GPTBot

继纽约时报，CNN、路透社等在内的多家主流新闻媒体也开始在其网站上屏蔽OpenAI的GPTBot网络爬虫，限制它继续获取这些媒体的内容。TheVerge最先报道《纽约时报》在其网站上屏蔽了GPTBot。Google最近还向澳大利亚政府提出，除非新闻媒体明确选择退出，否则人工智能系统应该可以默认获取这些媒体的内容来训练模型。

《纽约时报》屏蔽了 OpenAI 的网络爬虫GPTBot

《纽约时报》屏蔽了OpenAI的网络爬虫，这意味着OpenAI无法使用该出版物的内容来训练其人工智能模型。查看《纽约时报》的robots.txt页面可以发现《纽约时报》已经屏蔽了OpenAI爬虫程序GPTBot。这一决定可能会对OpenAI的研究和发展产生影响，并引发有关知识产权和数据使用权的讨论。

OpenAI推出网络爬虫机器人GPTBot：收集数据改进AI模型

OpenAI推出了一种名为GPTBot的网络爬虫机器人，用于收集信息数据以改进未来的AI模型。GPTBot将严格遵守任何付费墙的规则，不会抓取需要付费的信息，并且也不会收集能追踪到个人身份的数据。Reddit和Twitter等网站，已经采取措施打击AI公司免费使用其用户帖子的行为一些作者和其他创作者也因为涉嫌未经授权使用其作品提起诉讼。

网站可以阻止OpenAI网络爬虫 避免数据用于训练 GPT 模型

本文概要:1.OpenAI现允许网站屏蔽其网络爬虫，以防止其抓取网站内容训练GPT模型的。2.阻止GPTBot可能是OpenAI允许互联网用户选择不让其数据用于训练其大型语言模型的第一步。包括OpenAI在与白宫签署的协议中同意开发一种水印系统，以让人们知道某个内容是否由AI生成，但并未承诺停止使用互联网数据进行训练。

OpenAI推出网络爬虫GPTBot 可收集信息改进AI模型

OpenAI最近推出了GPTBot，这是一种网络爬虫，能够自动从整个互联网收集数据。这些数据将被用于训练未来的AI模型，如GPT-4和GPT-5。OpenAI确保在使用GPTBot时，不会访问或使用任何敏感或付费内容。

报告显示 2022 年全球 47.4% 的互联网流量来自爬虫机器人

一份新报告显示，2022+年，47.4%+的互联网流量来自机器人，比前一年增长了+5.1%。同一报告显示，人类流量占比为+52.6%，降至八年来的最低水平。2022+年，五分之一的恶意机器人选择使用+Mobile+Safari+浏览器，比+2021+年的+16.1%+有所增加。

工信部通报46款违规APP和SDK 墨迹天气极速版、掌上公交等上榜

工信部发文称，依据相关法律法规，近日组织第三方检测机构对群众关注的生活服务类移动互联网应用程序及第三方软件开发工具包进行检查。发现46款APP和SDK存在侵害用户权益行为。通报整改的APP包括了:墨迹天气极速版、掌上公交、华为阅读、中国移动云盘等。

墨迹天气付费会员被群嘲，看个天气居然也要VIP

随着利益受损的用户点燃了星星之火，接下来吃瓜网友看到了#墨迹天气会员回馈#这个话题后发现，墨迹天气居然出了付费会员，并且这会员看起来很有一种智商税产品的架势...墨迹天气付费用户的这一堆会员权益，对于大多数人来说最有作用的莫过于免广告了，而这也是绝大多数会员服务、特别是视频网站会员服务吸引用户付费的卖点...换而言之，相比于更加专业的天气预告工具，墨迹天气的能力就有限得多，有这方面需求的用户自然就不会选择它，而只需要看看今天是不是会刮风下雨的用户，则不太介意每天早上出门前等待墨迹天气放广告......

墨迹天气上热搜：一年98元会员费引发热议

网友发现，知名天气APP墨迹天气提供了付费会员服务...其中连续包季是30元，连续包年是88元，单独购买1年是98元，享受23项权益，包括专属播报、亲情短信、雷阵雨、积水预报、台风预报、精准预报、灾害地图、过敏预报、流感预报、中暑预报等共计23项权益...大部分天气软件都是提供免费服务吸引用户使用，靠广告或其他隐性服务来赚利润...

独立开发变现周刊（第63期）： 一个爬虫类产品，4个月做到月收入3000美元

10+现成模板，300+组件，通过在线拖拽即可，30分钟构建自己的网站产品页面页...4、ScrapingBee: 一个爬虫类产品，4个月做到月收入3000美元...Pierre是一个生活在法国的独立开发者，在过去的几个月里，他一直在和他的终身朋友Kevin一起构建产品...这些用户实际上是电子商务所有者，他们在监视竞争对手的定价...现在有很多价格监控工具，这意味着它有市场...我们现在可以随意扩展，因为AWS lambda可以授权多达1000个并发连接......

小红书针对恶意爬虫启动专项治理

为了保障用户内容和信息财产安全，小红书针对恶意爬虫启动了专项治理...7 月 8 日，小红书宣布正式对蝉妈妈、艺恩星数、常州积奇等几家公司提起民事诉讼，称这些公司利用不正当技术手段爬取小红书平台信息内容及数据，同时对爬取后的数据内容进行存储、加工并予以商业化利用，损害了用户及小红书公司的合法权益...