帮助内容

关于合法合规使用网络爬虫的通知

[日期:2020-10-14 09:26:18]   [作者:穿云动态ip]

 

网络爬虫,又称为网页蜘蛛、网络机器人,它是一种“自动化浏览网络信息”的程序,按照一定规则,自动抓取互联网信息,比如网页、各类文档、图片、音频、视频等。一般来说,爬虫是用来批量获得网页上的公开信息的,也就是前端显示的数据信息。


根据《数据安全管理办法(征求意见稿)》第十六条:网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。


在使用爬虫过程中,应当遵循以下几项内容:


1.遵守 Robots 协议,但不管有没有 Robots 协议,都不代表可以随便爬取;

2.限制你的爬虫行为,禁止近乎 DDOS 的请求频率,一旦造成服务器瘫痪,约等于网络攻击;

3.对于明显反爬,或者正常情况不能到达的页面不能强行突破,否则即为 Hacker 行为;

4.最后,审视清楚自己爬的内容,遵守国家相关法律法规,以下是绝不能碰的红线(包括但不限于):

爬取用户个人数据非法牟利,包括模拟登录他人账号。

爬取商业数据造成不正当竞争。

爬取大量带有知识产权的数据用于商业目的, 获取盈利行为。

5、不得违反相应法律法规。


穿云ip如发现上述行为者,直接将用户信息及行为提交给本地主管部门。


下一篇:没有了