關于合法使用網絡爬蟲的公告
網絡爬蟲,又稱網絡蜘蛛或者網絡機器人,它是一種“自動化瀏覽網絡”的程序,按照一定規則,自動抓取互聯網信息,比如網頁、各類文檔、圖片、音頻、視頻等,一般來說,爬蟲是用來采集網頁上的公開信息的,也就是網站前端顯示的公開數據信息。
根據《數據安全管理辦法(征求意見稿)》第十六條:網絡運營者采取自動化手段訪問收集網站數據,不得妨礙網站正常運行;此類行為嚴重影響網站運行,如自動化訪問收集流量超過網站日均流量三分之一,網站要求停止自動化訪問收集時,應當停止。
在使用爬蟲過程中,應遵守以下幾項內容:
1.遵守 Robots 協議,但有沒有 Robots 都不代表可以隨便爬;
2.限制你的爬蟲行為,禁止近乎 DDOS 的請求頻率,一旦造成服務器癱瘓,約等于網絡攻擊;
3.對于明顯反爬,或者正常情況不能到達的頁面不能強行突破,否則是 Hacker 行為;
4.最后,審視清楚自己爬的內容,遵守國家相關法律法規,以下是絕不能碰的紅線(包括但不限于):
?爬取用戶個人數據非法牟利,包括模擬登錄他人賬號。
?爬取商業數據造成不正當競爭。
?爬取大量帶有知識產權的數據用于商業目的, 獲取盈利行為。
5、不得違反相應法律法規。
我司一旦發現上述行為者,直接將用戶信息及行為提交給本地主管部門。