密集的抓取，而是降低了频率，变得更加隐蔽，混在真实用户的访问流量里，很难分辨。 赵磊和小李花了整整一个上午分析流量日志，发现了一个规律——爬虫访问的页面路径是固定的，而真实用户的路径是随机的。 基于这个发现，赵磊在反爬虫系统里加了一层行为分析的逻辑：连续访问同一个类型的数据超过一定次数，自动标记为可疑，加入黑名单。 第三天，对方的程序员大概也发现了这个规律，开始随机化访问路径，模仿真实用户的行为模式，不再只抓航班和酒店数据，而是随机地访问首页、用户中心、订单页面等无关内容。 赵磊看到流量日志的时候，盯着屏幕看了好一会儿，然后说了一句让俞飛鸿印象 ******后面还有2087个字内容被隐藏了****** ***...