价格监控各项任务适用的代理
代理类型取决于店铺的防护程度、价格是否因地区而异以及检查频率。
为什么 价格监控 需要代理?
网店和电商平台会限制来自同一 IP 地址的请求数量,频繁的价格检查很快就会超出限制。地址池会分散检查,使每个地址都保持在限制之内。价格、库存和配送条件常常取决于访客所在的国家和城市,店铺通过地址判断这些信息。因此,某个地区的价格通过该地区的住宅地址采集。不封锁服务器地址的店铺,则使用价格更低的数据中心代理监控。
多久检查一次价格
检查频率决定流量大小和每个地址的请求数。每小时检查一次商品目录发出的请求,远多于每天检查一次,因此首先要确定价格可以容忍多旧。
检查在整个周期内均匀分布,而不是一次性集中运行,每个请求都来自新地址。这样每个地址都能保持在店铺的限制之内。
地区价格与个性化价格
店铺和电商平台通过地址判断访客所在地区,有些还会把所选地区保存在 Cookie 中。某个城市的价格,通过位于该城市的住宅代理和不带其他地区 Cookie 的干净会话采集。
登录后才能看到的价格,例如批发价或会员价,通过在会话期间保持同一地址的粘性会话采集。
这项工作需要什么,花费多少
住宅代理按流量计费,而不是按地址数量。以下估算假设只抓取 HTML,实际消耗取决于目标网站的页面大小。
代理类型
住宅代理
估算
每 GB 约 20,000 个商品页面
按我们的价格
$2.40/GB,即 10 GB 约 $24.00
前提
仅 HTML,不含图片。渲染型浏览器消耗明显更多
用量等于商品数量乘以检查频率和地区数量。检查频率取决于价格在下次检查前可以容忍多旧。
建议先购买少量流量,测量每个页面的实际消耗后再增加订购。
价格监控代理常见问题
购买之前大家常问的问题。
封锁服务器地址或按地区显示价格的电商平台和店铺,使用轮换住宅代理。防护较弱的店铺使用独享数据中心代理,价格更低且流量不计费。
轮换住宅代理。一个网关覆盖所有国家,每个请求的国家写在其字符串的用户名中,一套配置即可采集所有市场的价格。
如果店铺接受服务器地址,使用数据中心代理,价格更低。如果店铺封锁服务器地址,或价格因城市而异,使用住宅代理。
住宅流量按 GB 计费,取决于商品页面大小和检查频率。只读取 HTML 的商品页,消耗的流量远少于在浏览器中加载的页面。建议在订购大量流量前先用小样本测量。
适用。位于平台所在国家的轮换住宅代理会返回其价格,并使每个地址低于其请求限制。
店铺会按访客所在地区、Cookie 中保存的地区,有时还按账号显示价格。使用位于正确城市的住宅代理和不带旧 Cookie 的干净会话,就能获得当地买家看到的价格。
在地址池范围内,按店铺限制允许的频率即可。使用轮换住宅代理时,每个请求都来自新地址,因此限制作用于单个地址,而不是整个任务。
在许多国家,采集公开价格是合法的,但店铺条款可能限制自动访问,具体规则取决于国家。请查看相关条款和适用于您的法律。

