各搜索引擎适用的代理
代理类型取决于搜索引擎对服务器地址的限制程度,以及是否需要特定城市的结果。
为什么 搜索引擎抓取 需要代理?
搜索引擎会限制单个 IP 地址的查询数量,超出后会显示验证码或空白页面。地址池会分散查询,使每个地址都保持在限制之内。搜索结果取决于查询的国家和城市,各搜索引擎会把地址位置与自身参数结合起来。不同搜索引擎对托管服务商地址的态度不同,因此先用数据中心代理做小规模测试,就能知道某个搜索引擎是否需要住宅流量。
各搜索引擎中结果的位置
Google 通过 gl 和 hl 参数获取国家和语言,通过地址位置获取城市。Yandex 通过 lr 参数获取地区。必应通过 mkt 和 cc 参数获取市场。在每种情况下,代理地址都选在同一国家,使参数与地址一致。
采集结果时不登录搜索引擎账号,因此个人历史不会影响结果。
搜索 API 与自建爬虫
官方搜索 API 在各自的配额和条款范围内返回结果。微软已于 2025 年停用必应搜索 API,Google 的 Custom Search API 返回的是所配置搜索引擎的结果,而不是常规搜索结果页。
常规搜索结果页、本地结果以及没有 API 的搜索引擎,都由爬虫通过代理采集。住宅代理字符串由控制台中的生成器按国家和城市生成。
这项工作需要什么,花费多少
住宅代理按流量计费,而不是按地址数量。以下估算假设只抓取 HTML,实际消耗取决于目标网站的页面大小。
代理类型
住宅代理
估算
每 GB 约 8,000 个搜索结果页
按我们的价格
$2.40/GB,即 10 GB 约 $24.00
前提
仅 HTML,不含图片。渲染型浏览器消耗明显更多
此估算适用于需要住宅流量的搜索引擎。接受数据中心代理的搜索引擎使用不计费的流量,不计入此处。
建议先购买少量流量,测量每个页面的实际消耗后再增加订购。
搜索引擎抓取代理常见问题
购买之前大家常问的问题。
爬虫向搜索引擎发送查询时使用的代理。它们把查询分散到大量地址上,并设定结果的国家和城市。
Google、Yandex 以及其他限制服务器地址的搜索引擎使用住宅代理。接受服务器地址的搜索引擎和接口使用数据中心代理,价格更低且流量不计费。先用数据中心代理做小规模测试,就能知道属于哪种情况。
轮换住宅代理。结果的地区由 lr 参数设置,地址位置作为补充。
先使用独享数据中心代理。如果在所需频率下必应返回验证码,再改用轮换住宅地址。结果的市场由 mkt 和 cc 参数设置。
将搜索引擎的位置参数与位于同一国家或城市的住宅代理结合使用。住宅代理可按国家选择,大多数国家还可按城市选择。
当同一地址发出过多查询,或地址属于托管服务商时,就会出现验证码。轮换住宅地址和减少每个地址的查询量可以降低其出现频率。
官方 API 在配额范围内工作,并不总是返回常规搜索结果页。需要常规结果页、本地结果或没有 API 的搜索引擎时,使用代理。
搜索引擎的条款限制自动查询,数据采集的规则取决于国家。请查看相关条款和适用于您的法律。

