搜索引擎抓取代理

Proxya 为采集搜索引擎结果提供轮换住宅代理和独享数据中心代理。可按国家和城市选择的住宅代理,适合 Google、Yandex 以及其他限制服务器地址的搜索引擎。数据中心代理价格最低,流量不计费,适合限制较宽松的搜索引擎和接口。所有代理均可通过 HTTP 和 SOCKS5 用于爬虫、搜索结果采集系统和 SEO 软件。

  • 轮换住宅地址用于限制严格的搜索引擎
  • 独享数据中心代理用于限制宽松的场景
  • 住宅代理可按国家和城市选择
  • Google、必应、Yandex、百度和 DuckDuckGo
  • HTTP 与 SOCKS5,适用于爬虫和 SEO 软件
  • 数据中心代理流量不计费
代理类型

推荐代理类型

最适合 搜索引擎抓取 的代理类型,来自我们的完整产品线。

住宅代理

来自家庭宽带的 IP,按 GB 计费,支持轮换或粘性会话。

低至 $1.40/GB

数据中心代理

独享数据中心 IP,流量不计费。为大批量任务而生。

低至 $1.25/个/月

各搜索引擎适用的代理

代理类型取决于搜索引擎对服务器地址的限制程度,以及是否需要特定城市的结果。

Google 搜索、地图和购物

住宅代理

轮换使每个地址都低于 Google 搜索的限制,按城市选择可返回本地结果。

按地区采集 Yandex

住宅代理

Yandex 结果的地区由 lr 参数设置,并由地址位置作为补充。

必应与 DuckDuckGo

数据中心代理

用独享数据中心代理测试,即可知道其限制是否允许服务器地址。如果允许,流量不会产生额外费用。

百度与 Naver

住宅代理

轮换地址把查询分散到地址池中,返回当地用户看到的结果。

搜索建议与相关搜索

数据中心代理

搜索建议接口返回的数据量小,流量不计费的数据中心代理适合处理大量关键词列表。

图片、视频和新闻结果

住宅代理

垂直搜索结果比文本结果更大,因此住宅流量需按页面类型估算。

为什么 搜索引擎抓取 需要代理?

搜索引擎会限制单个 IP 地址的查询数量,超出后会显示验证码或空白页面。地址池会分散查询,使每个地址都保持在限制之内。搜索结果取决于查询的国家和城市,各搜索引擎会把地址位置与自身参数结合起来。不同搜索引擎对托管服务商地址的态度不同,因此先用数据中心代理做小规模测试,就能知道某个搜索引擎是否需要住宅流量。

各搜索引擎中结果的位置

Google 通过 gl 和 hl 参数获取国家和语言,通过地址位置获取城市。Yandex 通过 lr 参数获取地区。必应通过 mkt 和 cc 参数获取市场。在每种情况下,代理地址都选在同一国家,使参数与地址一致。

采集结果时不登录搜索引擎账号,因此个人历史不会影响结果。

搜索 API 与自建爬虫

官方搜索 API 在各自的配额和条款范围内返回结果。微软已于 2025 年停用必应搜索 API,Google 的 Custom Search API 返回的是所配置搜索引擎的结果,而不是常规搜索结果页。

常规搜索结果页、本地结果以及没有 API 的搜索引擎,都由爬虫通过代理采集。住宅代理字符串由控制台中的生成器按国家和城市生成。

这项工作需要什么,花费多少

住宅代理按流量计费,而不是按地址数量。以下估算假设只抓取 HTML,实际消耗取决于目标网站的页面大小。

代理类型

住宅代理

估算

每 GB 约 8,000 个搜索结果页

按我们的价格

$2.40/GB,即 10 GB 约 $24.00

前提

仅 HTML,不含图片。渲染型浏览器消耗明显更多

此估算适用于需要住宅流量的搜索引擎。接受数据中心代理的搜索引擎使用不计费的流量,不计入此处。

建议先购买少量流量,测量每个页面的实际消耗后再增加订购。

FAQ

搜索引擎抓取代理常见问题

购买之前大家常问的问题。

爬虫向搜索引擎发送查询时使用的代理。它们把查询分散到大量地址上,并设定结果的国家和城市。

Google、Yandex 以及其他限制服务器地址的搜索引擎使用住宅代理。接受服务器地址的搜索引擎和接口使用数据中心代理,价格更低且流量不计费。先用数据中心代理做小规模测试,就能知道属于哪种情况。

轮换住宅代理。结果的地区由 lr 参数设置,地址位置作为补充。

先使用独享数据中心代理。如果在所需频率下必应返回验证码,再改用轮换住宅地址。结果的市场由 mkt 和 cc 参数设置。

将搜索引擎的位置参数与位于同一国家或城市的住宅代理结合使用。住宅代理可按国家选择,大多数国家还可按城市选择。

当同一地址发出过多查询,或地址属于托管服务商时,就会出现验证码。轮换住宅地址和减少每个地址的查询量可以降低其出现频率。

官方 API 在配额范围内工作,并不总是返回常规搜索结果页。需要常规结果页、本地结果或没有 API 的搜索引擎时,使用代理。

搜索引擎的条款限制自动查询,数据采集的规则取决于国家。请查看相关条款和适用于您的法律。

准备开始了吗?

加入50,000+信赖Proxya的用户。即时激活,无需承诺。