用于技术 SEO 的网站爬虫 API

在明确的网站范围内检查状态、元数据、内链和抓取检查项。将每个问题关联到受影响的 URL，并在修复后验证结果。

开始构建联系销售团队

技术 SEO 智能体

my-app

检查页面元数据

页面检查 · example.com

authjs.dev/category

已更新的示例数据

3 项发现

auth.ts

检查就绪

即时页面分析从 URL 开始。网站抓取使用基于任务的采集方式，并设置目标和抓取限制；提交大型网站前请确认范围。

抓取网页并检查技术指标

检查响应状态、页面标题、描述、规范信号和可用的内容检查项。调查受影响的 URL，再判断是否所有警告都与排名问题有关。

代码搜索文档

checkout.ts

1 const checkout = await polar. 结账 s .create({

2 产品：[productId],

3 })

检查 URL 并抓取网站，以调查元数据、页面状态、链接和技术检查项。仅在所选途径和网站需要时使用基于浏览器的分析。

SERP 数据采集按类型和优先级对抓取问题分组，然后在修复后检查受影响的网址。

即时页面分析从 URL 开始。网站抓取使用基于任务的采集方式，并设置目标和抓取限制；提交大型网站前请确认范围。 checkout.ts

example.com 创建结账

12 项测试通过

查看元数据、链接和页面检查

使用爬取结果检查内部链接和失效的目标页面。被屏蔽或无法访问的页面可能是爬取限制所致，而非页面已被删除。

阅读工作流示例

signup-form.tsx

1 “use client”

2 import { useFormState } from "react-dom"

+ import { useActionState } from "react"

3 export function SignupForm() {

SERP 数据采集 react useFormState 当前文档

react.dev/reference

在 React 19 中已弃用

useFormState 现已更名为 useActionState，从 react 导入。

将爬取发现的问题转化为明确的下一步行动

依赖 JavaScript 的网站可能需要基于浏览器的数据采集。与基本 HTML 检查相比，渲染和 Lighthouse 路由的设置与处理要求有所不同。

探索技术性页面检查

DataSEO 亮点关闭

authjs.dev/…/providers/google DataSEO 亮点

2,400 令牌

设置 AUTH_GOOGLE_ID 和 AUTH_GOOGLE_SECRET。

在 auth.ts 的 providers 数组中添加 Google。

回调 URL：/api/auth/callback/google

基于页面证据的技术 SEO

Lighthouse 是针对特定测试运行的实验室测量工具。它不能替代真实用户的 Core Web Vitals 数据，且结果会因页面和测试条件而异。

阅读工作流示例

On-Page API 示例 — 示例研究案例。数据用于展示，

不是经过衡量的基准或客户成果。

整合搜索、SEO 和市场数据

保留原始抓取设置，并在修复后比较受影响的 URL。记录状态、检查名称和观察日期，以便报告说明发生了哪些变化。

跟踪一组一致的关键词

跨位置

以及设备。

比较

当前

观察结果与

带日期的记录

用于调查搜索可见度及竞争页面。

将审计数据接入现有工作流

即时页面分析从 URL 开始。网站抓取使用基于任务的采集方式，并设置目标和抓取限制；提交大型网站前请确认范围。

查看所有集成（ 55 )

Claude

来杯咖啡，和 Claude 一起工作？

DataSEO 工具

检查响应状态、页面标题、描述、规范信号和可用的内容检查项。调查受影响的 URL，再判断是否所有警告都与排名问题有关。

· ↑

ChatGPT

今天的议程是什么？

DataSEO 工具

使用爬取结果检查内部链接和失效的目标页面。被屏蔽或无法访问的页面可能是爬取限制所致，而非页面已被删除。

· ↑

常见问题

检查 URL 并抓取网站，以调查元数据、页面状态、链接和技术检查项。仅在所选途径和网站需要时。

即时页面分析从以下内容开始一个 URL。网站抓取采用基于任务的采集方式，并设有目标和抓取限制；提交大型网站前请确认范围。

检查响应状态、页面标题，描述、规范信号和可用内容检查。请先调查受影响的 URL，再将每条警告都视为排名问题。

使用爬取结果检查内部链接和失效的目标页面。被屏蔽或无法访问的页面可能是抓取限制，而非已删除的页面。

依赖 JavaScript 的网站可能需要基于浏览器的采集。渲染和 Lighthouse 路径有不同的设置和处理要求，来自基础 HTML 检查。

Lighthouse 是针对特定测试运行的实验室测量工具。它不能替代真实用户的 Core Web Vitals 数据，并且结果会因页面而异以及测试条件。

保留原始抓取设置和修复后比较受影响的 URL。记录状态，并检查名称和观察日期，以便报告说明发生了哪些变化。

本网站使用示意性样本记录。生产 API 调用使用您的账户和所选端点；示例数据不是客户成果。

选择相关市场，语言、目标目标集、必需字段和采集频率。保留这些设置与每次可重复分析的响应。

产品指南

将每个资源库转化为智能体可用的上下文

申请演示探索产品

从构想到首次请求

使用结构化数据构建您的工作流程。

即时页面分析从 URL 开始。网站抓取使用基于任务的采集方式，并设置目标和抓取限制；提交大型网站前请确认范围。

阅读文档 ↗探索 On-Page API →

NODE.JS

// Server-side example; configure your deployment and credentials.
const url = new URL("/v3/on_page/instant_pages", process.env.DATASEO_API_ORIGIN);
const auth = Buffer.from(`${process.env.DATASEO_LOGIN}:${process.env.DATASEO_PASSWORD}`).toString("base64");
const response = await fetch(url, {
  method: "POST",
  headers: {Authorization: `Basic ${auth}`, "Content-Type": "application/json"},
  body: JSON.stringify([{"url": "https://example.com"}])
});
if (!response.ok) throw new Error(`HTTP ${response.status}`);
const data = await response.json();
for (const task of data.tasks ?? []) {
  if (task.status_code !== 20000) throw new Error(task.status_message);
}
// Use task.result only after checking task status.

用于技术 SEO 的网站爬虫 API

抓取网页并检查技术指标

查看元数据、链接和页面检查

将爬取发现的问题转化为明确的下一步行动

基于页面证据的技术 SEO

整合搜索、SEO 和市场数据

将审计数据接入现有工作流

常见问题

此产品提供什么？

选择一个 URL 或一次抓取？

查看状态和元数据？

检查链接结构？

审慎选择渲染方式？

要区分实验室和实地表现吗？

修复后验证？

这些是实时演示结果吗？

如何选择采集范围？

产品指南

相关用例

将每个资源库转化为智能体可用的上下文