如何使用 Puppeteer 稳健地实现分页爬取（Next Page）_技术教程

本文详解 puppeteer 分页爬取中常见的重复抓取、导航失效与 url 未更新问题，提供可落地的修复方案，包括 waitfortarget 替代 waitfornavigation、url 解析防重逻辑及末页兜底处理。

在使用 Puppeteer 实现分页爬取（如 https://clerk.house.gov/Votes）时，直接依赖 page.waitForNavigation() 常会失效——尤其当目标网站采用前端路由跳转（如 hash 变更 # 或 SPA 内部重定向）时，页面 URL 可能延迟更新或多次触发，导致日志中出现大量重复 URL（如 ?page=2#、?page=2# 多次打印），甚至抛出 waitForNavigation timeout 错误。

根本原因在于：page.waitForNavigation() 仅监听 load/domcontentloaded 等导航事件，但若页面通过 history.pushState() 或锚点跳转（#）变更视图而未真正发起新请求，该方法将无法准确捕获“新页就绪”状态。

✅ 推荐解决方案：用 browser.waitForTarget() 精确等待目标 URL 变更

以下为修复后的完整分页逻辑（已适配 Clerk House 网站结构）：

import puppeteer from 'puppeteer';

(async () => {
  const browser = await puppeteer.launch({ headless: false });
  const page = await browser.newPage();

  await page.goto('https://clerk.house.gov/Votes', { waitUntil: 'networkidle2' });

  let currentPage = 1;
  const maxPages = 100; // 建议设置安全上限，防止无限循环

  while (currentPage <= maxPages) {
    console.log(`? Processing page ${currentPage}:`, page.url());

    // ✅ 步骤1：提取当前页码（兼容 ?page=1 和无参首页）
    const url = page.url();
    const currentNumber = url.includes('?page=')
      ? parseInt(url.match(/page=(\d+)/)[1], 10)
      : 1;

    // ✅ 步骤2：定位并点击“Next”按钮（更鲁棒的选择器）
    const nextButton = await page.$('a[aria-label="Next"]');
    if (!nextButton) {
      console.log('✅ No more pages. Reached the last page.');
      break;
    }

    // ✅ 步骤3：执行点击，并等待新页面 Target 加载完成
    await nextButton.click();

    try {
      // 等待浏览器创建新 Target，且其 URL 匹配预期页码（+1）
      await browser.waitForTarget(
        target => target.url().endsWith(`?page=${currentNumber + 1}`),
        { timeout: 15000 }
      );

      // ✅ 步骤4：显式切换到新页面上下文（重要！避免操作旧 page 实例）
      const targets = browser.targets();
      const newTarget = targets.find(t => t.url().endsWith(`?page=${currentNumber + 1}`));
      const newPage = await newTarget?.page();
      if (newPage) {
        await newPage.bringToFront();
        // 更新 page 引用，确保后续操作在最新页面执行
        page = newPage;
      } else {
        throw new Error('Failed to get new page instance');
      }

      currentPage = currentNumber + 1;

      // ⚠️ 此处插入你的数据提取逻辑（例如：抓取投票列表）
      // const votes = await page.$$eval('.vote-item', els => els.map(e => e.textContent.trim()));
      // console.log(`Fetched ${votes.length} votes on page ${currentPage}`);

    } catch (err) {
      console.error(`❌ Failed to navigate to page ${currentNumber + 1}:`, err.message);
      break;
    }
  }

  await browser.close();
})();

? 关键改进说明：

精准等待机制：browser.waitForTarget() 直接监听浏览器级 Target 创建，不受前端路由干扰，比 page.waitForNavigation() 更可靠；
页码动态解析：从当前 URL 提取数字页码，避免硬编码或状态错乱；
显式页面上下文切换：通过 target.page() 获取新页面实例并赋值给 page，防止后续操作仍在旧 DOM 上执行（这是原代码重复打印的核心原因之一）；
末页兜底保护：检查 nextButton 是否存在，而非仅依赖 aria-label="Next" 元素；同时加入 maxPages 安全阈值；
增强健壮性：添加 waitUntil: 'networkidle2' 启动加载，使用 try/catch 捕获导航异常。