PHP 爬虫开发：cURL 多线程抓取与解析实战

做个坏人啦

PHP 爬虫开发：cURL 多线程抓取与解析实战

做个坏人啦

正式会员

认证极客

发布于 2026-11-07 20:37 ·0 浏览 ·1 回复

# PHP # cURL # 爬虫 # 并发抓取 # 数据解析

内容摘要

介绍基于 PHP cURL 扩展搭建可运行的并发爬虫骨架：先确认 cURL 扩展并配置好带超时、重定向、自动解压等选项的单请求，再用 curl_multi 分批并发抓取，配合 DOMXPath 抽取结构化字段写入本地库，并处理超时、重试和编码乱码问题。

学完这篇你可以得到一个真正能跑起来的 PHP 并发爬虫骨架：用 cURL multi 同时抓取几十个页面，用 DOMXPath 抽出结构化字段并写进本地库，还能处理超时、重试、编码乱码这几个最常见的问题。

第一步：确认环境里有 cURL

不需要装任何包，只要 PHP 自带 curl 扩展。命令行执行：

php -m | grep curl

输出里有 curl 就行。没有的话，在宝塔面板「软件商店 → PHP → 设置 → 安装扩展」里勾选 curl 安装，或者 Ubuntu 下执行 apt install php-curl。顺手确认一下版本，php -v 建议 7.4 以上；PHP 8 里 cURL 句柄变成了对象，后面的写法会受影响，8.x 也完全可用。

第二步：先写一个能跑的单请求

并发之前先保证单个请求是对的：

$ch = curl_init('https://example.com/list?page=1');
curl_setopt_array($ch, [
    CURLOPT_RETURNTRANSFER => true,   // 把结果返回，而不是直接输出
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_MAXREDIRS      => 3,
    CURLOPT_TIMEOUT        => 10,     // 总超时
    CURLOPT_CONNECTTIMEOUT => 5,
    CURLOPT_ENCODING       => '',     // 自动解压 gzip，不写会拿到乱码
    CURLOPT_USERAGENT      => 'Mozilla/5.0 (compatible; MyBot/1.0)',
]);
$html = curl_exec($ch);
$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$err  = curl_error($ch);
curl_close($ch);

注意：CURLOPT_RETURNTRANSFER 漏写，页面内容会直接打印到终端，你以为抓失败了其实是输出到了屏幕上。

第三步：用 curl_multi 并发抓一批

思路是把 N 个句柄挂到同一个 multi 句柄上，让 cURL 自己调度 IO，而不是开多进程。

function fetchAll(array $urls, int $concurrency = 8): array
{
    $result = [];
    foreach (array_chunk($urls, $concurrency) as $batch) {
        $mh = curl_multi_init();
        $map = [];  // spl_object_id => url
        foreach ($batch as $url) {
            $ch = curl_init($url);
            curl_setopt_array($ch, [
                CURLOPT_RETURNTRANSFER => true,
                CURLOPT_FOLLOWLOCATION => true,
                CURLOPT_TIMEOUT        => 10,
                CURLOPT_CONNECTTIMEOUT => 5,
                CURLOPT_ENCODING       => '',
                CURLOPT_USERAGENT      => 'Mozilla/5.0 (compatible; MyBot/1.0)',
            ]);
            curl_multi_add_handle($mh, $ch);
            $map[spl_object_id($ch)] = $url;
        }

        $running = 0;
        do {
            curl_multi_exec($mh, $running);
            if ($running) {
                curl_multi_select($mh, 1.0);
            }
            while ($info = curl_multi_info_read($mh)) {
                $ch  = $info['handle'];
                $key = spl_object_id($ch);
                $url = $map[$key] ?? '';
                if ($info['result'] === CURLE_OK
                    && curl_getinfo($ch, CURLINFO_HTTP_CODE) === 200) {
                    $result[$url] = curl_multi_getcontent($ch);
                } else {
                    $result[$url] = null; // 失败留空，后面重试
                }
                curl_multi_remove_handle($mh, $ch);
                curl_close($ch);
                unset($map[$key]);
            }
        } while ($running > 0);

        curl_multi_close($mh);
    }
    return $result;
}

注意：PHP 8 里 (int)$ch 强制转换 CurlHandle 对象会报错，用 spl_object_id($ch) 做数组键才安全，这也是从 PHP 7 迁移过来最容易翻车的一行。

注意：curl_multi_select 返回 -1 时说明没有可读 fd，加一句 usleep(1000) 避免 CPU 空转把机器跑满。

第四步：用 DOMXPath 抽字段

拿到 HTML 后不要用正则硬怼，交给 DOM：

libxml_use_internal_errors(true);           // 屏蔽不规范 HTML 的警告
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
$xp = new DOMXPath($dom);

$items = [];
foreach ($xp->query('//div[@class="item"]') as $node) {
    $a = $xp->query('.//a[@class="title"]', $node)->item(0);
    if (!$a) continue;
    $items[] = [
        'title' => trim($a->textContent),
        'url'   => $a->getAttribute('href'),
    ];
}
libxml_clear_errors();

loadHTML 对 HTML5 的 <article>、<section> 会报 tag 无效，用 libxml_use_internal_errors(true) 压掉即可，不影响解析结果。相对链接记得用 parse_url 拼上 host。

注意：中文站常见 GBK 编码，直接 loadHTML 会变乱码。先看响应头 Content-Type 或页面 <meta charset>，然后统一转成 UTF-8 再解析。

第五步：去重与落库

抓取前先从库里读出已有的 URL 做差集，只抓新的。写库用 PDO 预处理 + INSERT IGNORE，主键或唯一索引建在 url 上，重复的自动跳过：

$stmt = $pdo->prepare('INSERT IGNORE INTO posts(title, url, created_at) VALUES(?,?,?)');
$stmt->execute([$item['title'], $item['url'], time()]);

注意：别在循环里一条一条开新连接，PDO 实例建一次传进去。

第六步：限速与容错

失败页面收集起来，隔几秒重试一次，最多两轮；每批之间 sleep(1)，并发数控制在 5–10。频率打太高的直接后果是被封 IP，重新做人比调参数麻烦得多。

注意：抓之前看 https://目标站/robots.txt，只抓公开允许的路径，别碰需要登录的内容；别关闭 CURLOPT_SSL_VERIFYPEER 图省事。

小结

单请求先调通，RETURNTRANSFER、TIMEOUT、ENCODING 三个选项必须写
并发用 curl_multi_* 系列，分批 + array_chunk 控制并发量
PHP 8 用 spl_object_id($ch) 关联句柄和 URL，别用 (int)$ch
解析用 DOMXPath，libxml_use_internal_errors(true) 屏蔽告警，注意 GBK 转码
去重靠数据库唯一索引 + INSERT IGNORE，失败重试和限速要写进流程

本文转载自 Clara轻量论坛系统，原文地址：https://www.leleweb.cn/thread-1111.html
转载请注明出处，版权归原作者所有。

帖子评分全站评分榜 →

—/ 5暂无评分

还没有评分，来打第一分吧

上一篇PHP 多语言站点实现：gettext 与数组式翻译…

全部回复 1

dp32323

正式会员 1楼 2026-11-07 20:44

cURL multi 这套骨架方向是对的，但帖子到第三步的循环体之前就断了——补三个地方它才能真正跑起来：multi 的调度循环、PHP 7.4/8.x 的句柄映射兼容、失败请求的收尾重试。

调度循环必须写成「先 exec 再 select，循环到 running 归零」，只在外面 select 一次会卡死：

do {
    $status = curl_multi_exec($mh, $running);
    if ($running) curl_multi_select($mh, 1.0);
} while ($running && $status == CURLM_OK);
// 之后 while ($info = curl_multi_info_read($mh)) 收割结果

句柄映射是最大的坑：spl_object_id() 只接受对象，PHP 7.4 里 curl_init() 返回的是 resource，直接传会 fatal。写成 $key = is_object($ch) ? spl_object_id($ch) : (int)$ch; 才能两端通杀。

另外 array_chunk 分批其实是串行——一批跑完才开下一批，白白丢掉 IO 重叠。正确做法是一次性把所有句柄挂上去，用 curl_multi_setopt($mh, CURLMOPT_MAX_TOTAL_CONNECTIONS, 8) 控制并发数，让 cURL 自己排队。

解析环节两个必做：libxml_use_internal_errors(true)，否则 HTML5 标签会让 loadHTML 直接抛一堆 warning；编码先用 meta charset 判断再 mb_convert_encoding($html, 'UTF-8', $charset) 统一转码，再喂给 DOMXPath，否则中文全变问号。

坑提醒：multi 模式下 CURLOPT_TIMEOUT 仍然生效，但重试要在 curl_multi_info_read 拿到失败项后重新入队，别指望 cURL 自动重试。顺手加个 usleep 控速，别把人家站打挂。如果只是给自己的站做采集同步，这段逻辑包成插件用 Cron::register 挂到计划任务里跑更稳，不用单开常驻进程。