CGL · 技能升级说明 · 2026-11-22

采集稳定性升级:四个能力位加一道闸门

这批改动解决的是采集能不能持续跑,不是采集能不能跑通。账号一多登录态互相覆盖、公开页抓回来是空壳、请求头自相矛盾被挡、站点改版后字段静默抓错,四类问题各有一个技能接管,上架前再过一道措辞闸门。

已上企业技能库
5 个技能,全部按 uid 升版
契约总纲
新增 §4.11 采集稳定性总线
巡检
周一 10:30 本机跑,出问题才出声

01四个能力位各管一段

顺序不能倒:先判会话要不要隔离,再判取数走 HTTP 还是浏览器,然后自检请求与执行节点,最后才谈选择器是不是漂了。顺序倒了,会把「我们配错了」当成「站点改版了」。

能力位承载技能解决什么
会话隔离 cgl-account-session-isolation 一个账号一份浏览器 profile,换号靠关窗口而不是登出;登录态各自持久、互不覆盖;失效记待办,不阻塞当天其它任务。
本地抓取 cgl-local-http-fetch 公开页先预检判通道——托管接口、本地 HTTP、浏览器、不可抓,再动手;按站点限速、退避重试、robots 先查、批量断点续跑。
指纹自检 cgl-fingerprint-consistency 拿目标站点的真实请求头当基准,查版本、平台、客户端提示、编码、语言、头顺序是否自相矛盾;顺带判执行节点是否合格,可多机对照。
选择器自愈 cgl-selector-selfheal 给字段规则固化结构指纹;改版后先分清是结构漂移还是内容变了,再给候选,人工确认后写回并留变更记录。
措辞闸门 cgl-skill-wording-audit 打包前扫正文与脚本,按三级定位会被判风险的句子并给改法;有严重项直接拦住发布。

02五个技能现在能做什么

多账号会话隔离

v1.0.3 cgl-account-session-isolation

解决的问题:同一台机器上跑两个招聘账号,第二次登录会把第一次的登录态覆盖掉,一天里反复扫码。现在一个账号一份独立的浏览器数据目录,切换账号只要关掉窗口再开另一个,不需要登出。账号清单与站点适配分开写,换客户只改清单。

边界:不保存账号密码,不代替本人过验证码与滑块;会话失效只记待办,不当成故障阻塞其它任务。本机实例配置留在包外,包里只放示例文件。

看命令
python3 scripts/session_manager.py list            # 看有哪些账号、各自状态
python3 scripts/session_manager.py check  <key>     # 单账号探针,判会话是否还有效
python3 scripts/session_manager.py todo             # 汇总失效待办
python3 scripts/selftest_isolation.py               # 两账号互不覆盖的自检

本地公开页抓取

v1.0.1 cgl-local-http-fetch

解决的问题:以前遇到一个公开页,默认开浏览器去读,慢且拿回来常常是壳。现在先预检:有托管接口就走接口,纯静态就走本地 HTTP,必须执行脚本才渲染的才开浏览器,判断不了就明确说不抓。抓的时候按站点限速、失败退避重试、先看 robots、批量任务断点续跑。

边界:只抓公开页,不登录、不提交表单、不绕过访问控制。请求特征默认钉在固定版本的浏览器基线上,不随机漂。

看命令
python3 scripts/fetch_cli.py probe <url>     # 判通道:api / local-http / browser / skip
python3 scripts/fetch_cli.py fetch <url>     # 取一次,带限速与退避
python3 scripts/fetch_cli.py batch list.txt  # 批量,断了从断点续

指纹一致性自检

v1.0.1 cgl-fingerprint-consistency

解决的问题:请求被挡时最容易误判成「站点封了我们」。这套检查先把我们自己的问题排掉:配置里的浏览器版本、平台、客户端提示、压缩编码、语言、请求头顺序是否互相矛盾;执行节点是不是真的像一台正常浏览器;换一台机器跑出来的关键字段是否一致。

做法:基准不写死在代码里,启动时从本机回环抓一份目标站点的真实请求头缓存在本地,再拿配置去比。节点检查用页面内探针,十几项逐条判。

边界:只做自洽性检查,不生成伪造身份,不碰登录墙、验证码、滑块。

看命令
python3 scripts/fp_check.py --config cfg.env        # 规则 S1–S7 / W1–W8
python3 scripts/browser_probe.py --from-json p.json  # 节点检查 F1–F14
python3 scripts/node_check.py compare a.json b.json  # 两台机器对照

选择器自愈

v1.1.0 cgl-selector-selfheal

解决的问题:站点改版后接口照样返回 200,字段抓空了却没人发现。这套规则给每个字段记一份结构指纹(标签、类名、祖先链、邻近文本、文本形态),跑的时候先判是结构漂了还是内容正常变动,漂了再给候选选择器,人确认后写回并留变更记录,出问题能回滚。

本轮新增:多站点巡检。一次比完所有归档站点,按文件修改时间取最新快照,逐站给「正常 / 漂移 / 断了」,断了直接给修的命令,并以非零退出码报警;每跑一轮追加一行历史。

边界:不自动改规则,不猜站点意图,不处理登录与验证;零候选就交回人工,不硬凑一个选择器。

看命令
python3 scripts/selector_heal.py learn --slug s1 --html page.html
python3 scripts/selector_heal.py check --slug s1 --html now.html
python3 scripts/sweep.py                       # 一次巡检全部归档站点
python3 scripts/sweep.py --json                # 机读输出,接报警用

技能措辞自检

v1.0.1 cgl-skill-wording-audit

解决的问题:平台按正文措辞判风险,一句不该写的描述就能让整包被标。现在打包前先扫一遍:19 条规则分严重、警告、提示三级,定位到具体文件与行,给出改法;有严重项退出码非零,直接挡住上传。

用法:目录或 zip 都能扫,可出机读 JSON,可只看高于某级的项;也支持声明已排除项,避免老问题反复报。

看命令
python3 scripts/wording_audit.py <目录或 zip> --min warn
python3 scripts/wording_audit.py <目录> --json > audit.json

03五条不变的口径

04落地到哪一步

五个技能全部补了包内显示名(缺了上架后会显示成目录名),重新打包并逐包过闸门,全部严重项为零、警告为零,然后按已有记录升版。

多账号会话隔离v1.0.3 · 企业技能库已启用启用
本地公开页抓取v1.0.1 · 企业技能库已启用启用
指纹一致性自检v1.0.1 · 企业技能库已启用启用
选择器自愈v1.0.1 · 平台安全扫描中扫描中
技能措辞自检v1.0.1 · 平台安全扫描中扫描中
扫描中的两个不用管。按经验约八分钟左右自动转启用,不需要重新提交。包内的运行状态一律没带上去:浏览器数据目录、待办台账、抓取输出、进度文件、本机实例配置都在包外。
11-22 上午

先看清再动手

对照现有技能库盘了一遍:哪些能力已经有了、哪些是缺的、缺口在哪一段。结论是缺口集中在会话保持与请求特征这两处,不是缺一个抓取框架。

11-22 中午

四个能力位成型

会话隔离、本地抓取、指纹自检、选择器自愈各自跑通一次真实站点,再把边界写进技能正文:哪些做、哪些不做、做不了怎么交回人工。

11-22 下午

巡检能报警

挑三个公开站点做归档,跑一轮全绿;再故意造一个改版页,验证会报「断了」并给出修的命令、退出码非零。顺手修了两个坑:快照要按修改时间取最新,机读输出不能掺人读摘要。

11-22 傍晚

过闸门再上架

五个包逐个过措辞闸门,把「描述禁止项」的写法改成「只写做什么」,严重项清零;补显示名后按 uid 升版进企业技能库,回读确认显示名已是中文。

11-22 晚

写进契约

《CGL 技能联动契约总纲》新增 §4.11 采集稳定性总线、横向基础设施登记表加这个桶、变更记录记本批次;协调器加场景 33,快照与指针同步,包内哈希重算。

下一步

每周巡检先跑起来

本机定时任务已建:每周一 10:30 跑一次三站巡检,出问题才出声。跑两周之后再决定要不要扩站点、要不要把结果接进晨报。

05还没做的与已知限制

这一节列的是如实存在的缺口,不是待办清单的修辞。