首页
关于本站
私人 DNS 加密设置教程
全部文章
推荐
加密 DNS 服务
DNS 实时战报
过滤规则订阅
搜索
网络与 DNS
加密 DNS 实操
路由器与家庭网络
自建服务
AdGuard Home
服务器运维
开发与工具
安全与隐私
登录
搜索
23-4.CN
累计撰写
492
篇文章
累计收到
3
条评论
首页
分类
网络与 DNS
加密 DNS 实操
路由器与家庭网络
自建服务
AdGuard Home
服务器运维
开发与工具
安全与隐私
页面
关于本站
私人 DNS 加密设置教程
全部文章
推荐
加密 DNS 服务
DNS 实时战报
过滤规则订阅
注册丨登录
搜索到
15
篇
标签为
服务器运维
的文章
2026-10-24
HTTP 的 Vary 和缓存键:CDN 上那些「明明改了却没生效」
这篇是协议与缓存笔记。站内的加密 DNS 服务在dns.23-4.cn。「我明明改了 CSS,刷新还是旧的。」「这个页面在 Chrome 上是新的,在手机上还是旧的。」「CDN 上明明 purge 了,用户说没生效。」这类问题的共同点:你以为缓存键只包含 URL,但实际上不止。HTTP 里有一个响应头专门用来声明「这个资源的缓存键还包含哪些请求头」——它就是 Vary。这篇讲清三件事:Vary 到底怎么工作、写错了会有什么后果、以及怎么用命令验证你的站点有没有写错。下面所有响应头都是我从真实站点上抓的。一、缓存键是什么先建立一个基本认知:缓存(浏览器、CDN、反向代理)判断「这份响应能不能复用」,靠的是缓存键。最朴素的理解是「缓存键 = URL」。但实际的缓存键通常是:缓存键 = URL + Vary 里声明的那些请求头的值举个例子。假设响应是:Vary: Accept-Encoding那么缓存会为下面两个请求分别存两份:请求头缓存键Accept-Encoding: gzipURL + gzipAccept-Encoding: identityURL + identity如果响应是 Vary: Accept-Language,那就会按语言分别缓存。关键:Vary 里没列出来的请求头,不参与缓存键。 所以 Vary 写漏了 = 该分开缓存的没分开,用户拿到别人的版本。二、抓一个真实站点的响应头看一个正常配置的站点:curl -sSI https://www.23-4.cn/ | head -20实测:HTTP/2 200 server: nginx date: Fri, 23 Oct 2026 16:42:02 GMT content-type: text/html; charset=UTF-8 vary: Accept-Encoding x-pingback: https://www.23-4.cn/action/xmlrpc strict-transport-security: max-age=31536000 x-content-type-options: nosniff referrer-policy: strict-origin-when-cross-origin只有一个 vary: Accept-Encoding。 这是最常见的配置——因为 nginx 的 gzip 模块会自动加上它。再看静态资源(这里的差别很有意思):curl -sSI https://www.23-4.cn/brand.css | grep -iE "^(cache-control|expires|etag|last-modified|vary)"实测:last-modified: Thu, 22 Oct 2026 06:29:27 GMT vary: Accept-Encoding etag: "6ad9ad47-5ebc" expires: Fri, 30 Oct 2026 16:42:02 GMT cache-control: max-age=604800 cache-control: public静态资源有完整的 etag / expires / cache-control: max-age=604800(7 天),HTML 页面一个缓存头都没有。这是合理的默认:HTML 有用户态内容(登录状态、评论数),不该被中间层长缓存;静态资源内容不变,长缓存没问题。再确认一下 HTML 确实一个都没有:for u in https://www.23-4.cn/ https://www.23-4.cn/archives/55/; do printf "%-40s " "$u" curl -sSI "$u" | grep -icE "^(cache-control|expires|etag|last-modified)" done实测:https://www.23-4.cn/ 0 https://www.23-4.cn/archives/55/ 0都是 0。 注意这是 grep -c 的计数,不是「有没有 vary」——vary 是有的,但没有缓存控制头。这本身不算 bug,但它意味着缓存器只能靠「启发式规则」(RFC 7234 允许的)来猜缓存时长。对小站来说通常无所谓,但如果你前面挂了 CDN,CDN 会按自己的默认值来——那时候你可能不希望它缓存 HTML。注意 cache-control 出现了两次(max-age=604800 和 public)。这在 nginx 的 expires + add_header 组合下很常见,不是 bug——HTTP 规范允许同一个头出现多次,等效于合并成一个逗号分隔的列表:cache-control: max-age=604800, public三、Vary: * 是灾难如果你写:add_header Vary "*";后果是:这个资源永远无法被缓存。因为 * 的语义是「缓存键包含所有可能变化的请求头」——那等于每个请求都是独一无二的。缓存命中率归零,所有请求都打到源站。这是最严重的 Vary 错误,而且不会报错、不会有日志,只是性能悄悄变差。判断方法:curl -sSI https://www.example.com/ | grep -i "^vary"出现 vary: * 就是这个情况。四、Vary 漏了什么会怎样场景 1:多语言站点漏了 Accept-Language# ⛔ 错:返回不同语言,但没声明 Vary location / { if ($http_accept_language ~* "zh") { rewrite ^ /zh$uri last; } }第一个中文用户访问 → 缓存了中文版;接着一个英文用户访问 → 拿到中文版。正确写法:add_header Vary "Accept-Language";场景 2:Vary: Accept-Encoding 漏了如果你的站点开了 gzip,但没声明 Vary: Accept-Encoding,可能出现:一个支持 gzip 的客户端先访问,缓存了 gzip 版本;接着一个不支持 gzip 的客户端拿到 gzip 响应 → 乱码/解压失败。nginx 的 gzip 模块会自动加这个头,但如果你用了 gzip_static 或者自己在 CDN 上做压缩,就需要手动确认。验证缓存是否真的按 Accept-Encoding 分开了:for ae in gzip identity; do printf "AE=%-10s " "$ae" curl -sSI -H "Accept-Encoding: $ae" https://www.23-4.cn/ | grep -iE "^(content-encoding|vary)" | tr '\n' ' ' echo done实测:AE=gzip vary: Accept-Encoding content-encoding: gzip AE=identity vary: Accept-Encoding关键观察:请求 gzip 时返回了 content-encoding: gzip,请求 identity 时没有这个头。两个版本的响应体不同——所以必须有 Vary: Accept-Encoding 来告诉缓存「这两个不是同一份」。如果这里没有 vary,一个缓存就可能把 gzip 版本发给不支持 gzip 的客户端。场景 3:Vary 写多了,缓存命中率暴跌反过来也有问题。写了 Vary: User-Agent:Vary: User-AgentUser-Agent 的取值空间是几万到几十万种(每个浏览器版本、每个爬虫、每个 SDK 都不同)。结果就是缓存里每个 URL 有几万个副本,命中率接近 0,还浪费存储。Vary: User-Agent 几乎总是错的。 要按设备区分,应该在 URL 或 cookie 上做,不是在 Vary 上做。五、一个更隐蔽的问题:Vary 在 CDN 上会「被吃掉」很多 CDN 默认不按 Vary 分缓存,或者只支持有限的几个字段(通常只支持 Accept-Encoding)。这意味着:你源站写了 Vary: Accept-Language,但 CDN 忽略了它,仍然按 URL 缓存。验证方法:直接对比「直连源站」和「走 CDN」的响应头。# 直连源站(绕过 DNS) curl -sSI --resolve www.example.com:443:ORIGIN_IP https://www.example.com/ | grep -i "^vary" # 走 CDN curl -sSI https://www.example.com/ | grep -i "^vary"两个 vary 应该一致。如果不一致(比如源站有 Accept-Language,CDN 只返回 Accept-Encoding),说明中间层改了它。这类问题只能靠对比发现,因为两边单独看都「正常」。六、怎么验证缓存行为是对的验证 1:看响应头齐不齐curl -sSI https://www.example.com/ | grep -iE "^(cache-control|expires|etag|last-modified|vary|age)"头作用缺失的后果vary声明缓存键的额外维度缓存串味(给别人返回错误版本)cache-control声明缓存时长和范围缓存器用启发式规则猜,可能缓存太久etag / last-modified支持条件请求(304)每次都要全量传输age已被缓存多久(CDN 加)无法判断命中情况验证 2:304 是否正常工作# 先拿 ETag ETAG=$(curl -sSI https://www.23-4.cn/brand.css | grep -i '^etag' | tr -d '\r' | cut -d' ' -f2) echo "ETag = $ETAG" # 再用 If-None-Match 请求,应该返回 304 curl -sS -o /dev/null -w "code=%{http_code} size=%{size_download}\n" \ -H "If-None-Match: $ETAG" https://www.23-4.cn/brand.css期望 code=304 size=0。 如果返回 200 且 size 不为 0,说明条件请求没生效——每个用户每次都要重新下载。实测这个站点:ETag="6ad9ad47-5ebc" with-INM code=304 size=0 no-INM code=200 size=24252条件请求工作正常:带上 If-None-Match 拿到 304 且传输 0 字节,不带则是完整体积。这一条是「静态资源缓存配置正确」最硬的证据。踩坑点:ETag 的值带引号("6ad9ad47-5ebc")。提取的时候别把引号弄丢,更别自作聪明去掉:# ✅ 正确:整行取第二个字段,引号原样保留 etag=$(curl -sSI "$URL" | grep -i '^etag' | tr -d '\r' | cut -d' ' -f2) # → "6ad9ad47-5ebc" # ⛔ 错误:tr -d '"' 去掉引号后,服务端会认为 ETag 不匹配,返回 200而且注意响应头行尾有 \r(cat -A 能看到 ^M$)。不 tr -d '\r' 的话,变量里会带一个回车,-H 传过去就是坏值。验证 3:404 页面有没有被缓存这是一个经典的坑:某个 URL 曾经 404,被 CDN 缓存了,之后你发布了这个页面,用户还是看到 404。curl -sSI https://www.example.com/some-page/ | grep -iE "^(HTTP|cache-control|vary)"实测这个站点的 404:HTTP/2 404 vary: Accept-Encoding x-pingback: https://www.23-4.cn/action/xmlrpc strict-transport-security: max-age=31536000404 没有 cache-control: no-store。 这意味着 CDN 可能用启发式规则缓存这个 404——比如几百秒。要避免这个坑,给错误页加上明确的缓存指令:error_page 404 /404.html; location = /404.html { internal; add_header Cache-Control "no-store" always; }always 参数很重要——它让这个头对错误响应也生效(默认 add_header 只对 2xx/3xx 生效,这是个经典陷阱)。顺便说一句:这个站点没有自定义 404 页面(/var/www/typecho/404.html 不存在,nginx 配置里也没有 error_page),404 是 Typecho 自己渲染的。所以上面那段 nginx 配置是「如果要加该怎么加」,不是对本站现状的描述。踩坑点:add_header 不加 always 时,nginx 只在 200/201/204/206/301/302/303/304/307/308 上加头。404、500 这些全都不加——这正好是缓存错误页最危险的地方。七、nginx 里的正确写法server { # 默认:所有响应按 Accept-Encoding 区分(gzip 模块通常会自动加,这里是显式兜底) add_header Vary "Accept-Encoding" always; # HTML 不缓存(有用户态内容) location ~ \.php$ { add_header Cache-Control "no-cache, must-revalidate" always; } # 静态资源长缓存 location ~* \.(js|css|png|jpg|jpeg|gif|ico|svg|woff2?)$ { expires 7d; add_header Cache-Control "public" always; } # 错误页绝不缓存 location = /404.html { internal; add_header Cache-Control "no-store" always; } }注意 add_header 的继承规则(另一个经典陷阱):如果某个 location 里写了任何 add_header,父级的 add_header 就全部失效——不是合并,是覆盖。所以上面的配置里,每个 location 都得自己写一遍 Vary,否则静态资源那一段就没有 Vary 头了。想避免这个坑,用 map + 变量,或者依赖 nginx 的 gzip 自动加(但那只覆盖 gzip 场景)。八、诊断清单URL=https://www.example.com/ echo "=== 1. Vary 是否合理(出现 * 就是灾难)===" curl -sSI "$URL" | grep -i "^vary" echo "=== 2. 是否有缓存控制 ===" curl -sSI "$URL" | grep -iE "^(cache-control|expires)" echo "=== 3. 压缩版本是否分开 ===" for ae in gzip identity; do printf " AE=%-10s " "$ae" curl -sSI -H "Accept-Encoding: $ae" "$URL" | grep -iE "^(content-encoding|vary)" | tr '\n' ' ' echo done echo "=== 4. 条件请求是否工作 ===" ETAG=$(curl -sSI "$URL" | grep -i '^etag' | tr -d '\r' | cut -d' ' -f2) [ -n "$ETAG" ] && curl -sS -o /dev/null -w " 304 测试: code=%{http_code}\n" -H "If-None-Match: $ETAG" "$URL" || echo " 无 ETag" echo "=== 5. 错误页是否被缓存 ===" curl -sSI "${URL}definitely-not-exist/" | grep -iE "^(HTTP|cache-control)"怎么判断结果是对的:vary 里不能有 *,不该有 User-Agent;返回不同内容的分支(gzip/identity、zh/en)必须在 vary 里;cache-control 要和内容性质匹配(HTML 短、静态资源长、错误页 no-store);304 测试要返回 304;错误页要能明确看到 no-store,而不是什么都没有。九、一句话总结Vary 是「缓存键的额外维度声明」。写漏了会导致用户拿到别人的版本,写多了会导致命中率归零,写 * 会导致完全不缓存。而它最容易出问题的地方不在语法,在于:CDN 可能忽略它(要对比源站和 CDN 的响应头);add_header 在 location 里会覆盖父级(每个 location 都要重写);add_header 不加 always 对错误页无效(错误页正是最不该被缓存的)。这三个都不是"配置写错了",而是"配置看起来对但行为不对"——所以只能靠 curl -I 实际抓一遍,不能靠读配置文件判断。相关阅读curl --resolve 与 --connect-to 的区别:只换连接目标,不换 SNI 和 Hostnginx error.log 里那 5 类 warn 到底要不要管谁在占着这个端口:ss / lsof / /proc 三条路各自的盲区
2026年10月24日
54 阅读
0 评论
0 点赞
2026-10-24
SQLite 博客的备份与恢复:为什么不能 cp,该用 .backup 还是 VACUUM INTO
这篇是自建服务笔记。站内的加密 DNS 服务在dns.23-4.cn。用 SQLite 做博客数据库,最爽的是「整个数据库就是一个文件」——备份应该很简单吧?cp blog.db backup.db,完事。这个动作在大多数时候是对的,在少数时候会给你一个打不开的副本。而且更麻烦的是:SQLite 有几个不同的备份接口,.backup、VACUUM INTO、.dump、cp,网上教程混着讲,但它们的一致性保证、产物大小、适用场景完全不同。这篇把三种可用方式都实测一遍,给出选择依据。所有数字都是我在一台 Ubuntu 20.04(SQLite 3.31.1)上实际跑出来的。一、先看你的库现在是什么状态先查四个关键 PRAGMA:python3 - <<'EOF' import sqlite3 c = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) for k in ('journal_mode', 'page_size', 'page_count', 'freelist_count', 'auto_vacuum', 'synchronous', 'encoding'): print('%-16s = %s' % (k, c.execute('pragma ' + k).fetchone()[0])) EOF实测这台机器:journal_mode = delete page_size = 4096 page_count = 151 freelist_count = 2 auto_vacuum = 0 synchronous = 2 encoding = UTF-8逐个解释:PRAGMA值含义journal_modedelete回滚日志模式。有写入时会有 -journal 临时文件page_size4096每页 4 KB,SQLite 默认值page_count151共 151 页 → 151 × 4096 = 618,496 Bfreelist_count2有 2 页是空闲的(删过数据留下的洞)auto_vacuum0关闭自动整理,文件只增不减synchronous2FULL,最安全的写入模式(性能最低)encodingUTF-8文本编码验算文件大小:python3 - <<'EOF' import sqlite3, os DB = '/var/lib/typecho/6abdb5f537ed4.db' c = sqlite3.connect('file:%s?mode=ro' % DB, uri=True) pc = c.execute('pragma page_count').fetchone()[0] ps = c.execute('pragma page_size').fetchone()[0] sz = os.path.getsize(DB) print('page_count × page_size = %d B' % (pc * ps)) print('实际文件大小 = %d B' % sz) print('差值 = %d B' % (sz - pc * ps)) EOF实测:page_count × page_size = 618496 B 实际文件大小 = 618496 B 差值 = 0 B差值为 0,说明文件里没有浪费的空间(除了那 2 个 freelist 页,它们也算在 page_count 里)。关键:看有没有 -wal / -shm / -journalls -la /var/lib/typecho/ | grep -E "wal|shm|journal" || echo "当前无日志文件"实测这台机器:-wal 不存在 -shm 不存在 -journal 不存在三个都没有。但这只代表"此刻没有",不代表 cp 的那一瞬间没有。二、为什么 cp 在多数时候能用,在少数时候会坏journal_mode=delete 时写入流程是:把要被修改的原始页复制到 xxx.db-journal;修改 xxx.db 里的页;提交成功 → 删除 -journal;如果中途崩溃 → 下次打开时用 -journal 回滚。如果你在第 2 步和第 3 步之间 cp,得到的副本可能是「一半新一半旧」的状态——文件头的页数、freelist 链表、索引都可能是矛盾的。后果有两种:打开时立刻报 database disk image is malformed(好的情况,你知道坏了);打开成功,但某些表的数据不对/缺行(坏的情况,你可能几个月后才发现)。journal_mode=WAL 时WAL 模式下就更危险了:最近的写入根本不在 xxx.db 里,而在 xxx.db-wal 里。只 cp 主文件,等于丢掉了所有还没 checkpoint 的写入。# 如果你的库是 WAL,必须先看有没有 -wal ls -la /var/lib/typecho/*.db-wal 2>/dev/null判断你的库能不能安全 cp 的完整条件:journal_mode = delete 且 此刻没有 -journal 文件 且 cp 的那一瞬间没有事务在写第三个条件你无法在 shell 里保证。所以严谨的结论是:cp 适合"停机后备份"。只要服务还在跑,就该用 .backup() 或 VACUUM INTO。三、三种方式的实测对比我在这台机器上把三种都跑了一遍(服务仍在运行,未停机):方式 1:cpcp /var/lib/typecho/6abdb5f537ed4.db /tmp/bak_cp.db方式 2:Connection.backup()python3 - <<'EOF' import sqlite3 src = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) dst = sqlite3.connect('/tmp/bak_backup.db') src.backup(dst) dst.close(); src.close() EOF方式 3:VACUUM INTOpython3 - <<'EOF' import sqlite3 c = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) c.execute("vacuum into '/tmp/bak_vacuum.db'") c.close() EOF实测结果方式产物大小耗时一致性保证cp618,496 B1.8 ms❌ 无(依赖时机).backup()618,496 B13.1 ms✅ 有(遇写入自动重试)VACUUM INTO585,728 B6.2 ms✅ 有(事务快照)三种产物我都验证过:python3 - <<'EOF' import sqlite3 for name, f in (('cp', '/tmp/bak_cp.db'), ('.backup()', '/tmp/bak_backup.db'), ('VACUUM INTO', '/tmp/bak_vacuum.db')): c = sqlite3.connect('file:%s?mode=ro' % f, uri=True) n = c.execute("select count(*) from sqlite_master where type='table'").fetchone()[0] rows = c.execute("select count(*) from typecho_contents").fetchone()[0] ok = c.execute('pragma integrity_check').fetchone()[0] print('%-14s tables=%-3d rows=%-4d integrity=%s' % (name, n, rows, ok)) c.close() EOF实测:cp tables=7 rows=55 integrity=ok .backup() tables=7 rows=55 integrity=ok VACUUM INTO tables=7 rows=55 integrity=ok这一次 cp 也没坏——因为跑测试的时候没有并发写入。这正是问题所在:cp 的失败是概率性的,你没法靠"试了几次都好"来判断它安全。注意 VACUUM INTO 的产物小了 32,768 B(正好 8 个页)。因为它把 freelist_count=2 的空闲页和页内碎片整理掉了。四、该选哪个日常备份(服务不停)→ .backup()#!/bin/bash # /root/backup-blog.sh DB=/var/lib/typecho/6abdb5f537ed4.db DEST=/root/backups mkdir -p "$DEST" TS=$(date +%Y%m%d-%H%M%S) python3 - "$DB" "$DEST/blog-$TS.db" <<'EOF' import sqlite3, sys src, dst = sys.argv[1], sys.argv[2] s = sqlite3.connect('file:%s?mode=ro' % src, uri=True) d = sqlite3.connect(dst) s.backup(d) d.close(); s.close() print('备份完成:', dst) EOF # 只保留最近 14 份 ls -1t "$DEST"/blog-*.db | tail -n +15 | xargs -r rm -f优点:安全、产物和原库同大小、恢复后行为和原库完全一致。缺点:碎片不整理,文件大小只增不减。长期归档 / 想压缩体积 → VACUUM INTOpython3 - <<'EOF' import sqlite3 c = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) c.execute("vacuum into '/root/backups/archive-2026-10.db'") c.close() EOF优点:产物小、顺带整理碎片、天然是一致快照。缺点:需要 SQLite ≥ 3.27(先查版本)、耗时略长、需要额外磁盘空间(原库 + 产物同时存在)。需要跨版本迁移 / 人工查看 → .dump# 注意:需要 sqlite3 命令行 sqlite3 /var/lib/typecho/6abdb5f537ed4.db .dump > backup.sql但先确认它存在:command -v sqlite3 || echo "sqlite3 CLI NOT FOUND"实测这台机器:sqlite3 CLI NOT FOUND没有。 这是精简系统的常态(sqlite3 命令行不在默认安装里)。替代方案——用 Python 导出 SQL:python3 - <<'EOF' import sqlite3 src = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) with open('/root/backup.sql', 'w', encoding='utf-8') as f: for line in src.iterdump(): f.write(line + '\n') src.close() print('导出完成') EOFiterdump() 是 sqlite3 模块的标准方法,和命令行的 .dump 等价。⛔ 别用 .dump 做日常备份:它导出的是 SQL 文本,恢复要重新执行所有语句,慢得多;而且大库的 SQL 文件可能比 db 文件大好几倍。五、恢复怎么做从 .backup() 或 VACUUM INTO 的产物恢复直接替换文件就行——它们就是完整的数据库文件:# 1. 停服务(避免写到旧库) systemctl stop php8.3-fpm # 2. 备份当前(坏掉的)库,别直接删 mv /var/lib/typecho/6abdb5f537ed4.db /root/broken-$(date +%s).db # 3. 复制回去 cp /root/backups/blog-20261024-010000.db /var/lib/typecho/6abdb5f537ed4.db # 4. 修权限(这一步最容易漏) chown www-data:www-data /var/lib/typecho/6abdb5f537ed4.db chmod 640 /var/lib/typecho/6abdb5f537ed4.db # 5. 验证 python3 -c "import sqlite3;c=sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro',uri=True);print(c.execute('pragma integrity_check').fetchone()[0])" # 6. 起服务 systemctl start php8.3-fpm踩坑点:权限。cp 出来的文件属主是执行 cp 的用户(通常是 root),而 PHP-FPM 以 www-data 运行。不改权限的话,站点会报 unable to open database file——而这个报错看起来像"数据库损坏",很容易往错误方向排查。原库的权限供参考:ls -la /var/lib/typecho/实测:-rw-r----- 1 www-data www-data 606208 Oct 24 00:32 6abdb5f537ed4.db640 + www-data:www-data。从 .dump 的 SQL 恢复python3 - <<'EOF' import sqlite3 conn = sqlite3.connect('/var/lib/typecho/6abdb5f537ed4.db') with open('/root/backup.sql', encoding='utf-8') as f: conn.executescript(f.read()) conn.commit(); conn.close() print('恢复完成') EOF六、怎么验证备份真的可用最容易被忽略的一步。 备份文件存在 ≠ 备份可用。# 1. 完整性检查(每次都做) python3 -c " import sqlite3 c = sqlite3.connect('file:/root/backups/blog-latest.db?mode=ro', uri=True) print('integrity:', c.execute('pragma integrity_check').fetchone()[0]) print('quick: ', c.execute('pragma quick_check').fetchone()[0]) " # 2. 对比行数(备份必须和源库一致) python3 - <<'EOF' import sqlite3 def counts(path): c = sqlite3.connect('file:%s?mode=ro' % path, uri=True) r = {} for (t,) in c.execute("select name from sqlite_master where type='table'"): r[t] = c.execute('select count(*) from "%s"' % t).fetchone()[0] c.close() return r src = counts('/var/lib/typecho/6abdb5f537ed4.db') bak = counts('/root/backups/blog-latest.db') same = True for t in src: if src[t] != bak.get(t): print('!! %s 行数不一致: 源=%d 备份=%s' % (t, src[t], bak.get(t))) same = False print('所有表行数一致' if same else '存在差异') EOF第 3 步最重要:真的从备份启动一次。# 在测试端口上起一个临时实例,指向备份文件 # 或者更简单:临时把站点指向备份,看能不能打开如果嫌麻烦,至少做这一条——用备份文件跑一次 Typecho 的查询:python3 - <<'EOF' import sqlite3 c = sqlite3.connect('file:/root/backups/blog-latest.db?mode=ro', uri=True) print('已发布文章数 =', c.execute( "select count(*) from typecho_contents where type='post' and status='publish'").fetchone()[0]) print('最新一篇 =', c.execute( "select cid, substr(title,1,30) from typecho_contents where type='post' order by cid desc limit 1").fetchone()) EOF能查出正确的结果,才算备份可用。七、自动化:加进 crontab 并验证它在跑# 每天凌晨 3:17 备份(避开整点) crontab -e17 3 * * * /bin/bash /root/backup-blog.sh >> /root/backup.log 2>&1验证它在跑(不是"配置存在"):# 看日志有没有新记录 tail -5 /root/backup.log # 看产物有没有按日期增加 ls -la /root/backups/ | tail -5踩坑点:cron 里的环境变量和交互式 shell 不同。PATH 通常只有 /usr/bin:/bin,你的 python3 如果在 /usr/local/bin 就找不到;HOME 可能是空的。所以脚本里一律写绝对路径:#!/bin/bash PY=/usr/bin/python3 # ← 写死,别依赖 PATH DB=/var/lib/typecho/6abdb5f537ed4.db查一下你的实际路径:command -v python3八、一页速查需求用什么命令服务不停,日常备份.backup()src.backup(dst)想压缩 + 一致快照VACUUM INTOc.execute("vacuum into '...'")停机后备份cp 也行cp db db.bak跨版本迁移.dump / iterdump()for line in src.iterdump()验证备份可用integrity_check + 行数对比 + 真查一次见第六节一句话结论:服务在跑就用 .backup(),别用 cp。 那 11 毫秒的额外耗时,换的是「备份一定可恢复」。相关阅读把 Typecho 搬到新服务器:数据库、附件、伪静态、定时任务一份不漏服务器磁盘满了怎么查:df / du / inode / 日志轮转的可执行排查顺序在 Alpine Linux 上从零搭一个 Typecho:nginx + php-fpm + SQLite
2026年10月24日
38 阅读
0 评论
0 点赞
2026-10-24
把 Typecho 搬到新服务器:数据库、附件、伪静态、定时任务一份不漏
这篇是自建服务笔记。站内的加密 DNS 服务在dns.23-4.cn。给自己的博客换服务器,看起来很简单的四步:装环境、传文件、导数据库、改配置。但真正做过的人都知道,最容易漏的是第四步之后的东西:附件目录权限不对,图片全裂;伪静态规则没带过去,除了首页全是 404;定时任务没迁,备份悄悄停了两个月;数据库导入了但 auto_increment 丢了,新文章 ID 冲突。这篇是按「漏一次就疼一次」的顺序整理的迁移清单,每一节都有可复制的命令和验证方法。以 Typecho + nginx + PHP + SQLite 为例,MySQL 的差异会单独标出。一、先记录旧机器的完整状态⛔ 别急着动手传文件。 先在旧机器上把状态记录下来,后面每一步都要拿它对照。# 1. 系统与版本 cat /etc/os-release | head -3 uname -r # 2. PHP 版本与模块 php -v | head -1 php -m | tr '\n' ' ' # 3. nginx 版本与配置结构 nginx -v nginx -T 2>/dev/null | grep -c "^# configuration file" # 4. 数据库类型与位置(Typecho 的配置文件里就有) grep -E "Db\(|'file'|'database'|'host'" /var/www/typecho/config.inc.php # 5. 站点根目录大小与文件数 du -sh /var/www/typecho find /var/www/typecho -type f | wc -l # 6. 定时任务 crontab -l ls -la /etc/cron.d/ 2>/dev/null # 7. 所有 systemd 服务单元(非系统自带的) systemctl list-unit-files --state=enabled --no-pager | grep -vE "^(systemd|dbus|getty|cron|ssh|rsyslog|networkd|resolved|udev|apparmor|unattended|snap)" | head -20把这份输出存成文件,这是你的迁移基线:{ echo "=== OS ==="; cat /etc/os-release | head -3; uname -r echo "=== PHP ==="; php -v | head -1 echo "=== nginx ==="; nginx -v 2>&1 echo "=== files ==="; find /var/www/typecho -type f | wc -l echo "=== cron ==="; crontab -l 2>/dev/null } > /root/migrate-baseline.txt 2>&1二、备份数据库:别用 cp这一步是全文最重要的技术点。为什么不能直接 cp 数据库文件SQLite 的默认日志模式是 journal_mode=delete(回滚日志)。在有写入进行中的时候,数据可能分散在三个文件里:xxx.db:主文件;xxx.db-journal:回滚日志(delete 模式);xxx.db-wal + xxx.db-shm:WAL 模式(如果开了)。先看你的库是什么模式:python3 - <<'EOF' import sqlite3 c = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) for k in ('journal_mode', 'page_size', 'page_count', 'freelist_count'): print(k, '=', c.execute('pragma ' + k).fetchone()[0]) EOF实测我这台机器(注意 SQLite 3.31.1 的 3.31.1 版本号被 python 报出来):journal_mode = delete page_size = 4096 page_count = 151 freelist_count = 2delete 模式下没有 -wal 文件,所以 cp 看起来"没问题"。但如果备份的那一瞬间正好有事务在写,cp 出来的副本可能包含半提交的页——打开时可能报 database disk image is malformed,也可能静默丢掉最后几次写入。判断风险的方法:看有没有 -wal / -journal 文件在存在。ls -la /var/lib/typecho/ | grep -E "wal|shm|journal" || echo "当前无日志文件(但仍不能保证 cp 安全)"实测这台机器:三个都没有。但这只是"此刻没有",不代表 cp 的那一瞬间没有。三种备份方式的实测对比我在这台机器上把三种方式都跑了一遍,产物大小和耗时:方式产物大小耗时能否在线做cp618496 B1.8 ms⚠️ 有写入时不安全.backup() API618496 B13.1 ms✅ 安全VACUUM INTO585728 B6.2 ms✅ 安全,且会整理碎片三种产物我都验证了:tables=7 rows=55 integrity_check=ok,完全一致。推荐 .backup():python3 - <<'EOF' import sqlite3, time src = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) dst = sqlite3.connect('/root/backup-%s.db' % time.strftime('%Y%m%d-%H%M%S')) src.backup(dst) # 内部按页复制,并且会重试被写入的页 dst.close(); src.close() print('备份完成') EOFConnection.backup() 的好处:它在复制过程中如果遇到正在被修改的页,会自动重试,所以能拿到一致快照。VACUUM INTO 是另一个好选择(SQLite ≥ 3.27):python3 - <<'EOF' import sqlite3 c = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) c.execute("vacuum into '/root/backup-vacuum.db'") c.close() print('VACUUM INTO 完成') EOF它的额外好处:产物是整理过的(585728 B vs 618496 B,小了 32 KB,因为去掉了 freelist_count=2 的空闲页)。适合长期归档。⛔ 不要用 sqlite3 .dump——不是不好,而是这台机器根本没装 sqlite3 命令行:command -v sqlite3 || echo "sqlite3 CLI NOT FOUND"实测:sqlite3 CLI NOT FOUND这是很多精简系统的常态。用 Python 的 sqlite3 模块代替,功能完全够,而且不依赖额外安装。MySQL 的差异如果你用的是 MySQL 而不是 SQLite:# 备份(--single-transaction 保证一致性,不停机) mysqldump --single-transaction --routines --triggers \ -u root -p typecho > /root/typecho-$(date +%F).sql # 恢复 mysql -u root -p typecho < /root/typecho-2026-10-24.sql--single-transaction 是关键——它在一个事务里导出,保证数据一致,不需要锁表。三、传文件:用 rsync,别用 scp# 在旧机器上执行,推到新机器 rsync -avz --progress \ --exclude 'usr/uploads/cache/*' \ --exclude '*.log' \ /var/www/typecho/ root@NEW_IP:/var/www/typecho/rsync 相比 scp 的价值:可断点续传、可增量、可排除。几百 MB 的附件目录用 scp 传到一半断了要重来,rsync 直接续。踩坑点 1:附件目录权限传完之后,附件目录的属主往往是错的(rsync 默认保留 uid/gid,但新机器上可能没有同样的用户)。# 新机器上 chown -R www-data:www-data /var/www/typecho find /var/www/typecho -type d -exec chmod 755 {} \; find /var/www/typecho -type f -exec chmod 644 {} \; # 只有这个目录需要写权限 chmod -R 775 /var/www/typecho/usr/uploads别偷懒 chmod -R 777。那会让 PHP 能写任何文件,包括 config.inc.php——一个上传漏洞就能改你的数据库配置。踩坑点 2:config.inc.php 不要覆盖如果新机器上已经装过一份 Typecho(哪怕是为了拿目录结构),rsync 会把它的 config.inc.php 覆盖掉。而那个文件里的数据库路径、表前缀是新机器的,不该被旧机器的覆盖。# 正确做法:排除它,单独处理 rsync -avz --exclude 'config.inc.php' /var/www/typecho/ root@NEW:/var/www/typecho/ # 然后在新机器上手工确认 config.inc.php 指向正确的库踩坑点 3:验证文件数一致# 旧机器 find /var/www/typecho -type f | wc -l # 新机器 find /var/www/typecho -type f | wc -l两个数字必须一样。不一样就说明有文件没传过去,或者被 exclude 掉了不该 exclude 的东西。四、伪静态:这是 404 的头号原因文件传完、数据库导完,打开首页正常,点进文章 404——九成是伪静态规则没迁。nginx 的 try_filesTypecho 需要把不存在的路径交给 index.php:server { listen 443 ssl http2; server_name www.example.com; root /var/www/typecho; index index.php; location / { try_files $uri $uri/ /index.php$uri?$query_string; } location ~ \.php$ { include fastcgi_params; fastcgi_pass unix:/run/php/php83-fpm.sock; fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; } # 静态文件直接返回,不经过 PHP location ~* \.(js|css|png|jpg|jpeg|gif|ico|svg|woff2?)$ { expires 7d; access_log off; } }注意 /index.php$uri?$query_string 里的 $uri——这个不能漏。对比两个写法:try_files $uri $uri/ /index.php?$query_string; # ⚠️ 丢了路径 try_files $uri $uri/ /index.php$uri?$query_string; # ✅ 带上路径第一种把请求全部改写成「index.php 加查询串」,路径信息丢了。Typecho 靠 PATH_INFO 风格的路由来判断「你在访问哪篇文章」,路径没了就等于告诉它「你在访问首页」——于是所有文章页都返回首页内容,状态码还是 200。这种故障比 404 更难查:状态码是 200,页面能打开,只是内容不对。验证伪静态的三条命令# 1. 首页 curl -sS -o /dev/null -w "home=%{http_code}\n" https://www.example.com/ # 2. 文章页(这条最容易出问题) curl -sS -o /dev/null -w "post=%{http_code}\n" https://www.example.com/archives/1/ # 3. 分类页 curl -sS -o /dev/null -w "cat=%{http_code}\n" https://www.example.com/category/default/三条全 200 才算伪静态通了。只测首页是不够的——首页是 index.php 直接命中,根本用不到 try_files。而且光看状态码也不够,要确认返回的是正确的文章,不是首页顶替的:# 用标题做区分:文章页的 <title> 应该包含文章标题,不是站点名 curl -sS https://www.example.com/archives/1/ | grep -o "<title>[^<]*</title>"如果文章页返回的 <title> 是站点名而不是文章名,就是 $uri 丢了。踩坑点 4:fastcgi_pass 的 socket 路径Ubuntu 上 PHP-FPM 的 socket 路径带版本号。实测这台机器:/etc/nginx/conf.d/typecho.conf:895: fastcgi_pass unix:/run/php/php83-fpm.sock;而实际监听的 socket:srw-rw---- 1 www-data www-data 0 Oct 24 00:20 /run/php/php83-fpm.sock lrwxrwxrwx 1 root root 30 Oct 11 10:58 /run/php/php-fpm.sock -> /etc/alternatives/php-fpm.sock注意有个 php-fpm.sock 是软链接(指向 alternatives)。所以两个路径可能都能用——但如果 alternatives 指向了别的版本,软链接就会指错。从 PHP 8.1 换到 8.3 时,这个路径会变,而 nginx 配置里写死了旧路径:# 看实际在监听的 socket ls -la /run/php/*.sock如果 nginx 日志里有 connect() failed (2: No such file or directory) while connecting to upstream,就是这个原因。五、定时任务:最容易被忘的一步# 旧机器 crontab -l > /root/crontab-backup.txt cat /root/crontab-backup.txt新机器上恢复:crontab /root/crontab-backup.txt crontab -l # 确认踩坑点 5:cron.d 里的任务不会跟着 crontab -l 走ls -la /etc/cron.d/ /etc/cron.daily/ 2>/dev/null这些目录里的任务要单独复制。很多人只迁了用户 crontab,忘了系统级的。验证定时任务真的在跑(不只是"配置存在"):# 方式 1:看 cron 日志 grep CRON /var/log/syslog | tail -10 # 方式 2:让任务写个时间戳,等它执行后检查 # 在 crontab 里临时加一行: # * * * * * date >> /tmp/cron-alive.txt sleep 70 && cat /tmp/cron-alive.txt配置存在 ≠ 任务在跑。 上面第二种方式才能真正验证。六、迁移后必做的 8 项验证SITE=https://www.example.com echo "--- 1. 首页 ---" curl -sS -o /dev/null -w "%{http_code} %{time_total}s\n" $SITE echo "--- 2. 文章页(伪静态)---" curl -sS -o /dev/null -w "%{http_code}\n" $SITE/archives/1/ echo "--- 3. 后台登录页 ---" curl -sS -o /dev/null -w "%{http_code}\n" $SITE/admin/login.php echo "--- 4. RSS ---" curl -sS -o /dev/null -w "%{http_code} %{content_type}\n" $SITE/feed/ echo "--- 5. sitemap ---" curl -sS -o /dev/null -w "%{http_code}\n" $SITE/sitemap.xml echo "--- 6. 随便一个附件 ---" curl -sS -o /dev/null -w "%{http_code} %{size_download}\n" $SITE/usr/uploads/$(ls /var/www/typecho/usr/uploads | head -1) echo "--- 7. 数据库能读 ---" python3 -c "import sqlite3;c=sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro',uri=True);print('posts=',c.execute(\"select count(*) from typecho_contents where type='post' and status='publish'\").fetchone()[0])" echo "--- 8. 写入能落库(发一条测试评论或改一篇文章)---" # 这条必须真做一次,只读测试证明不了写权限第 8 项特别重要。只读验证(前 7 项)全部通过,不代表写入正常。 数据库文件权限、目录权限、SQLite 的临时目录,这些只在写的时候才暴露。最简单的写入测试:# 用后台改一篇文章的标题,点保存,然后看数据库 python3 -c " import sqlite3 c = sqlite3.connect('file:/var/lib/typecho/6abdb5f537ed4.db?mode=ro', uri=True) print(c.execute('select cid,modified from typecho_contents order by modified desc limit 1').fetchone()) "modified 应该是刚才那一刻。七、切换 DNS 之前的最后一件事用 --resolve 先在新机器上验证,别直接改 DNS。# 让 curl 连到新 IP,但用原来的域名(SNI 和 Host 头都不变) curl -sS -o /dev/null -w "new-server=%{http_code}\n" \ --resolve www.example.com:443:NEW_IP \ https://www.example.com/返回 200 就说明新机器能正常响应。返回证书错误,说明新机器上的证书没装好;返回 301/404,说明 server_name 或 try_files 有问题。这一条能避免一次线上故障:改 DNS 是有缓存和传播时间的,如果新机器其实没准备好就切了,你会有一段「部分用户访问失败」的窗口,而且回滚也要等传播。八、迁移清单(打印出来照做)□ 旧机器:记录 OS / PHP / nginx 版本 □ 旧机器:备份数据库(用 .backup() 或 VACUUM INTO,不用 cp) □ 旧机器:导出 crontab 和 /etc/cron.d/ □ 传输:rsync(排除 config.inc.php / *.log / cache) □ 新机器:chown www-data + 正确的目录权限(不是 777) □ 新机器:确认 config.inc.php 的数据库路径 □ 新机器:伪静态规则(try_files) □ 新机器:确认 fastcgi_pass 的 socket 路径 □ 新机器:恢复 crontab □ 验证:首页 / 文章页 / 后台 / RSS / sitemap / 附件 / 读库 / 写库 □ 切换:先用 --resolve 验证,再改 DNS □ 切换后:观察 1 小时,确认错误日志无新增相关阅读SQLite 博客的备份与恢复:为什么不能 cp,该用 .backup 还是 VACUUM INTO在 Alpine Linux 上从零搭一个 Typecho:nginx + php-fpm + SQLitenginx error.log 里那 5 类 warn 到底要不要管
2026年10月24日
32 阅读
0 评论
0 点赞
2026-10-24
curl --resolve 与 --connect-to 的区别:只换连接目标,不换 SNI 和 Host
这篇是排查工具笔记,和 DNS 加密本身无关。站内的加密 DNS 服务在 dns.23-4.cn。有三种场景会让你需要「连到某个特定 IP,但让 TLS 和 Host 头还是原来的域名」:换了服务器,DNS 还没切,想先在新机器上验证站点能不能正常起来;怀疑 DNS 解析到了旧 IP,想证明「问题在解析,不在服务」;同一台机器上跑了多个虚拟主机,想精确命中其中一个。/etc/hosts 能解决第一种,但它要 root、会影响整机、还要记得改回来。curl 有两个参数是专门为这件事设计的:--resolve 和 --connect-to。它们看起来像同一件事,实际差别很关键——用错了会在证书和 SNI 上踩坑,而且报错信息完全指不到真正的原因。下面的输出都是我在一台 Ubuntu 20.04、curl 7.68 上实际跑出来的。一、先看手册怎么说两条命令的 man 原文,差别一眼就能看出来。--resolve:--resolve <host:port:address[,address]...> Provide a custom address for a specific host and port pair. Using this, you can make the curl requests(s) use a specified address and prevent the otherwise normally resolved address to be used. Consider it a sort of /etc/hosts alternative provided on the command line. The port number should be the number used for the specific protocol the host will be used for.--connect-to:--connect-to <HOST1:PORT1:HOST2:PORT2> For a request to the given HOST1:PORT1 pair, connect to HOST2:PORT2 instead. This option is suitable to direct requests at a specific server, e.g. at a specific cluster node in a cluster of servers. This option is only used to establish the network connection. It does NOT affect the hostname/port that is used for TLS/SSL (e.g. SNI, certificate verification) or for the application protocols. "HOST1" and "PORT1" may be the empty string, meaning "any host/port". "HOST2" and "PORT2" may also be the empty string, meaning "use the request's original host/port".关键就那一句:--connect-to 只管建立网络连接,不影响 TLS/SSL 用的主机名和端口(也就是 SNI、证书校验),也不影响应用层协议。--resolve 手册里没写这句,但它的行为是一样的——它替换的只是「域名到地址」的解析结果,SNI 和 Host 头仍然来自你请求的 URL。一句话概括两者: 改连接目标能改端口SNIHost 头证书校验用哪个名字--resolve✅❌(只能匹配,不能换成别的端口)不变不变URL 里的域名--connect-to✅✅不变不变URL 里的域名裸 IP 访问✅✅变成 IP变成 IPIP,几乎必然失败二、--resolve:命令行版的 /etc/hosts先看基准。不加任何参数:curl -sS -o /dev/null -w 'code=%{http_code} ip=%{remote_ip}\n' https://www.23-4.cn/实测:code=200 ip=240e:95d:3020:43::4006注意 remote_ip 是个 IPv6 地址。这台机器同时有 A 和 AAAA 记录,curl 优先选了 IPv6。这本身就是个坑——你想测 IPv4 那台的时候,可能一直在打 IPv6。现在强制走 IPv4:curl -sS -o /dev/null -w 'code=%{http_code} ip=%{remote_ip}\n' \ --resolve www.23-4.cn:443:160.202.238.204 \ https://www.23-4.cn/实测:code=200 ip=160.202.238.204remote_ip 变成了 160.202.238.204,状态码还是 200。说明:连接确实打到了指定 IP,而 TLS 握手、SNI、Host 头全都还是 www.23-4.cn——所以服务端正常返回了这个站点的内容。--resolve 的格式是 host:port:address,端口必须写,而且必须和 URL 里的端口一致(https 就是 443)。它匹配的是「主机 + 端口」这个组合,所以同一个主机不同端口要写多条:curl --resolve www.example.com:443:10.0.0.1 \ --resolve www.example.com:8443:10.0.0.2 \ https://www.example.com/三、--connect-to:能换端口,这是它真正的价值--resolve 不能表达「连到 443 但从 9999 端出去」。--connect-to 可以,格式是 HOST1:PORT1:HOST2:PORT2。先验证端口真的生效——把它指到一个没人监听的端口:curl -sS -o /dev/null -w 'code=%{http_code}\n' \ --connect-to www.23-4.cn:443:160.202.238.204:9999 \ https://www.23-4.cn/实测:curl: (7) Failed to connect to 160.202.238.204 port 9999: Connection refused code=000报错里明确是 port 9999。这就证明了 PORT2 被真正用上了,不是摆设。同样的思路可以证明 --resolve 真的改了目标 IP。故意指一个不可达地址:curl -sS -o /dev/null -w 'code=%{http_code}\n' \ --resolve www.23-4.cn:443:192.0.2.1 \ https://www.23-4.cn/实测:curl: (28) Connection timed out after 6001 milliseconds code=000192.0.2.1 是 RFC 5737 保留的文档用地址,永远不可达。超时说明 curl 真的去连它了,而不是忽略了参数。四、最容易踩的坑:SNI 不会跟着变这是两个参数最反直觉的地方,也是它们的设计意图。curl -sS -o /dev/null -w 'code=%{http_code}\n' \ --resolve example.com:443:160.202.238.204 \ https://example.com/实测:curl: (60) SSL: no alternative certificate subject name matches target host name 'example.com'TLS 握手阶段就失败了。因为 SNI 发出去的是 example.com,而对方服务器出示的证书是 *.23-4.cn:timeout 8 openssl s_client -connect www.23-4.cn:443 -servername www.23-4.cn </dev/null 2>/dev/null \ | openssl x509 -noout -subject -ext subjectAltName实测:subject=CN = *.23-4.cn X509v3 Subject Alternative Name: DNS:*.23-4.cn, DNS:23-4.cnexample.com 不在这个证书的 SAN 里,校验就过不去。这个「失败」恰恰证明参数工作正常:--resolve 只换了「连哪里」,没换「我是谁」。如果它把 SNI 也一起换了,你反而失去了用它验证真实站点的能力——因为那样测的就不是你的配置,而是另一个域名的配置了。想看这个错配后面的真实响应,加 -k:curl -sS -o /dev/null -w 'code=%{http_code}\n' -k \ --resolve example.com:443:160.202.238.204 \ https://example.com/实测:code=301301 是因为请求落到了默认虚拟主机,被重定向走了。这就是「Host 不匹配」的典型表现:TLS 能过(因为 -k 跳过了校验),但 nginx 找不到对应的 server_name,于是交给默认 server 处理。五、和「直接写裸 IP」有什么区别很多人图省事直接写 IP:curl -sS -o /dev/null -w 'code=%{http_code}\n' -k https://160.202.238.204/实测:code=301看起来和上面一样,但两者不是一回事: --resolve / --connect-to裸 IP连接目标指定 IP就是这个 IPSNIwww.23-4.cn无(或 IP)Host 头www.23-4.cn160.202.238.204命中哪个 server_name正确的那个默认 server证书校验正常通过必然失败,只能 -k用裸 IP 测出来的结果不能代表真实用户拿到的结果。它走的是默认虚拟主机,可能是另一个站、可能被重定向、可能直接 404。用它来判断「新机器部署好了没」会得到完全错误的结论。这也是为什么我在 nginx 配置里留了这么一段注释:# curl --resolve dns.23-4.cn:443:160.202.238.204 ... /dns-query -> 200 ✓ # curl https://160.202.238.204/dns-query(裸 IP、无 SNI) -> 301 ✗ # curl --resolve foo.23-4.cn:443:160.202.238.204 ... /dns-query -> 301 ✗第二条是裸 IP,第三条是证书能过但 server_name 不存在的子域名——注意 foo.23-4.cn 是能通过证书校验的(*.23-4.cn 覆盖它),所以它返回 301 而不是 TLS 错误。这两种 301 长得一样,原因完全不同。六、什么时候用哪个场景用哪个理由验证新机器上的站点能否正常响应--resolve不需要改端口,最直观想测某个非标准端口上的服务--connect-to唯一能改端口的复现「DNS 解析到了旧 IP」--resolve精确指定旧 IP测内网某台机器上的同域名服务--connect-to常常端口也不一样(比如 8080)排查「是不是 SNI 的问题」两者都行 + openssl s_client -servernamecurl 不方便单独控制 SNI想故意构造 Host 不匹配裸 IP 或改 -H 'Host:'这两个参数做不到如果只是想让整台机器临时认某个 IP,用 --resolve 就够,别去改 /etc/hosts——改完忘了删,是另一类故障的开头。七、验证你到底连到了哪排查时最容易犯的错是:以为参数生效了,其实打到了别的地方。用 -w 把连接信息打出来,别靠猜。curl -sS -o /dev/null \ -w 'http=%{http_code} ip=%{remote_ip} port=%{remote_port} time=%{time_total}\n' \ --resolve www.23-4.cn:443:160.202.238.204 \ https://www.23-4.cn/%{remote_ip} 是关键字段——它告诉你实际连到哪个地址。配合 %{remote_port} 可以确认端口,%{time_connect} 能看出握手耗时是否异常。想看得更细,用 -v,重点看这三行:* Connected to www.23-4.cn (160.202.238.204) port 443 (#0) * TLSv1.3 (OUT), TLS handshake, Client hello (1) * Server certificate: * subject: CN = *.23-4.cn第一行证明「连到哪个 IP、哪个端口」,第二、三行证明「TLS 是跟谁握手的」。如果 Connected to 后面的 IP 不是你指定的那个,说明参数没生效(最常见原因是 port 写错,比如 URL 是 https:// 但 --resolve 里写了 :80)。踩坑点汇总:--resolve 的端口必须和 URL 一致。https:// 对应 443,写成 80 会静默失效——curl 找不到匹配项,就退回正常解析,你还以为参数起作用了。IPv6 优先。目标站点同时有 A/AAAA 时,不加 --resolve 可能一直在打 IPv6,看起来「换了机器没用」。加 -4 或 --resolve 强制指定。--connect-to 的空字符串表示「任意」或「沿用原值」。--connect-to ::10.0.0.1:8080 表示「所有主机所有端口都连到 10.0.0.1:8080」——调试方便,但很容易连错自己都不知道。两者都不改变 Host 头。要测「Host 头不对会怎样」,得用 -H 'Host: other.example.com',那是另一条路径。相关阅读怎么验证加密 DNS 真的生效:dig +tls / +https 与 curl 四步逐层排查网站被误拦了怎么办:怎么确认是 DNS 拦的,以及反馈后多久能修好HTTP 的 Vary 和缓存键:CDN 上那些「明明改了却没生效」
2026年10月24日
20 阅读
0 评论
0 点赞
2026-10-24
nginx error.log 里那 5 类 warn 到底要不要管
这篇是服务器运维笔记,和 DNS 无关。站内的加密 DNS 服务在dns.23-4.cn。/var/log/nginx/error.log 里堆着几万行 warn,你打开一看,第一条是「could not build optimal map_hash」——看不懂,也不敢动,就那么放着。这篇的做法是:先按级别和类型统计,再逐个判定。不看统计直接读日志,会在同一个警告上浪费半小时。下面所有数字都是我在一台跑了几个月的 Ubuntu 20.04 + nginx 1.18 上实际统计出来的。一、先按级别数一遍nginx 的日志级别从高到低:emerg > alert > crit > error > warn > notice > info。for lv in emerg alert crit error warn notice info; do printf "%-8s " "$lv" grep -c "\[$lv\]" /var/log/nginx/error.log 2>/dev/null || echo 0 done实测输出(有点反直觉):emerg 0 alert 0 crit 1 error 504 warn 2 notice 1 info 0warn 只有 2 条,error 有 504 条。这就是第一个结论:别只盯着 warn。 很多人一搜「nginx error.log warn」就以为 warn 是主要噪音,实际上在这台机器上,真正值得看的是那 504 条 error。二、按类型聚合(这一步最关键)同一类错误会重复几万次,先把它们归并:grep -E "\[error\]" /var/log/nginx/error.log \ | sed -E 's/^.*\[error\] [0-9#]+: //; s/, client.*//; s/, server.*//' \ | sort | uniq -c | sort -rn | head -12实测这台机器的前几名: 158 *9417356 access forbidden by rule 5 *9439453 connect() failed (111: Connection refused) while connecting to upstream 5 *9431818 connect() failed (111: Connection refused) while connecting to upstream 5 *9364629 access forbidden by rule 4 *9433151 connect() failed (111: Connection refused) while connecting to upstream注意 *9417356 这种是 nginx 的连接序号,每次都不一样——所以同一个错误会被拆成很多行,uniq -c 数出来的次数是被稀释的。想真正聚合,得把这个序号去掉:grep -E "\[error\]" /var/log/nginx/error.log \ | sed -E 's/^.*\[error\] [0-9#]+: \*[0-9]+ //; s/, client.*//; s/, server.*//' \ | sort | uniq -c | sort -rn | head -10实测这台机器(去掉序号后): 190 access forbidden by rule 23 connect() failed (111: Connection refused) while connecting to upstream 3 recv() failed (104: Connection reset by peer) while reading response header from upstream 2 upstream timed out (110: Connection timed out) while SSL handshaking to upstream 2 FastCGI sent in stderr: "PHP message: PHP Warning: Undefined variable $index_result ...对比一下:不去序号时 access forbidden 被拆成 158 + 5 = 163 行,去序号后是 190。 同一个错误被拆散了 27 份,你就很难判断它到底占多少比例。这一步是整篇文章的核心——不看分布就去逐条读,等于在噪音里找信号。三、五类常见 warn,逐个判定类型 1:could not build optimal map_hash(可以忽略)完整原文:could not build optimal map_hash, you should increase either map_hash_max_size: 8192 or map_hash_bucket_size: 64; ignoring map_hash_bucket_size判定:可以忽略,但值得顺手改掉。它的意思很明确:map 指令建出来的哈希表不够优,nginx 用了备用方案。功能完全正常,只是查找时多比较几次。为什么会有这个警告?因为你用了 map,而 map_hash_max_size 相对 map 的条目数偏小。看你有多少个 map 块:grep -c "^ *map " /etc/nginx/nginx.conf /etc/nginx/conf.d/*.conf实测:/etc/nginx/nginx.conf:0 /etc/nginx/conf.d/00-dns-cors-map.conf:3 /etc/nginx/conf.d/typecho.conf:0 /etc/nginx/conf.d/zz-agh-doh.conf:1 /etc/nginx/conf.d/zz-sy-tls.conf:15 个 map 块。而配置里其实已经设过 map_hash_max_size:/etc/nginx/nginx.conf:14: # nginx -t 报 "could not build optimal map_hash"。加大到 8192。 /etc/nginx/nginx.conf:15: map_hash_max_size 8192;但警告还在——因为这条指令写在 http 块里,而某些 map 块可能在 include 之后才被解析。正确做法是把它提到 http 块的最前面:http { # 必须放在任何 map 之前 map_hash_max_size 8192; map_hash_bucket_size 128; include /etc/nginx/conf.d/*.conf; }顺便说一个判据:这条警告会出现在 nginx -t 的输出里,所以不用等运行时才发现。nginx -t实测这台机器:nginx: [warn] could not build optimal map_hash, you should increase either map_hash_max_size: 8192 or map_hash_bucket_size: 64; ignoring map_hash_bucket_size nginx: the configuration file /etc/nginx/nginx.conf syntax is ok nginx: configuration file /etc/nginx/nginx.conf test is successful注意:nginx -t 成功了,但 warn 还在。 这说明它确实是「配置能跑、只是不最优」,不是错误。踩坑点:map_hash_max_size 和 map_hash_bucket_size 是两条不同的指令,调整哪个取决于 map 的条目数还是键长:条目多(几百上千)→ 加 map_hash_max_size;键很长(URL 路径做 key)→ 加 map_hash_bucket_size。警告里说「increase either ... or ...」就是因为它不确定你该调哪个。盲目两个都加到很大只是浪费内存。类型 2:an upstream response is buffered to a temporary file(要处理)[warn] an upstream response is buffered to a temporary file /var/lib/nginx/tmp/fastcgi/1/98/0000002981 while reading upstream判定:要处理,但优先级低于它引发的磁盘问题。它的意思是:上游(这里是 PHP-FPM)返回的响应大于 nginx 的缓冲区,nginx 把它写到了磁盘临时文件。功能上没问题,响应还是会完整返回。但两个副作用:慢——多了一次磁盘写读;占空间——/var/lib/nginx/tmp 会持续增长,小根分区上可能撑爆。处理方式(按响应大小调):location ~ \.php$ { # 让缓冲区能装下正常响应 fastcgi_buffers 16 16k; fastcgi_buffer_size 32k; fastcgi_busy_buffers_size 64k; # 给临时文件设上限,避免无限增长 fastcgi_max_temp_file_size 0; }fastcgi_max_temp_file_size 0 表示完全禁用临时文件——如果响应超了缓冲区,直接报错而不是写盘。要不要这么激进取决于你的业务:响应通常不大 → 设 0,宁可报错也不占盘;有正常的大响应(比如导出文件)→ 保留一个上限,比如 64m。实测这台机器:0 条这类 warn。 所以虽然它是最常被讨论的一类,但不一定是你的问题。类型 3:access forbidden by rule(不是故障)[error] *9417356 access forbidden by rule, client: 2409:8a5c:894:8170:..., server: www.23-4.cn, request: "GET /dns-status/p2p/p2p/status HTTP/2.0"判定:不是故障,是你在拦人。这条是 deny all 或 location ~ /\. 之类的规则命中了。上面那条是有人在探测 /dns-status/p2p/p2p/status(一个不存在的路径),被规则挡了。它记在 [error] 级别,但语义是「正常工作」——这正是为什么不能只看级别。如果你不想让这类噪音占满日志,可以把那个 location 的日志关掉:location ~ /\. { deny all; access_log off; error_log off; }⚠️ 这里有个版本陷阱,我实际踩到了。 网上流传的另一种写法是用 map 动态调日志级别:# ⛔ 这段在 nginx 1.18 上不生效 map $request_uri $log_level { default warn; ~^/dns-status/ crit; } error_log /var/log/nginx/error.log $log_level;error_log 的第二个参数支持变量,是 nginx 1.19.5 之后才有的能力。先查你的版本:nginx -v实测这台机器:nginx version: nginx/1.18.0 (Ubuntu)1.18 —— 不支持。写了这段,nginx 会忽略变量(或者直接报配置错误),你以为降级了其实没有。Ubuntu 20.04 的官方源就是 1.18,要这个特性得升到 1.20+ 或者用 nginx 官方源。在升级之前,老老实实用 error_log off 按 location 关。别直接 error_log /dev/null——那会把整个 server 块(甚至整个 http 块)的真正问题也一起吞掉,包括上面那些 111 和 110。类型 4:connect() failed (111: Connection refused) while connecting to upstream[error] *9439453 connect() failed (111: Connection refused) while connecting to upstream判定:要查,但通常是「后端没起来」而不是「nginx 配错了」。111 是 ECONNREFUSED:连接被拒绝。含义是「目标端口上没有进程在监听」。排查顺序:# 1. 上游地址是什么?看 nginx 配置 grep -rn "proxy_pass\|fastcgi_pass" /etc/nginx/conf.d/*.conf | head -5 # 2. 那个端口有没有在监听 ss -tlnp | grep ':3000 ' # 3. 直接连一下试试 curl -sS -m 5 -o /dev/null -w '%{http_code}\n' http://127.0.0.1:3000/如果第 2 步是空的,就是后端没起来。别去改 nginx——它没错。这台机器上的实例很有说服力。把 23 条 Connection refused 按上游地址聚合:grep "Connection refused" /var/log/nginx/error.log \ | grep -oE 'upstream: "[^"]+"' | sort | uniq -c | sort -rn | head -5实测: 14 upstream: "http://127.0.0.1:9100/ingest" 4 upstream: "http://127.0.0.1:9100/chat_poll?since=3498" 4 upstream: "http://127.0.0.1:9100/chat_poll?since=3497" 1 upstream: "http://127.0.0.1:9100/chat_poll?since=3499"全部指向 127.0.0.1:9100 的同一个后端。 结论很清楚:那个服务在某个时段挂了,nginx 正常地记录了连接失败。修法是让那个服务起来(或者加 systemd 自动重启),跟 nginx 配置一点关系都没有。这条聚合命令的价值就在这里:它把「23 条 error」直接压缩成「1 个后端有问题」。类型 5:SSL_do_handshake() failed ... bad key share[crit] SSL_do_handshake() failed (SSL: error:141CF06C:SSL routines: tls_parse_ctos_key_share:bad key share) while SSL handshaking, client: 203.75.213.2, server: 0.0.0.0:443判定:忽略。这是扫描器/老旧客户端。bad key share 表示客户端在 TLS 1.3 握手里发了一个无效的 key share。正常浏览器不会这样,通常是漏洞扫描器或者不完整的 TLS 实现。它记在 [crit] 级别——最高的实际级别(emerg/alert 都是 0)。看到 crit 很容易紧张,但这一条完全可以忽略。怎么确认是扫描器:grep "bad key share" /var/log/nginx/error.log | grep -oP 'client: \K[0-9.]+' | sort | uniq -c | sort -rn | head -5如果同一个 IP 短时间内出现几十次,基本就是扫描。四、判定流程(照着走)LOG=/var/log/nginx/error.log echo "=== 1. 级别分布(先看有没有 crit/alert/emerg)===" for lv in emerg alert crit error warn; do printf "%-8s " "$lv"; grep -c "\[$lv\]" $LOG done echo "=== 2. 类型分布(去掉连接序号才能真正聚合)===" grep -E "\[(error|crit|warn)\]" $LOG \ | sed -E 's/^.*\[[a-z]+\] [0-9#]+: \*[0-9]+ //; s/, client.*//; s/, server.*//' \ | sort | uniq -c | sort -rn | head -10 echo "=== 3. 有没有真影响业务的 ===" grep -c "buffered to a temporary file" $LOG grep -c "Connection refused" $LOG grep -c "upstream timed out" $LOG echo "=== 4. 临时目录有没有撑大 ===" du -sh /var/lib/nginx/tmp 2>/dev/null || echo "(无此目录)"验证做对了没有:改完配置后 nginx -t 必须通过;nginx -s reload 之后,新产生的日志里目标类型的条目不再增加(wc -l 前后对比);站点本身 curl -o /dev/null -w '%{http_code}' 仍然是 200。# 记录基线 before=$(wc -l < $LOG) # 做一次 reload nginx -t && nginx -s reload # 等 60 秒,制造一些流量,再看增量 sleep 60 after=$(wc -l < $LOG) echo "新增 $((after - before)) 行"五、一张判定表warn / error 内容要管吗一句话could not build optimal map_hash可忽略功能正常,只是哈希表不最优;顺手把 map_hash_max_size 提到 include 之前an upstream response is buffered to a temporary file要管慢 + 占盘;调 fastcgi_buffers 或设 max_temp_file_sizeaccess forbidden by rule不用管你在拦探测;嫌吵就单独关那个 location 的日志connect() failed (111)要查后端没起来,不是 nginx 的问题SSL_do_handshake() failed ... bad key share可忽略扫描器;看 client IP 分布确认upstream timed out要查后端慢,先看后端自己的日志worker_connections are not enough要管并发不够,调 worker_connections 或 worker_processes六、结论三件事,按顺序:先数级别,确认有没有 emerg/alert/crit——这三个才是「真的出事」;再聚合类型,一定要把 *连接序号 去掉,否则同一类错误会被拆成几千行;按表判定,access forbidden 和 bad key share 看着吓人但没事,buffered to a temporary file 看着温和但会撑爆磁盘。日志里的级别和严重程度不是一回事。[error] 可能只是有人在扫你的站,[warn] 可能正在慢慢写满你的根分区。相关阅读服务器磁盘满了怎么查:df / du / inode / 日志轮转的可执行排查顺序进程被 OOM Killer 杀掉之后:dmesg 怎么读、怎么防止再发生谁在占着这个端口:ss / lsof / /proc 三条路各自的盲区
2026年10月24日
4 阅读
0 评论
0 点赞
1
2
3