IMAP 实战与排错 — 抓包、手工会话与同步问题诊断

Wireshark 过滤 IMAP、openssl 手工完整会话、同步不一致/IDLE 掉线/UIDVALIDITY 变更排查、与 POP3 对比速查

Table of Contents

这篇你能学到

  • 怎么在 Wireshark / tcpdump 里看懂 IMAP 那种"命令带标签、响应可能乱序"的对话，并从 * n EXISTS、* n EXPUNGE 还原服务器推了什么变化。
  • 怎么用 openssl / curl / imaplib 手工跑一遍完整会话，从登录一路敲到按 MIME 段下附件。
  • 遇到"邮件全量重下"“收不到新信"“多端已读不同步"“删了还在"时的结论先行式排查路径，以及 IMAP 与 POP3 的对比速查和高频面试题。

1. 抓包观察

1.1 Wireshark 过滤式

这些过滤式的作用是：把 IMAP 会话从流量里挑出来，并进一步只看某条命令、只看失败响应，或直接定位 IDLE、UIDVALIDITY、TLS 升级这些关键时刻。

目的过滤式
所有 IMAP / 明文 / 加密imap / tcp.port==143 / tcp.port==993
客户端命令 / 服务端响应imap.request / imap.response
某命令 / 登录 / 失败imap.request.command=="FETCH" / "LOGIN" / imap.response.status matches "^(NO|BAD)$"
抓 IDLE / UIDVALIDITY / TLS 升级imap contains "IDLE" / "UIDVALIDITY" / "STARTTLS"

Follow → TCP Stream 看完整标签化对话；因流水线，同一流中命令可能乱序，按标签配对阅读。

1.2 关键字段与同步判断

这些字段的作用是：把每条命令和它的最终响应配上对，并读出括号里的 [UIDVALIDITY xxx]、[READ-WRITE] 这类决定同步行为的关键信息。

字段说明
imap.request.tag / .command / .parameter标签、命令、参数
imap.response.tag响应标签；* 未标记，+ 续行
imap.response.statusOK/NO/BAD/PREAUTH/BYE
imap.response.description含 [UIDVALIDITY xxx]、[READ-WRITE] 等

查 * n EXISTS（总数）、* n EXPUNGE（被删）、* n FETCH (FLAGS ...)（标志变更推送）即可还原服务器推给客户端的变化。

1.3 命令行抓包

这两条命令的作用是：第一条把 143/993 的 IMAP 流量整段存盘供事后按标签慢慢对照；第二条直接打印 143 明文，用于确认有没有走加密。

1
2

sudo tcpdump -i any -nn -s0 'tcp port 143 or tcp port 993' -w imap.pcap
sudo tcpdump -i any -nn -A 'tcp port 143' # 明文

2. 常用命令 / 配置

这组命令的作用是：先确认端口通不通、有没有 SRV 服务发现记录，再用 openssl 建一条加密通道准备手工敲命令。

1
2
3
4
5
6
7
8

# 连通性 + 服务发现（RFC 6186 SRV）
nc -zv imap.qq.com 993
dig +short SRV _imaps._tcp.example.com
Test-NetConnection imap.qq.com -Port 993 # PowerShell

# openssl 手工
openssl s_client -crlf -connect imap.qq.com:993
openssl s_client -crlf -starttls imap -connect host:143 # 143 显式升级

手工会话（993，每条命令带标签）——它能干什么：把一个邮件客户端后台干的事全部摊开手工做一遍，从登录、列文件夹、搜未读，到只取头部、看 MIME 树、单独下第 2 段附件，每一步都能验证服务器的真实行为：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

a001 CAPABILITY
a002 LOGIN alice@example.com 授权码
a003 LIST "" "*"
a004 STATUS INBOX (MESSAGES UNSEEN UIDNEXT UIDVALIDITY)
a005 SELECT INBOX
a006 UID SEARCH UNSEEN
a007 UID FETCH 2048:2050 (UID FLAGS RFC822.SIZE ENVELOPE)
a008 UID FETCH 2048 (BODY.PEEK[HEADER.FIELDS (FROM SUBJECT DATE)])
a009 UID FETCH 2048 (BODYSTRUCTURE)
a010 UID FETCH 2048 (BODY.PEEK[2]) ← 只下第2段附件
a011 UID STORE 2048 +FLAGS (\Seen)
a012 UID MOVE 2049 "Archive"
a013 LOGOUT

“某信打不开"时先 UID FETCH n (BODYSTRUCTURE) 看 MIME 树，再针对段 BODY.PEEK[x] 定位。

curl / Python——它们能干什么：把手工会话变成可脚本化的自动检查，例如定时查未读、只拉头部做告警。curl "imaps://imap.qq.com:993/INBOX?UNSEEN" -u user:授权码；Python imaplib.IMAP4_SSL(host,993).login() → select(readonly=True)（等价 EXAMINE 不置 Seen）→ uid('SEARCH',None,'UNSEEN') → uid('FETCH',uid,'(BODY.PEEK[HEADER.FIELDS (FROM SUBJECT DATE)])')。

服务端（Dovecot）——这几条能干什么：站在服务器一侧确认协议开没开、谁在连、这个文件夹的 UIDVALIDITY 是多少，以及在索引损坏时重建。doveconf -n | grep -iE 'protocols|ssl'；doveadm who（会话）；doveadm mailbox status -u alice all INBOX（看 UIDVALIDITY）；doveadm force-resync -u alice INBOX（索引损坏重建，注意可能改变 UIDVALIDITY）。

3. 常见故障与排错

现象可能原因排查
连接超时先记住结论：还没进到协议层，是端口或监听的问题。 143/993 被封；未监听Test-NetConnection -Port 993；ss -lntp | grep -E '143|993'
NO [AUTHENTICATIONFAILED]先记住结论：口令这关没过，多半是用了登录密码而非授权码。 用登录密码非授权码；未开 IMAP；需 XOAUTH2开 IMAP 生成授权码；Gmail/M365 用 AUTHENTICATE XOAUTH2
BAD Invalid command先记住结论：BAD 一律先怀疑自己命令写错，最常见就是忘了加标签。 命令没带标签；错误状态发命令（未 SELECT 就 FETCH）每条命令加唯一标签；BAD 先疑语法
NO Mailbox doesn't exist先记住结论：文件夹名字没写对，而不是文件夹没了。 文件夹名大小写/分隔符错；中文未按 modified UTF-7LIST "" "*" 看真实名与分隔符（/或.），原样用
全量重新下载先记住结论：服务器换了文件夹版本号，你的缓存被判作废了。 UIDVALIDITY 变化（重建/迁移/force-resync）比对 SELECT 的 [UIDVALIDITY] 与历史；勿随意重建索引
长时间收不到新信先记住结论：不是没新信，是那条挂着等推送的长连接被中间设备掐了。 IDLE 长连接被 NAT/防火墙回收每≤29分钟重发 IDLE；调大空闲超时；开 TCP keepalive
多设备已读不同步先记住结论：先怀疑有一端根本不是 IMAP。 有端实际是 POP3；或 PEEK 却从不 STORE \Seen检查各端类型；确认发出 UID STORE +FLAGS (\Seen)
删了仍在列表先记住结论：打了删除标记不等于删了。 只 STORE \Deleted 未 EXPUNGE手工 EXPUNGE 验证；核对删除行为设置
移动后重复先记住结论：三步式移动中途断了，复制成功但原件没清掉。 COPY+STORE+EXPUNGE 三步中途失败支持则改原子 MOVE（CAPABILITY 含 MOVE）
预览被标已读先记住结论：你用错了取信方式，BODY[...] 会隐式标已读。 用 BODY[...] 非 BODY.PEEK[...]；用 SELECT 非 EXAMINE预览用 BODY.PEEK；只读浏览用 EXAMINE
同步慢/流量爆炸先记住结论：你在整封整封地下载，而 IMAP 本来可以只点几个字段。 每封 FETCH RFC822 全下；未增量列表只取 ENVELOPE/HEADER.FIELDS；UID FETCH <last+1>:* 增量
连接数超限先记住结论：IDLE 开太多，一个文件夹一条连接很容易撞上限。 每文件夹一条 IDLE，开太多减同时 IDLE 数；调大 mail_max_userip_connections
中文主题/文件夹乱码先记住结论：不是编码坏了，是这两处用的根本不是 UTF-8。 主题未 RFC 2047 解码；文件夹名未 modified UTF-7用成熟库（email/imaplib）而非手工解析

排错顺序一句话：先看 TCP/TLS 建没建起来 → 再看 LOGIN 返回 NO 还是 BAD → 通过之后再分"同步问题"还是"内容问题”。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

flowchart TD
    A[IMAP 异常] --> B{TCP/TLS 建立吗}
    B -- 否 --> B1[端口封禁/证书错 openssl验证]
    B -- 是 --> C{LOGIN 结果}
    C -- "NO AUTH" --> C1[授权码/未开IMAP/需XOAUTH2]
    C -- "BAD" --> C2[命令缺标签或语法错]
    C -- "OK" --> D{同步还是内容}
    D -- 全量重下 --> D1[比对 UIDVALIDITY 是否重建]
    D -- 收不到新信 --> D2[IDLE被回收 29分钟重发/keepalive]
    D -- 状态不同步 --> D3[确认各端IMAP非POP3]
    D -- 删除异常 --> D4[STORE Deleted后需EXPUNGE或改MOVE]
    D -- 太慢太耗流量 --> D5[ENVELOPE/HEADER.FIELDS+UID增量]

4. 与其他协议对比

4.1 IMAP vs POP3

维度IMAPPOP3
RFC / 端口RFC 3501（rev2 9051）；143/993RFC 1939；110/995
主副本位置服务器（客户端缓存）客户端（服务端默认删）
多设备同步已读/星标/文件夹全同步完全不同步
服务端文件夹任意层级增删仅 INBOX
部分获取按头部字段、按 MIME 段精确仅 TOP（头部+前n行）
搜索 / 推送SEARCH 多条件全文 / IDLE无 / 仅轮询
并发多连接、流水线排他锁单连接
复杂度高（数十条命令）极低（约12条）

4.2 邮件协议端口全景

协议职责明文端口加密端口RFC
SMTP 中继MTA 间投递2525+STARTTLS5321
SMTP 提交客户端发信587+STARTTLS465 隐式 TLS6409/8314
POP3下载1109951939
IMAP同步管理1439933501/9051

4.3 IMAP4rev1 vs rev2（RFC 9051）

项目rev1rev2
\Recent / LSUB保留移除（LSUB 由 LIST SUBSCRIBED 替代）
UTF-8 文件夹名modified UTF-7原生 UTF-8
MOVE/UNSELECT/SPECIAL-USE需扩展并入核心

5. 常见面试题

Q1 IMAP 与 POP3 核心差异？ 状态与主副本归属：IMAP 以服务器为唯一真相源，标志/文件夹操作写回服务器，天然多端同步；POP3 下载到本地默认删服务端副本，设备彼此隔离。

Q2 四状态与命令？ 未认证（CAPABILITY/STARTTLS/LOGIN）、已认证（LIST/CREATE/STATUS/APPEND/SELECT）、已选择（FETCH/STORE/SEARCH/COPY/MOVE/EXPUNGE/IDLE）、注销（LOGOUT）；错误状态发命令得 BAD。

Q3 为何命令带标签？ 标签配对响应，支持流水线：不必等前条响应即可连发，服务器可乱序返回，高延迟下省总耗时；POP3 无标签只能串行。

Q4 序号/UID/UIDVALIDITY？ 序号 1..N 位置编号，EXPUNGE 会前移，不能跨命令引用；UID 单调递增不复用。UIDVALIDITY 是文件夹版本号，不变则缓存有效，变了须清空全量重同步。

Q5 IDLE 实现推送与坑？ 发 IDLE 进等待，服务器变化时主动发 * n EXISTS。坑：依赖长连接，NAT/防火墙回收空闲连接，须每29分钟内重发；IDLE 只作用于当前 SELECT 文件夹，多文件夹需多连接。

Q6 预览不标已读？ 用 EXAMINE 只读打开；抓取用 BODY.PEEK[...] 而非 BODY[...]（后者隐式加 \Seen）。

Q7 删除为何两步？ STORE +FLAGS (\Deleted) 仅标记，EXPUNGE 才移除，便于反悔。实践多改 MOVE 到废纸篓，MOVE（RFC 6851）原子，避免 COPY+EXPUNGE 中断重复。

Q8 慢且费流量如何优化？ ①列表只取 ENVELOPE/HEADER.FIELDS；②BODYSTRUCTURE 看树后按段 BODY.PEEK[段号] 下附件；③UID FETCH <上次最大+1>:* 增量；④IDLE 替代高频轮询。

Q9 中文文件夹乱码？ rev1（RFC 3501）要求 modified UTF-7 编码，按 UTF-8 解即乱码。正确按 modified UTF-7 解码，或升级 IMAP4rev2（原生 UTF-8）。

Q10 IMAP 能发信吗？ 不能，发信走 SMTP（587/465）。发成功后客户端用 IMAP APPEND 把副本写入"已发送"文件夹，使其他设备可见发件记录。