NFS 实战与排错 — mount/exports 配置、抓包与 hang 死定位

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

# 抓完整 NFS 会话（含 v3 的 111/mountd）
sudo tcpdump -i eth0 -s 0 -w nfs.pcap \
  'port 2049 or port 111 or port 20048'

# 统计各操作耗时（Wireshark 的 RPC 服务响应时间统计）
tshark -r nfs.pcap -q -z rpc,srt,100003,3 # v3
tshark -r nfs.pcap -q -z rpc,srt,100003,4 # v4

# 找出所有慢请求
tshark -r nfs.pcap -Y 'rpc.time > 1' -T fields \
  -e frame.number -e ip.src -e nfs.procedure_v3 -e rpc.time

# 看客户端自报的 UID（验证 AUTH_SYS 的不安全性）
tshark -r nfs.pcap -Y 'rpc.auth.flavor == 1' -T fields \
  -e ip.src -e rpc.auth.uid -e rpc.auth.gid

# 统计错误分布
tshark -r nfs.pcap -Y 'nfs.status != 0' -T fields -e nfs.status | sort | uniq -c | sort -rn

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

Remote Procedure Call, Type:Call XID:0x3f2a1b4c
    XID: 0x3f2a1b4c (1059427148) ← 请求响应配对键
    Message Type: Call (0)
    Program: NFS (100003) ← 程序号
    Program Version: 3
    Procedure: READ (6) ← 过程号
    Credentials
        Flavor: AUTH_UNIX (1) ← 弱认证
        Length: 32
        Stamp / Machine Name: client01
        UID: 1001 ← 客户端【自称】的 UID，服务器直接信任
        GID: 1001
        Auxiliary GIDs (2): 10, 100

Network File System, READ Call FH: 0x8f3d2a1c Offset: 0 Len: 131072
    [Program Version: 3]
    file: /export/data/app.log
        filehandle: 0100070100000000... ← 不透明的 64 字节句柄
    Offset: 0
    Count: 131072 ← rsize，通常 128KB 或 1MB

1
2
3
4
5
6
7

# Debian / Ubuntu
sudo apt install nfs-kernel-server
# RHEL / Rocky
sudo yum install nfs-utils

sudo systemctl enable --now nfs-server
sudo systemctl status nfs-server

1
2
3
4
5
6
7
8

# 格式： <导出目录> <客户端1>(选项...) <客户端2>(选项...)
# 客户端与左括号之间【不能有空格】！有空格 = 对所有人开放该选项，是经典安全事故

/export/data 192.168.1.0/24(rw,sync,no_subtree_check,root_squash)
/export/pub *(ro,sync,no_subtree_check,all_squash,anonuid=65534,anongid=65534)
/export/home 192.168.1.10(rw,sync,no_subtree_check) 192.168.1.11(ro,sync,no_subtree_check)
/export/k8s 10.0.0.0/8(rw,sync,no_subtree_check,no_root_squash) # 高危，仅受控环境
/export/v4root 192.168.1.0/24(rw,sync,fsid=0,no_subtree_check) # NFSv4 伪根

1
2
3
4
5
6
7
8

sudo exportfs -ra # 重新读取 /etc/exports 并生效（-r 重导出 -a 全部）
sudo exportfs -v # 查看当前导出（含所有实际生效的默认选项）
sudo exportfs -u 192.168.1.0/24:/export/data # 临时取消某个导出
sudo exportfs -o rw,sync,no_subtree_check 192.168.1.5:/tmp/adhoc # 临时导出（不写文件）

# 强制 NFSv4 only（关闭 v3，省掉 rpcbind 与动态端口）
sudo sed -i 's/^# *vers3=.*/vers3=n/' /etc/nfs.conf # 或编辑 [nfsd] 段
sudo systemctl restart nfs-server

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

# /etc/nfs.conf
[mountd]
port = 20048
[statd]
port = 32765
outgoing-port = 32766
[lockd]
port = 32803
udp-port = 32769

sudo systemctl restart nfs-server rpcbind

# 防火墙放行
sudo firewall-cmd --permanent --add-service=nfs
sudo firewall-cmd --permanent --add-service=mountd
sudo firewall-cmd --permanent --add-service=rpc-bind
sudo firewall-cmd --reload

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

# 探测：服务器导出了什么（v3 的 MOUNT 协议，v4-only 服务器会失败）
showmount -e 192.168.1.100
showmount -a 192.168.1.100 # 谁挂载了（依赖 rmtab，未必准确）
showmount -d 192.168.1.100 # 被挂载的目录列表

# 探测：RPC 服务清单与端口
rpcinfo -p 192.168.1.100
rpcinfo -t 192.168.1.100 nfs 3 # 测试 NFS v3 是否可达
rpcinfo -T tcp 192.168.1.100 nfs

# 查看服务器支持的 NFS 版本
rpcinfo -p 192.168.1.100 | grep nfs

# ---------- 挂载 ----------
sudo mkdir -p /mnt/data

# NFSv4（推荐）—— 注意 v4 路径是相对于 fsid=0 伪根的
sudo mount -t nfs4 -o vers=4.2,hard,rsize=1048576,wsize=1048576,timeo=600,retrans=2 \
  192.168.1.100:/data /mnt/data

# NFSv3
sudo mount -t nfs -o vers=3,proto=tcp,hard,rsize=131072,wsize=131072,timeo=600,retrans=2 \
  192.168.1.100:/export/data /mnt/data

# Kerberos 加密挂载
sudo mount -t nfs4 -o sec=krb5p 192.168.1.100:/data /mnt/data

# 只读挂载
sudo mount -t nfs4 -o ro 192.168.1.100:/data /mnt/data

# ---------- 查看挂载信息 ----------
mount | grep nfs
findmnt -t nfs,nfs4 # 树形显示，更清晰
cat /proc/mounts | grep nfs # 看【实际生效】的全部参数（含内核默认值）
nfsstat -m # 每个挂载点的详细参数与统计

# ---------- 卸载 ----------
sudo umount /mnt/data
sudo umount -l /mnt/data # lazy umount，服务器挂了时用（先摘下再慢慢清理）
sudo umount -f /mnt/data # 强制（可能失败）

1
2
3
4
5
6
7
8

# NFSv4，网络就绪后再挂，避免开机 hang 死
192.168.1.100:/data /mnt/data nfs4 rw,hard,vers=4.2,rsize=1048576,wsize=1048576,timeo=600,retrans=2,_netdev,x-systemd.automount,x-systemd.mount-timeout=30 0 0

# 关键参数：
# _netdev 标记为网络设备，等网络起来
# x-systemd.automount 按需挂载（首次访问时才挂），避免开机卡住
# x-systemd.mount-timeout=30 挂载超时
# noauto 不自动挂（配合 autofs）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

nfsstat -c # 客户端统计（各操作调用次数）
nfsstat -s # 服务端统计
nfsstat -rc # RPC 统计，重点看 retrans（重传）和 authrefrsh
nfsstat -m # 每个挂载点的参数 + 每操作的平均 RTT/执行时间

# 实时 I/O 监控（最实用的性能工具）
nfsiostat 2 10 # 每 2 秒一次，共 10 次
mountstats /mnt/data # 超详细统计
cat /proc/self/mountstats

# 服务端连接数
ss -tn state established '( sport = :2049 )' | wc -l

# 服务端 nfsd 线程数（默认 8，高负载需调大）
cat /proc/fs/nfsd/threads
echo 64 > /proc/fs/nfsd/threads # 临时
# 永久：/etc/nfs.conf 的 [nfsd] threads=64

# 谁在占用挂载点（卸载失败时用）
sudo lsof +D /mnt/data
sudo fuser -vm /mnt/data

1
2
3
4

# 服务端日志是最直接的线索
sudo journalctl -u nfs-server -f
sudo tail -f /var/log/messages | grep -i 'rpc.mountd\|nfsd'
# 典型：rpc.mountd[1234]: refused mount request from 192.168.1.50 for /export/data: not exported

1
2
3
4
5
6

# 快速验证 UID 一致性
echo "=== client ==="; id zhangsan
ssh server 'echo "=== server ==="; id zhangsan'

# 看 NFS 上文件的实际属主
ls -ln /mnt/data # -n 显示数字 UID，一眼看出映射问题

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 客户端恢复
cd / # 先离开该目录
sudo umount -l /mnt/data # lazy umount
sudo mount -a

# 根治：服务端固定 fsid
uuidgen # 生成一个 UUID
# /etc/exports:
# /export/data 192.168.1.0/24(rw,sync,no_subtree_check,fsid=8f1a2b3c-...)
sudo exportfs -ra

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# 定位是哪个挂载点出问题（不要直接敲 df，它自己也会 hang！）
cat /proc/mounts | grep nfs # 读 /proc 不会 hang
timeout 3 df -h # 加超时保护
findmnt -t nfs4 -o TARGET,SOURCE # 也不会 hang

# 找出卡住的进程
ps -eo pid,stat,wchan:30,cmd | awk '$2 ~ /D/'
cat /proc/<PID>/stack # 看内核栈，会看到 rpc_wait_bit_killable

# 内核日志
dmesg -T | grep -i 'nfs: server .* not responding'
# 典型：nfs: server 192.168.1.100 not responding, still trying
# nfs: server 192.168.1.100 OK ← 恢复后自动继续

# 应急处理（按激烈程度递增）
sudo umount -l /mnt/data # ① lazy umount，最常用，立刻摘掉挂载点
sudo umount -f -l /mnt/data # ② 强制 + lazy
# ③ 恢复服务器网络后，hard 挂载会自动继续，D 状态进程自行退出
# ④ 实在不行只能重启客户端（D 状态进程无法被杀死）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

# ① 看实际的 rsize/wsize（很多"性能差"就是块太小）
nfsstat -m | grep -E 'rsize|wsize'
# 理想值：局域网 1048576（1MB）；若显示 32768 说明协商出了问题

# ② 看重传（网络丢包 / 服务端过载）
nfsstat -rc
# retrans 占比 > 1% 就有问题

# ③ 看每操作的延迟
nfsiostat 2
# 关注 avg RTT (ms)：正常 <5ms；>50ms 说明服务端或网络有问题

# ④ 抓包看慢请求
tshark -i eth0 -Y 'rpc.time > 0.5' -T fields -e nfs.procedure_v3 -e rpc.time

# ⑤ 服务端 nfsd 线程是否打满
cat /proc/net/rpc/nfsd | grep '^th'
# 第 2 个数字是"所有线程都忙"的次数，持续增长说明线程不够

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

# ① 绝不暴露公网。NFS 无内置加密，AUTH_SYS 形同虚设
# 只在内网/VPN 内使用，防火墙精确限制源 IP

# ② exports 使用具体网段，禁止 *
/export/data 192.168.1.0/24(rw,sync,no_subtree_check,root_squash) # ✅
/export/data *(rw,no_root_squash) # ❌ 灾难

# ③ 保持 root_squash；no_root_squash 只在完全受控环境用

# ④ 客户端挂载加安全选项
mount -t nfs4 -o nosuid,nodev,noexec server:/data /mnt/data

# ⑤ 生产环境用 Kerberos
mount -t nfs4 -o sec=krb5p server:/data /mnt/data
# krb5 = 仅认证
# krb5i = 认证 + 完整性校验
# krb5p = 认证 + 完整性 + 【加密】← 唯一能防窃听的

# ⑥ 自查暴露面
nmap -p 111,2049 --script nfs-showmount,nfs-ls,nfs-statfs <目标IP>
showmount -e <你的公网IP> # 如果能列出导出 = 已暴露，立即整改

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

showmount -e SERVER # 看导出了什么
rpcinfo -p SERVER # 看 RPC 服务与端口
exportfs -v # 服务端：看实际生效的导出
exportfs -ra # 服务端：重载 exports
mount -t nfs4 -o vers=4.2,hard SERVER:/data /mnt/data
nfsstat -m # 看挂载参数与统计
nfsiostat 2 # 实时 I/O 与延迟
umount -l /mnt/data # 服务器挂了时救急
cat /proc/mounts | grep nfs # 不会 hang 的挂载点查看方式
ps -eo pid,stat,wchan:30,cmd | awk '$2~/D/' # 找 D 状态进程