Btrfs修复 - 郑羊羊咩的窝

看到这篇文章，大概都是看到这条错误开始的

1
wrong fs type, bad option, bad superblock on /dev/sdx, missing codepage or helper program, or other error.

因为nas电源可能不太够，在插入硬盘的时候导致正在读写的主硬盘掉盘了，重启后群辉报错，存储空间只读，ssh上去重新挂载了下是可以挂读写的，因为不可能吧数据全部拷贝出来格式化，因为网上几乎0资料，摸索到凌晨3点，下面记录一下修复操作

ssh上去，换成root权限来执行

1
sudo su

检查一下错误日志

1
dmesg | grep BTRFS

发现有以下错误

1
btrfs error (device dm-2): qgroup generation mismatch, marked as inconsistent

卸载分区

1
df -h
2
umount -fl /dev/mapper/cachedev_2

进行分区修复，需要一会

1
btrfs check --repair /dev/mapper/cachedev_2

如果上面那条秒退出，那么可以试试下面这两条再去试试上一条

1
btrfs check --clear-space-cache v1 /dev/mapper/cachedev_2
2
btrfs check --clear-space-cache v2 /dev/mapper/cachedev_2

修超级快，不需要修会自动跳过的

1
btrfs rescue super-recover -v /dev/mapper/cachedev_2

计算校验，需要很长时间，没有输出，处理完会退出

1
btrfs scrub start -Bf /dev/mapper/cachedev_2

可以开一个新终端用这条命令检查计算校验的进度

1
btrfs scrub status /dev/mapper/cachedev_2

最后，清错误记录

1
btrfs rescue zero-log /dev/mapper/cachedev_2

清错误计数器

1
btrfs dev stats -z /dev/mapper/cachedev_0

重启nas

明明都没有错误了，还是只读？不要慌
点开存储管理器，点报警的存储空间右边三个点，转换为读/写
然后无论再怎么重启都能正常读写了

2022年3月9日，Pve的Btrfs突然提示空间不足，df -h显示还有4G可用，重启了一下，就显示可用0了，实际上总空间减去已用还有4G

1
Filesystem                Size      Used Available Use% Mounted on
2
/dev/sdb3                29.3G     25.9G      0  100% /mnt/sdb3

看了一下 btrfs fi df /mnt/sdb3 发现Metadata要满了，那么怎么扩展Btrfs的Metadata呢？

尝试了一下 btrfs bal start /mnt/sdb3 进行清理优化，提示空间不足，无法进行

建一个5G的文件在另一个硬盘，并用 losetup 把它挂成一个虚拟硬盘

1
dd if=/dev/zero of=/mnt/sda1/tmpBtrfs.img bs=1G count=5
2
losetup -v -f /mnt/sda1/tmpBtrfs.img

把这个虚拟盘加到当前有问题的存储空间中

1
btrfs device add /dev/loop1 /mnt/sdb3

如果无法操作显示只读，那么需要这样清掉缓存

1
btrfs check --clear-space-cache v1 /dev/sdb3
2
btrfs check --clear-space-cache v2 /dev/sdb3

这时候去 df -h显示已经正常了，只要进行一下清理优化，Metdata就会自动扩展（不需要跑完全程，跑一会Ctrl + C掐掉再去看其实已经增加了）

1
btrfs bal start /mnt/sdb3

这时候这5G虚拟盘就已经完成他的使命了，把它卸掉

1
btrfs device delete /dev/loop1 /mnt/sdb3
2
losetup -d /mnt/sda1/tmpBtrfs.img
3
rm /mnt/sda1/tmpBtrfs.img

用btrfs组raid的时候有时莫名奇妙就挂不上去了，明明盘都在线却显示

1
BTRFS warning :  devid 2 uuid 43870ae8-44c9-4f4d-9463-0917b94bc581 is missing

这时候只要运行一下 blkid 显示一下所有分区的uuid，就能正常挂载了，咩咩也不知道是什么原理

这是一些额外的内容#

压缩#

挂载时-o加上参数compress=zlib

手动压缩(空间回收清理)

1
btrfs filesystem defragment -r -v  -czstd 挂载点

子卷#

1
# 创建
2
btrfs subvolume create 路径
3
# 删除
4
btrfs subvolume delete 路径
5
# 显示所有
6
btrfs subvolume show
7
# 显示单个
8
btrfs subvolume show 路径
9
# 挂载成压缩的
10
mount -o compress=zlib,subvol=子卷名字 主盘的设备 路径

快照#

非常不建议用跟挂载点来装文件，而是建一个子卷@来作为根节点使用，这样方便快照处理
然后在这个@下创建一个.snapshots文件夹，把/@snapshots子卷挂上去用
需要先创建一个子卷来存储快照，比如/opt是一个btrfs分区的根挂载点

1
# 如果你不使用采纳上述建议，可以直接创建在根节点，和文件放在一起
2
btrfs subvol create /opt/@snapshots
3
# 如果你使用上述方案，你需要先挂载他实际的根
4
mkdir /mnt/realroot
5
mount -t btrfs -o subvol=/ /dev/sdb4 /mnt/realroot
6
# 创建快照子卷
7
btrfs subvol create /mnt/realroot/@snapshots
8
# 创建用于存文件的子卷，并设置成默认券
9
btrfs subvol create /mnt/realroot/@
10
btrfs subvolume set-default /mnt/realroot/@
11
# 并且把它重新挂载一下，挂载默认的子卷不需要指定名字，记得写到fstab
12
mount -t btrfs /dev/sdb4 /opt
13
mkdir /opt/.snapshots
14
mount -t btrfs -o subvol=/@snapshots /dev/sdb4 /opt/.snapshots

照个快照(只读的，去掉-r可以变成读写的)

1
btrfs subvol snapshot -r /opt /opt/.snapshots/`date +%Y-%m-%d`

删除快照

1
btrfs subvol delete /opt/.snapshots/快照的那个目录

备份到其他地方（只支持只读快照）这里使用zstd快速压缩

1
btrfs send /opt/.snapshots/快照的那个目录 | zstd -T0 -9 -c > 保存路径

还原

1
# 这个操作需要在跟节点上操作，比如说得这样挂载
2
mount -t btrfs -o subvol=/ /dev/sdb4 /mnt/realroot
3
# 注意，这还原的依然是个快照，只读的，比如你备份的快照是2025-03-01，那他就会输出到保存路径下的2025-03-01里
4
zstd -d 备份文件 -c | btrfs receive 保存路径
5
# 因为无法将文件还原到btrfs真正的根节点上，所以还原到@上
6
# 如果你有@，先删掉，或者mv一下原地改个名字来备份也是可以的
7
btrfs subvol delete @
8
btrfs subvol snapshot 你最新的快照 @
9
btrfs subvolume set-default @

请举一反三，简单的说，就是吧快照再快照一遍出来用，当你有多次增量快照时，你把快照子卷都还原回去后，直接快照最新的那个来用就行

增量拷贝

1
btrfs send -p /opt/.snapshots/旧快照 /opt/.snapshots/新快照 | btrfs receive 保存路径

空间限制#

有个问题，就是程序拿不到这个限制后的剩余空间，而是拿到全部的

1
# 开启功能
2
btrfs quota enable 路径
3
# 设置限制最大占10G 解除限制设置成none
4
btrfs qgroup limit 10G 路径

raid#

使用btrfs，可以实现多盘raid0并且空间利用率100%，当然了数据火葬场（
直接多盘格式化的话就像是jbod那样连在一起的
可以看这个视频，也可以看下面的内容 https://www.bilibili.com/video/BV1g14y1h7B3
先给大盘sdg分区，第一个分区从2048到+按第二块盘sdh的block数-1，剩下的分一个区
格式化

1
mkfs.btrfs -L wxr0 -m raid0 -d raid0 /dev/sdh /dev/sdg1

给他挂载到一个目录，然后

1
btrfs device add /dev/sdg2 挂载点

这样就得到了一个空间利用率100%的raid0，前面的部分是两个盘的raid0，后面连接着大盘剩下的空间
简单点说，就相当于在两块盘上做了一个两盘raid0和一个单盘raid1，再把这两做个jbod，但这个过程无需系统内核软raid参与，如你所见，视频是在openwrt上进行这种神仙操作的
作为缓存盘，速度和容量优先，要说安全性，btrfs有crc校验能告诉你哪些文件坏了

恢复被误删但还打开着的文件#

1
lsof | grep deleted | awk '!a[$2]++{print("deleted /proc/"$2"/fd"); system("ls -l /proc/"$2"/fd")}' | grep deleted

deleted开头的行则为上方文件指针所在路径
说人话就是这样恢复 cp 要恢复的文件上面deleted开头右侧的路径/要恢复的文件箭头左侧的那一个数字 保存的文件名
比如

1
deleted /proc/673140/fd
2
lrwx------ 1 root root 64 Apr 27 09:22 35 -> /var/lib/pve/local-btrfs/images/103/vm-103-disk-0/disk.raw (deleted)

恢复到/var/lib/pve/local-btrfs/images/103/vm-103-disk-0/disk.raw1

1
cp /proc/673140/fd/35 /var/lib/pve/local-btrfs/images/103/vm-103-disk-0/disk.raw1

关于DUP#

目前默认btrfs会将元数据（Metadata记录了文件存在哪里）和文件系统数据（System）使用DUP存储，哪怕你是单盘，DUP会在同一块盘上存储两份一样的数据，以保证在一份坏的时候还可以读取零一份，这会比raid1更加自由和安全，但是会影响性能，或是让本就拮据的空间更加雪上加霜，可以在格式化时指定为single模式（只存一份），在使用btrfs作为pve的虚拟硬盘空间的时候，建议使用single

1
mkfs.btrfs -m single -d single -L 卷标 硬盘或分区的设备路径

其中，当前文件系统的配置可以这样查看（还能查看uuid用于写fstab）

1
btrfs filesystem show
2
btrfs filesystem usage 挂载点

调整大小#

是的，分区不只是可以放大，还能缩小
当然了，gparted确实可以实现调整大小（并且和命令一样）但是他不会维护你的分区uuid，会导致系统盘直接无法启动，所以需要用gisk操作一下
先换成root，开始操作，我这需要操作的分区为/dev/sdb的第4个分区，也就是/dev/sdb4，请举一反三

1
gdisk /dev/sdb
2
# 查看分区
3
p
4
i
5
# 输入你希望修改的分区号，并记录输出的Partition unique GUID
6
4
7
# 退出
8
q

此时可以用gparted去调分区大小，或者按下面操作，要是出错，那就是缩太小了，调大点即可

1
# 先把分区挂在到一个地方
2
mkdir sparkle
3
mount /dev/sdb4 sparkle
4
# 调整btrfs大小到5100M 可以带单位，最大就写max
5
btrfs filesystem resize 5100M sparkle
6
# 卸载，调整分区大小
7
umount /dev/sdb4
8
gdisk /dev/sdb
9
# 记住你要修改的分区的Start和Code
10
p
11
i
12
# 为了避免你刚才没有记录Partition unique GUID，现在可以记录一下
13
4
14
d
15
# 输入你希望修改的分区号
16
4
17
n
18
# 输入你希望修改的分区号
19
4
20
# 输入你刚记录的Start
21
1187840
22
# 输入分区大小，为了保险可以比btrfs的大小稍微大一点, 扩大到最大直接回车就行
23
+5200M
24
# 输入你刚记录的Code
25
8300
26
x
27
c
28
# 输入你希望修改的分区号
29
4
30
# 输入你之前记录的Partition unique GUID
31
B0B70132-B2DA-0941-9E7E-F57B87585945
32
m
33
# 这一步会写入磁盘，如果前面做错了可以直接按Ctrl+C退出
34
w
35
y

如果你用gparted调好了，那就按照下面的步骤来

1
# 卸载分区
2
umount /dev/sdb4
3
gdisk /dev/sdb
4
x
5
c
6
# 输入你希望修改的分区号
7
4
8
# 输入你之前记录的Partition unique GUID
9
B0B70132-B2DA-0941-9E7E-F57B87585945
10
m
11
# 这一步会写入磁盘，如果前面做错了可以直接按Ctrl+C退出
12
w
13
y

这样就调整完毕了
另外提醒一下，如果你dd到另一个盘，要调大，需要在gdisk里先执行x,e,m来把分区表调整到实际大小，然后再执行分区大小调整，再执行btrfs调整，请举一反三

检查并修复文件损坏#

如果因为意外断电或是其他原因导致文件系统读写出现io错误或是其他的问题，并且在硬盘smart报告正常没有坏道的情况下，可以使用校验对损坏的部分进行修复，如果smart报告有坏道，建议是先全盘dump或是备份能复制出来的文件
比如在 dmesg 时出现像这样的错误

1
[7773336.920021] BTRFS warning (device nvme0n1p3): csum failed root 256 ino 358 off 60783452160 csum 0x6a963d6c expected csum 0x9af01a40 mirror 1
2
[7773336.920029] BTRFS error (device nvme0n1p3): bdev /dev/nvme0n1p3 errs: wr 0, rd 0, flush 0, corrupt 11518, gen 0
3
[7773336.920031] BTRFS warning (device nvme0n1p3): direct IO failed ino 358 op 0x0 offset 0xe26f9e000 len 4096 err no 10

首先先将分区挂载，这个检查的过程可以在线进行

1
# 开始检查
2
btrfs scrub start 挂载点位置
3
# 查看检查的进度
4
btrfs scrub status 挂载点位置

这是一条用于PVE服务器的sn770 2T，写入478T，虽然smart没有报告任何错误，但看起来已有大量无法修复的错误

1
UUID:             47102369-5280-47ee-8f3e-62030bf039e6
2
Scrub started:    Mon Aug 26 15:05:50 2024
3
Status:           finished
4
Duration:         0:08:57
5
Total to scrub:   1.23TiB
6
Rate:             2.15GiB/s
7
Error summary:    csum=9609
8
  Corrected:      0
9
  Uncorrectable:  9609
10
  Unverified:     0