虚拟化 on T.本秋的自留地

黑群晖与 PVE：SMART 修复与 ACL 权限

Mon, 07 Jul 2025 21:00:20 +0800

前言
#

这是一篇记录自己折腾的过程的文章，可能会随着我的折腾过程补充，可能开会补一点动机或者小技巧之类的，所以你看到的不一定是完整版~

直通 SATA 控制器的硬盘 SMART 修复
#

使用 PVE 直通我的 SATA 控制器进群晖，发现命令行的 SMART 的功能不正常，表现就是没法显示其中的详细信息，而且温度显示为 0°C。

虽然群晖里面显示有温度，但是最新的 DSM7.2.2 已经没法在桌面端读取 SMART 信息了，不知道是出于什么考虑。

在 shell 里面是这样的：

texsd@tnas ~ [2]> sudo smartctl -a /dev/sata1
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-5.10.55+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               WDC
Product:              WD40EJRX-89AKWY0
Revision:             0B80
User Capacity:        4,000,787,030,016 bytes [4.00 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
LU is fully provisioned
Rotation Rate:        5400 rpm
Form Factor:          3.5 inches
Logical Unit id:      0x50014ee2bed41999
Serial number:        WD-XXXXXXXXXXXX
Device type:          disk
Local Time is:        Thu Jul 10 21:23:30 2025 CST
SMART support is:     Unavailable - device lacks SMART capability.

=== START OF READ SMART DATA SECTION ===
Current Drive Temperature:     0 C
Drive Trip Temperature:        0 C

Error Counter logging not supported


[GLTSD (Global Logging Target Save Disable) set. Enable Save with '-S on']
Device does not support Self Test logging

我问了下 Gemini，跟我说消费级主板不支持，叫我买 LSI 卡，我当时想麻烦了，亏我专门找一块 4SATA 的板子。

问题解决
#

我先是一通操作，把 SATA 控制器直通进 Arch 虚拟机，发现是能成功读取的。那说明是 DSM 出了点问题。在 RR 里面一通乱改添加smartctl，本来以为成了，结果接上三块硬盘，一看，只有其中一块是正常的。

看了网上一些教程，发现要手动指定设备类型，才能正确读出硬盘的 smart 信息。

群晖手动改了 sata 盘的名字，不是 sd[a-z]了，而是 sata[1-9]。所以我得这样获取：

sudo smartctl -d sat -a /dev/sata1

smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-5.10.55+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD40EJRX-89AKWY0
Serial Number:    WD-XXXXXXXXXXXX
LU WWN Device Id: 5 0014ee 2bed41999
Firmware Version: 80.00B80
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Form Factor:      3.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Thu Jul 10 21:33:49 2025 CST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (41760) seconds.
Offline data collection
capabilities:                    (0x11) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        No Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 443) minutes.
SCT capabilities:              (0x303d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME                                                   FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate                                              0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time                                                     0x0027   223   219   021    Pre-fail  Always       -       3850
  4 Start_Stop_Count                                                 0x0032   100   100   000    Old_age   Always       -       303
  5 Reallocated_Sector_Ct                                            0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate                                                  0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours                                                   0x0032   056   056   000    Old_age   Always       -       32405
 10 Spin_Retry_Count                                                 0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count                                          0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count                                                0x0032   100   100   000    Old_age   Always       -       203
192 Power-Off_Retract_Count                                          0x0032   200   200   000    Old_age   Always       -       79
193 Load_Cycle_Count                                                 0x0032   200   200   000    Old_age   Always       -       233
194 Temperature_Celsius                                              0x0022   110   105   000    Old_age   Always       -       40
196 Reallocated_Event_Count                                          0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector                                           0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable                                            0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count                                             0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate                                            0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Aborted by host               90%     32358         -
# 2  Short offline       Completed without error       00%     32333         -
# 3  Short offline       Completed without error       00%     25336         -
# 4  Short offline       Completed without error       00%     25093         -
# 5  Short offline       Completed without error       00%     15531         -
# 6  Short offline       Completed without error       00%     15527         -
# 7  Short offline       Completed without error       00%     15527         -
# 8  Short offline       Completed without error       00%      7694         -
# 9  Short offline       Completed without error       00%      6217         -
#10  Short offline       Completed without error       00%      3870         -
#11  Short offline       Completed without error       00%      3869         -
#12  Short offline       Completed without error       00%      3868         -
#13  Short offline       Completed without error       00%      3609         -
#14  Short offline       Completed without error       00%      3598         -
#15  Short offline       Completed without error       00%      3545         -
#16  Short offline       Completed without error       00%      3524         -
#17  Short offline       Completed without error       00%      3335         -
#18  Short offline       Completed without error       00%      3033         -
#19  Short offline       Completed without error       00%         0         -
#20  Short offline       Completed without error       00%         0         -
#21  Short offline       Completed without error       00%         0         -

Selective Self-tests/Logging not supported

确实获取到了，但是为什么呢？

问题溯源
#

得懂能行，更得明白为什么可以这样。

我去翻了smartctl的 manual，里面关于-d是这么写的：

...

       smartctl guesses the device type if possible.  If necessary, the '-d' option can be used
       to override this guess.

...

       -d TYPE, --device=TYPE
              Specifies the type of the device.  The valid arguments to this option are:

              auto  -  attempt to guess the device type from the device name or from controller
              type info provided by the operating system or from a matching USB ID entry in the
              drive database.  This is the default.

              test - prints the guessed TYPE, then opens the device and  prints  the  (possibly
              changed) TYPE name and then exits without performing any further commands.

              ata  - the device type is ATA.  This prevents smartctl from issuing SCSI commands
              to an ATA device.

              scsi - the device type is SCSI.  This prevents smartctl from issuing ATA commands
              to a SCSI device.

              nvme[,NSID] - the device type is NVM Express (NVMe).  The optional parameter NSID
              specifies the namespace id (in hex) passed to the driver.  Use 0xffffffff for the
              broadcast namespace id.  The default for NSID is the namespace  id  addressed  by
              the device name.

              sat[,auto][,N]  -  the device type is SCSI to ATA Translation (SAT).  This is for
              ATA disks that have a SCSI to ATA Translation Layer (SATL) between the  disk  and
              the  operating  system.   SAT  defines two ATA PASS THROUGH SCSI commands, one 12
              bytes long and the other 16 bytes long.  The default is the 16 byte variant which
              can be overridden with either '-d sat,12' or '-d sat,16'.

              If '-d sat,auto' is specified, device type SAT (for ATA/SATA disks) is only  used
              if  the  SCSI INQUIRY data reports a SATL (VENDOR: "ATA     ").  Otherwise device
              type SCSI (for SCSI/SAS disks) is used.

好家伙！原来是给我自动在猜啊😲

康康你猜到了什么~

texsd@tnas ~> sudo smartctl -d test /dev/sata1
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-5.10.55+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

/dev/sata1: Device of type 'scsi' [SCSI] detected
/dev/sata1: Device of type 'scsi' [SCSI] opened
texsd@tnas ~ [255]> sudo smartctl -d test /dev/sata2
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-5.10.55+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

/dev/sata2: Device of type 'scsi' [SCSI] detected
/dev/sata2: Device of type 'scsi' [SCSI] opened
texsd@tnas ~ [255]> sudo smartctl -d test /dev/sata3
smartctl 6.5 (build date Sep 26 2022) [x86_64-linux-5.10.55+] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

/dev/sata3: Device of type 'scsi' [SCSI] detected
/dev/sata3 [SAT]: Device open changed type from 'scsi' to 'sat'
/dev/sata3 [SAT]: Device of type 'sat' [ATA] opened

所以问题已经很清晰了，PVE 在把 SATA 控制器直通的时候，识别出了一点问题，没有正确的报告需要使用 sat(SCSI to ATA Translation)，同时 DSM 配套的smartctl太旧了，猜错了，没有猜到这一个 SCSI 控制器是需要使用 sat 来翻译，直接使用 SCSI 来获取 SMART 信息，就没法读取到正确的信息。

但是为什么是 SCSI 控制器？我不是把 PCIe 设备直通吗？

这还是挺奇妙的，因为 PVE 很懒，只想加载一个 VirtIO SCSI 驱动，不想再折腾一个 SATA 驱动，所以虚拟机看到的，是一个 SCSI 设备，想猜出是 sat，得靠点想象力。

但是新版的smartctl就成功了，~~这就不得不提 Arch 的滚动更新的优越性了~~

一些知识补充：

SCSI 并不是为了磁盘而生的，而是一个系统的接口，用于连接大量外围设备的。它的成本早期非常高昂，需要一个独立的 SCSI 控制器，所以只有高端工作站才用得起。八十年代，IBM 兼容机崛起，为了降低成本，人们开发了 ATA (IDE)，这个控制器的成本低廉，而且控制部分集成在硬盘上，大幅降低了成本。（这就是为什么 SAS 硬盘没法接在 SATA 控制器上，但是反过来就可以）

突然想起了*nix 和 dos 的斗争，当年的 dos 也太简陋了，连用户管理都没有，早年我说这设计那么垃圾的系统，自动补全又没有，用的逆天的反斜杠，怎么当时会抢占那么多市场？

但是人家确实打下了市场，就是因为硬件要求低。

所以说当时降本是当时时代的趋势，就算现在 SAS 阵列卡已经白菜价了，*nix 甚至占用比 Windows 还低，但是前者估计是不太可能回到消费级电子领域了，后者可能还有点希望，得指望 deepin 和信创了。

群晖的文件权限管理
#

我们已经早都知道，传统的 Linux 权限很简单而且很不方便，只能设置所有者、组和其他的权限，随后拓展出来的 ACL 规则则很灵活。但是群晖上面没有setfacl和getfacl之类的命令，取而代之的是synoacltool，应该是存了数据库以便 web 也能够正确使用这些权限。

我从旧 NAS 迁移过来的数据是使用 rsync 的，旧 nas 的权限管理比较混乱，导致所有存储的文件都是 UID0（root），迁移过来就造成了一些问题。

我不知道群晖是怎么实现网页可以读写的，但是我在 shell 里面就没法进入这些文件夹，此时就需要修复。

群晖提供的方便的 webui 来修改，在共享文件夹的子文件夹右键 - 属性 - 权限。此时会显示此共享文件夹默认配置的权限，点击下面的“应用到这个文件夹、子文件夹及文件”，保存。此时群晖就把这个文件夹改成 ACL 模式，使得在 shell 里面也能访问。

但是我有些疑问：

1. 为什么改 ACL 那么快？
#

当您在 File Station 的图形界面中勾选“应用到子文件夹…”时，您不是在运行一个简单的脚本，而是在向 DSM 的核心服务发出一个高级指令。

这个指令更像是：“嘿，DSM 内核/存储服务，请你用最高效的方式，把这个 ACL 策略应用到整个文件夹树”。

DSM 的底层服务接收到这个“批发订单”后，会直接在内核层面或者以最优化的方式遍历文件系统的元数据 (metadata)。它可以批量处理、减少磁盘 I/O、避免不必要的上下文切换，效率远非 chmod -R 可比。

（摘抄自 Gemini 的回答）

2. ACL 是怎么工作的？
#

通过 ACL 管理的权限，我很意外的发现ls的显示已经不正常了。先举个例子：

ACL 规则是这样的：

texsd@tnas /volume1> sudo synoacltool -get 个人数据
ACL version: 1
Archive: has_ACL,is_support_ACL
Owner: [root(user)]

         [0] group:administrators:allow:rwxpdDaARWc--:fd-- (level:0)
         [1] group:custom_user:allow:rwxpdDaARWc--:fd-- (level:0)
         [2] user:ActiveBackup:allow:rwxpdDaARWc--:fd-- (level:0)

可以看到，我在administrators组，有访问这个目录的权限。

我用ls查看权限：

texsd@tnas /volume1> ls -lah |grep 个人数据
drwxrwxrwx+  1 root         root           86 Jul  8 11:11  个人数据

我看到所有人都是有这个权限的。

guest 用ls查看权限：

guest@tnas:/volume1$ ls -lah | grep 个人数据
d---------+  1 root         root           86 Jul  8 11:11 个人数据

他没有任何权限，自然无法进入。

所以说，ACL 实际上改变了每个人看到的ls信息，在 ACL Mode 下，ls的输出已经不准确了。

3. 虽然说权限已经不准确了，那么所有者和组怎么样？
#

所有者和组仍然是以创建的用户为准的。谁创建的就是谁和启主要用户组（UID 显示的组）。

4. ACL 让我整个终端显示都是一片绿，为什么要在 POSIX 的 rwx 中设置为 777？
#

这里有一个小前置知识，如果其他用户可写，那么就会显示为绿色背景，如果文件可执行，就是显示为绿色字体。

因为 ACL 已经接管了权限管理，所以说 POSIX 显示的已经不够用了，比如说我上面的例子，有两个组都能访问这个文件夹，这个究竟如何界定？

如果使用 770，那么指的是 users 才有这个权限，实际上并不是。

所以，ACL 让每个人看到的东西不一样，这里的 777 表示有极大的权限，反之没权限的为 000，不是传统意义上面的 421 了。

~~我明白为什么 fish 不兼容 POSIX 了，因为确实不符合现代的一些实践了~~

参考
#

维护 Esxi 的小记

Fri, 20 Jun 2025 23:53:22 +0800

前言
#

学校社团的虚拟机空间快要不够了，派我进行整理以下虚拟机。看了一通，发现好多虚拟机是厚制备的，感叹当时买新硬盘的时候真是奢侈！

现在空间快要用尽了，用了百分之八十左右，大家还在讨论要不要给 esxi 加一块硬盘。我提出其实没必要，因为很多空间是可以压缩的，比如一台FreshCup机子，本身就只有一个服务，但是当时磁盘选了厚置备，只用了 13G，但是占用了快 50G，这真浪费啊！于是便有了这篇文。

初探 ESXi 内部结构
#

开始我脑子没转过来，还想着找一台大硬盘的电脑，用 WorkStation 来进行压缩。不知道是不是无线的问题，下载速度不过百兆出头，这对于几十个 G 来说真是挑战！

但是你看 ESXi 的那个 webui 叫作一个完成度低啊，根本找不到转换的选项。

我之前也听说过 ESXi 用的是定制的系统，但是人家竟然能用 22 端口访问，登录进去甚至还有 bash，GNU 的基本工具还是有的，但是稍微常见一点的工具比如curl就没有了。

这个系统是什么呢？
#


[root@localhost:/vmfs/volumes/65522cf6-65fd4b38-f248-6c92bfca102e] uname -a
VMkernel localhost 7.0.3 #1 SMP Release build-21686933 Apr 28 2023 08:42:51 x86_64 x86_64 x86_64 ESXi

呃呃，VMkernel，大概是基于unix定制的吧，但是我觉得也有可能是linux。

看看硬盘占用情况？
#


[root@localhost:/vmfs/volumes/65522cf6-65fd4b38-f248-6c92bfca102e] df -h
Filesystem   Size   Used Available Use% Mounted on
VMFS-6     745.0G 481.7G    263.3G  65% /vmfs/volumes/99-datastore0
VFFS       103.5G   3.5G    100.0G   3% /vmfs/volumes/OSDATA-654f485c-fa8f3400-bbb9-6c92bfca102e
vfat         4.0G 204.8M      3.8G   5% /vmfs/volumes/BOOTBANK1
vfat         4.0G  64.0K      4.0G   0% /vmfs/volumes/BOOTBANK2

（完成了才贴上来，假装没看到剩余的 263G 空间吧）

有什么特殊工具？
#

当然，这个系统里面有一大堆 vm 开头的工具，这就是为了命令行管理用的 ESXi 专有工具了。

我主要用的就是vmkfstools这个工具。

这个工具用起来思路也非常清晰：

**用-i来指定输入的虚拟磁盘。**这里注意是那个后缀最短的vmdk，如果是多文件的话，这个文件包含了一个虚拟磁盘使用的所有文件清单。
用-K压缩现有的精简置备磁盘。
用-d thin指定创建一个精简置备磁盘

最后跟上你要输出的磁盘名字，跟不跟都行，看参数。

坑点
#

本来这块硬盘空间就不剩多少了，所以我开始直接根据厚置备的磁盘生成一个精简置备的磁盘。因为按照正常的逻辑，生成的精简置备磁盘大小只有十几 G，那么我现有的空间还是够的。

结果失败了，试了好几次，都不行。（坑点 1）

我决定把磁盘搞到电脑上面，用 WorkStation 来转换。转换也成功，生成的磁盘是我需要的精简类型，占用正常。然后我就转移回 ESXi 上面，结果导入失败。

ESXi 不支持多文件的磁盘格式，这台是 7.0。可能旧的确实不可以吧？（坑点 2）

我又创建了一个单文件的精简置备移回去，这时候我正好删除了其他不要的虚拟机，总空间>50G 了，传上去了我也没管这台是否占用了这么大的空间。

然后我觉得这样太费事了，怎么不能在主机上面直接压缩？接着我就使用那个命令行工具压缩，但是压了好几次，该填零的也用dd/sdelete填充了，但是使用ls发现显示的还是 50G！

我以为这是 bug，但是真正的问题在ls和vmfs上。（坑点 3）

众所周知，Android 上使用 KernelSU 的时候，有的人会看到自己的手机显示成使用 2T 的存储，但是事实上很多人根本没有 2T 的手机，这是因为稀疏文件（Sparse file）造成的。使用 ls 列出的就是 2T，我估计手机厂商获取的时候也是用类似的方法做统计，所以闹出了这一出。

其实还有别的例子，比如说 btrfs 就不能用du正确显示，就是因为文件系统的各种特性导致的。

所以说，其实我使用-K压缩，结果是成功的，而且使用du也可以直接看到，ESXi 的状态面板也可以直接看到存储被释放了。但是我怎么在这个坑上面找问题，找了那么久，唉唉唉

虚拟化 on T.本秋的自留地

黑群晖与 PVE：SMART 修复与 ACL 权限

前言 #

直通 SATA 控制器的硬盘 SMART 修复 #

问题解决 #

问题溯源 #

群晖的文件权限管理 #

1. 为什么改 ACL 那么快？ #

2. ACL 是怎么工作的？ #

3. 虽然说权限已经不准确了，那么所有者和组怎么样？ #

4. ACL 让我整个终端显示都是一片绿，为什么要在 POSIX 的 rwx 中设置为 777？ #

参考 #

维护 Esxi 的小记

前言 #

初探 ESXi 内部结构 #

这个系统是什么呢？ #

看看硬盘占用情况？ #

有什么特殊工具？ #

坑点 #

前言
#

直通 SATA 控制器的硬盘 SMART 修复
#

问题解决
#

问题溯源
#

群晖的文件权限管理
#

1. 为什么改 ACL 那么快？
#

2. ACL 是怎么工作的？
#

3. 虽然说权限已经不准确了，那么所有者和组怎么样？
#

4. ACL 让我整个终端显示都是一片绿，为什么要在 POSIX 的 rwx 中设置为 777？
#

参考
#

前言
#

初探 ESXi 内部结构
#

这个系统是什么呢？
#

看看硬盘占用情况？
#

有什么特殊工具？
#

坑点
#