プロジェクト

全般

プロフィール

機能 #6320

自宅HDDのファイルを整理する

直野 雄一10ヶ月前に追加. 3ヶ月前に更新.

ステータス:
新規
優先度:
通常
担当者:
-
開始日:
期日:
進捗率:

0%

予定工数:
Issue Tracker:

説明

ファイル構造がめちゃくちゃなので、整理する。

作業

  • HDDをLVMで連結する
    • 余裕があれば、LVM RAID logical volumeにしたい
    • 復旧手段も調べておく
  • とりあえず、rsyncでミラーリングする
  • ファイル種別ごとに分類する
  • 全てminio管理下に配置する
  • 2次バックアップ・サイトへの定期バックアップをセットアップする

関連するチケット

関連している my-services - 機能 #5572: Dockerホストを整理する→ファイルを整理する終了2018-05-01

関連している my-services - 機能 #6261: minioサービスを構成する終了2018-05-07

関連している my-services - 機能 #6332: 自宅macOSにu6kサービスを戻す新規

関連している my-services - サポート #6441: 定期 毎週 HDDをミラーリングする終了2019-03-04

履歴

#1 直野 雄一10ヶ月前に更新

  • 関連している 機能 #5572: Dockerホストを整理する→ファイルを整理する を追加

#2 直野 雄一10ヶ月前に更新

LVMの整理をしようにも空き容量が不足しているので、新規HDDを購入することにした。

また、全ての外付けストレージをLVMで連結することにする。最終的には、全てminioに集約したい。

万が一、OSが吹っ飛んだ場合は、次の手順で復旧できると考えている。

#3 直野 雄一10ヶ月前に更新

LVMでRAID1を構築したい。LVM自体にミラーリング機能があるらしい。

#4 直野 雄一10ヶ月前に更新

LVM RAID logical volumeのクラッシュに対する対応手順。

#5 直野 雄一10ヶ月前に更新

  • 関連している 機能 #6261: minioサービスを構成する を追加

#6 直野 雄一10ヶ月前に更新

  • 関連している 機能 #6332: 自宅macOSにu6kサービスを戻す を追加

#7 直野 雄一10ヶ月前に更新

ファイルをDebianサーバーに移行中。

$ ls -la                                      total 5580
drwxr-xr-x   7 root root    4096 Jun 10 03:22 .
drwxr-xr-x   3 root root    4096 Jun  6 22:12 ..
drwxr-xr-x 170 u6k  u6k     4096 May 24 14:39 comic
drwxr-xr-x   2 u6k  u6k  5578752 Jun 27  2017 comic-hash           drwx------   2 root root   16384 Jun  6 21:49 lost+found
drwxr-xr-x  14 u6k  u6k     4096 May 21 18:18 movie.sod
drwxr-xr-x   2 u6k  u6k   102400 Jun 27  2017 movie.sod-hash
$ df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                    991M     0  991M   0% /dev
tmpfs                   201M  7.2M  194M   4% /run
/dev/sda1               8.7G  1.5G  6.8G  18% /
tmpfs                  1003M     0 1003M   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                  1003M     0 1003M   0% /sys/fs/cgroup
/dev/mapper/lvg1-data1  2.7T  2.4T  156G  95% /mnt/data
tmpfs                   201M     0  201M   0% /run/user/1001

#8 直野 雄一10ヶ月前に更新

ファイルを移行中。

$ ls -la
total 5584
drwxr-xr-x   8 root root    4096 Jun 12 10:15 .
drwxr-xr-x   3 root root    4096 Jun  6 22:12 ..
drwxr-xr-x 170 u6k  u6k     4096 May 24 14:39 comic
drwxr-xr-x   2 u6k  u6k  5578752 Jun 27  2017 comic-hash
drwxr-xr-x   3 u6k  u6k     4096 May 31 17:01 docker-volumes.bak
drwx------   2 root root   16384 Jun  6 21:49 lost+found
drwxr-xr-x  14 u6k  u6k     4096 May 21 18:18 movie.sod
drwxr-xr-x   2 u6k  u6k   102400 Jun 27  2017 movie.sod-hash
$ du -sh *
397G    comic
893G    comic-hash
8.4G    docker-volumes.bak
du: cannot read directory 'lost+found': Permission denied
16K     lost+found
483G    movie.sod
684G    movie.sod-hash
$ df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                    991M     0  991M   0% /dev
tmpfs                   201M  7.2M  194M   4% /run
/dev/sda1               8.7G  1.5G  6.8G  18% /
tmpfs                  1003M     0 1003M   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                  1003M     0 1003M   0% /sys/fs/cgroup
/dev/mapper/lvg1-data1  2.7T  2.5T  147G  95% /mnt/data
tmpfs                   201M     0  201M   0% /run/user/1001

#9 直野 雄一10ヶ月前に更新

移行中。残りのフォルダ。

$ du -sh *
356G    backup
 20G    docker-volumes
8.6G    game
3.7G    movie.ero-hash
445G    movie.normal-hash
2.9G    movie.youtube-dl
 30G    onedrive_saori
1.1G    photo
1.5G    pict
7.5G    pict-hash
168K    youtube-dl

移行先の状態。

$ ls -la
total 5860
drwxr-xr-x  13 u6k  u6k     4096 Jun 12 15:12 .
drwxr-xr-x   3 root root    4096 Jun  6 22:12 ..
drwxr-xr-x 170 u6k  u6k     4096 May 24 14:39 comic
drwxr-xr-x   2 u6k  u6k  5578752 Jun 27  2017 comic-hash
drwxr-xr-x   3 u6k  u6k     4096 May 31 17:01 docker-volumes.bak
drwxr-xr-x   4 u6k  u6k     4096 Jul 28  2017 document
drwxr-xr-x   2 u6k  u6k     4096 Jul 28  2017 doc-
drwxr-xr-x   2 u6k  u6k   258048 Mar 30  2017 gmail
drwxr-xr-x   2 u6k  u6k    12288 Jun 27  2017 gmail-hash
drw-r--r--   2 u6k  u6k     4096 Mar 19 00:36 HS
drwx------   2 root root   16384 Jun  6 21:49 lost+found                                                        drwxr-xr-x  14 u6k  u6k     4096 May 21 18:18 movie.sod
drwxr-xr-x   2 u6k  u6k   102400 Jun 27  2017 movie.sod-hash
$ df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                    991M     0  991M   0% /dev
tmpfs                   201M  7.2M  194M   4% /run
/dev/sda1               8.7G  1.5G  6.8G  18% /
tmpfs                  1003M     0 1003M   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                  1003M     0 1003M   0% /sys/fs/cgroup
/dev/mapper/lvg1-data1  2.7T  2.5T  128G  96% /mnt/data
tmpfs                   201M     0  201M   0% /run/user/1001

#10 直野 雄一10ヶ月前に更新

移行中。

$ du -sh *
356G    backup
 20G    docker-volumes
445G    movie.normal-hash

移行先の状態。

$ du -sh *
397G    comic
893G    comic-hash
8.4G    docker-volumes.bak
2.2M    document
216K    doc-
du: cannot access 'game/
onedrive_saori/camera': Permission denied
4.0K    onedrive_saori
1.1G    photo
1.5G    pict
7.5G    pict-hash
160K    youtube-dl
$ df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                    991M     0  991M   0% /dev
tmpfs                   201M  7.2M  194M   4% /run
/dev/sda1               8.7G  1.5G  6.8G  18% /
tmpfs                  1003M     0 1003M   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                  1003M     0 1003M   0% /sys/fs/cgroup
/dev/mapper/lvg1-data1  2.7T  2.5T   73G  98% /mnt/data
tmpfs                   201M     0  201M   0% /run/user/1001

#11 直野 雄一10ヶ月前に更新

gameフォルダ、onedrive_saoriフォルダの内容がおかしい。おそらく日本語ファイル名が悪さをしているので、アーカイブする、リネームする、などで対応する。

#12 直野 雄一9ヶ月前に更新

PCから確認したが、日本語ファイル名も問題なく格納されている。Androidのsshアプリが日本語対応できていないだけっぽい。

#13 直野 雄一9ヶ月前に更新

あと、macOSの論理ボリュームからHDDを外すことは普通にできるもよう。2GBを外してDebianのLVMに追加して、ファイルの移行を完了させる。

#14 直野 雄一9ヶ月前に更新

消失すると非常に困るデータは、Debianに移行した。LVM on macOSを縮小して、HDDをDebianに回して、ファイル移行を続行する。

#15 直野 雄一9ヶ月前に更新

RAIDセットからHDDを1個だけ除去しようとしたけど、"StorageKitエラー118"が発生して失敗した。RAIDセットの最後のメンバーのみ削除できます、のようなメッセージが表示されたけど、そもそも最後のメンバーを削除しようとしたのだし、原因不明。

仕方ないので、RAIDセットを削除した。数時間かかったが、正常に終了した。データも消失していないもよう。

#16 直野 雄一9ヶ月前に更新

Debianサーバーにディスクを追加して、5GBの論理ボリュームを構築する。

#17 直野 雄一9ヶ月前に更新

まず、macOSから見たディスク構成を確認する。

$ diskutil list
/dev/disk0 (internal, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *121.3 GB   disk0
   1:                        EFI EFI                     209.7 MB   disk0s1
   2:                 Apple_APFS Container disk1         120.5 GB   disk0s2

/dev/disk1 (synthesized):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      APFS Container Scheme -                      +120.5 GB   disk1
                                 Physical Store disk0s2
   1:                APFS Volume OSX                     46.6 GB    disk1s1
   2:                APFS Volume Preboot                 22.4 MB    disk1s2
   3:                APFS Volume Recovery                517.9 MB   disk1s3
   4:                APFS Volume VM                      2.1 GB     disk1s4

/dev/disk2 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *1.0 TB     disk2
   1:                        EFI EFI                     209.7 MB   disk2s1
   2:                  Apple_HFS STORAGE12               999.9 GB   disk2s2

/dev/disk3 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *3.0 TB     disk3
   1:                  Linux LVM                         3.0 TB     disk3s1

/dev/disk4 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *2.0 TB     disk4
   1:                        EFI EFI                     209.7 MB   disk4s1
   2:         Apple_RAID_Offline                         2.0 TB     disk4s2
   3:                 Apple_Boot Boot OS X               134.2 MB   disk4s3

/dev/disk5 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *3.0 TB     disk5
   1:                        EFI EFI                     209.7 MB   disk5s1
   2:         Apple_RAID_Offline                         3.0 TB     disk5s2
   3:                 Apple_Boot Boot OS X               134.2 MB   disk5s3

disk2(1TB)に残存データが格納されている。disk4(2TB)をDebianサーバーに接続する。

#18 直野 雄一9ヶ月前に更新

disk4をアンマウントした。

$ diskutil umountDisk /dev/disk4
Unmount of all volumes on disk4 was successful

disk4のrawdiskを作成した。

$ sudo VBoxManage internalcommands createrawvmdk -filename ~/Documents/disk4.vmdk -rawdisk /dev/disk4
RAW host disk access VMDK file /Users/yu1/Documents/disk4.vmdk created successfully.

#19 直野 雄一9ヶ月前に更新

/dev/disk4およびdisk4.vmdkのパーミッションを0777に変更して、Debianサーバーにdisk4.vmdkを追加して、vagrant haltvagrant upした。

Debianサーバーの起動後、パーティションの状況を確認した。

$ sudo parted -l
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  42.9GB  42.9GB  primary  ext4         boot


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdb: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name                    Flags
 1      20.5kB  210MB   210MB   fat32        EFI System Partition    boot, esp
 2      210MB   2000GB  2000GB               Terminated STORAGE12 1 3      2000GB  2000GB  134MB   hfs+         Booter


Model: Linux device-mapper (linear) (dm)
Disk /dev/mapper/lvg1-data1: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  3001GB  3001GB  ext4

追加したディスクがsdcとして認識されていることが分かる。

#20 直野 雄一9ヶ月前に更新

sdcのパーティションを初期化した。

$ sudo parted /dev/sdc
GNU Parted 3.2
Using /dev/sdc
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdc will be destroyed and
all data on this disk will be lost. Do you want to continue?
Yes/No? Y
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start  End  Size  File system  Name  Flags

(parted) mkpart primary 0% 100%
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  2000GB  2000GB               primary

(parted) set 1 lvm on
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  2000GB  2000GB               primary  lvm

(parted) quit
Information: You may need to update /etc/fstab.

パーティションの状態を確認した。

$ sudo parted -l
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  42.9GB  42.9GB  primary  ext4         boot


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdb: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  2000GB  2000GB               primary  lvm


Model: Linux device-mapper (linear) (dm)
Disk /dev/mapper/lvg1-data1: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  3001GB  3001GB  ext4

#21 直野 雄一9ヶ月前に更新

物理ボリュームを作成する。

$ sudo pvcreate /dev/sdc1
  Physical volume "/dev/sdc1" successfully created.

物理ボリュームの状態を確認する。

$ sudo pvdisplay
  --- Physical volume ---
  PV Name               /dev/sdb1
  VG Name               lvg1
  PV Size               2.73 TiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              715396
  Free PE               0
  Allocated PE          715396
  PV UUID               y4cpmp-RPun-Cche-OJsW-rve8-SmT8-JHkrF4

  "/dev/sdc1" is a new physical volume of "1.82 TiB"
  --- NEW Physical volume ---
  PV Name               /dev/sdc1
  VG Name
  PV Size               1.82 TiB
  Allocatable           NO
  PE Size               0
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               bTDHKb-rw7c-alEs-noMX-4J3X-7amm-bsJ425

論理ボリュームグループに物理ボリュームを追加する。

$ sudo vgextend lvg1 /dev/sdc1
  Volume group "lvg1" successfully extended

論理ボリュームグループの状態を確認する。

$ sudo vgdisplay -v
  --- Volume group ---
  VG Name               lvg1
  System ID
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  3
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               4.55 TiB
  PE Size               4.00 MiB
  Total PE              1192327
  Alloc PE / Size       715396 / 2.73 TiB
  Free  PE / Size       476931 / 1.82 TiB
  VG UUID               4SMOfC-UhoS-N7lA-8We2-ElTb-I6Mt-Z7tEWO

  --- Logical volume ---
  LV Path                /dev/lvg1/data1
  LV Name                data1
  VG Name                lvg1
  LV UUID                DpBmIY-sh3J-d8N1-O8mE-DYs2-m44i-PyKm2C
  LV Write Access        read/write
  LV Creation host, time stretch, 2018-06-06 21:27:28 +0900
  LV Status              available
  # open                 1
  LV Size                2.73 TiB
  Current LE             715396
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:0

  --- Physical volumes ---
  PV Name               /dev/sdb1
  PV UUID               y4cpmp-RPun-Cche-OJsW-rve8-SmT8-JHkrF4
  PV Status             allocatable
  Total PE / Free PE    715396 / 0

  PV Name               /dev/sdc1
  PV UUID               bTDHKb-rw7c-alEs-noMX-4J3X-7amm-bsJ425
  PV Status             allocatable
  Total PE / Free PE    476931 / 476931

論理ボリュームを拡張する。

$ sudo lvextend -l +100%FREE /dev/lvg1/data1
  Size of logical volume lvg1/data1 changed from 2.73 TiB (715396 extents) to 4.55 TiB (1192327 extents).
  Logical volume lvg1/data1 successfully resized.

論理ボリュームの状態を確認する。

$ sudo vgdisplay -v
  --- Volume group ---
  VG Name               lvg1
  System ID
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  4
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               4.55 TiB
  PE Size               4.00 MiB
  Total PE              1192327
  Alloc PE / Size       1192327 / 4.55 TiB
  Free  PE / Size       0 / 0
  VG UUID               4SMOfC-UhoS-N7lA-8We2-ElTb-I6Mt-Z7tEWO

  --- Logical volume ---
  LV Path                /dev/lvg1/data1
  LV Name                data1
  VG Name                lvg1
  LV UUID                DpBmIY-sh3J-d8N1-O8mE-DYs2-m44i-PyKm2C
  LV Write Access        read/write
  LV Creation host, time stretch, 2018-06-06 21:27:28 +0900
  LV Status              available
  # open                 1
  LV Size                4.55 TiB
  Current LE             1192327
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:0

  --- Physical volumes ---
  PV Name               /dev/sdb1
  PV UUID               y4cpmp-RPun-Cche-OJsW-rve8-SmT8-JHkrF4
  PV Status             allocatable
  Total PE / Free PE    715396 / 0

  PV Name               /dev/sdc1
  PV UUID               bTDHKb-rw7c-alEs-noMX-4J3X-7amm-bsJ425
  PV Status             allocatable
  Total PE / Free PE    476931 / 0

パーティションの状態を確認する。まだ増加していない。

$ df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                    487M     0  487M   0% /dev
tmpfs                   100M  3.3M   97M   4% /run
/dev/sda1                40G  1.5G   37G   4% /
tmpfs                   499M     0  499M   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                   499M     0  499M   0% /sys/fs/cgroup
/dev/mapper/lvg1-data1  2.7T  2.6T   20G 100% /mnt/data
tmpfs                   100M     0  100M   0% /run/user/1001

#22 直野 雄一9ヶ月前に更新

ファイルシステムを拡張しようとしたところ、エラーが発生して失敗した。

$ sudo resize2fs /dev/lvg1/data1
resize2fs 1.43.4 (31-Jan-2017)
resize2fs: Superblock checksum does not match superblock while trying to open /dev/lvg1/data1
Couldn't find valid filesystem superblock.

#23 直野 雄一9ヶ月前に更新

オンラインで拡張できるはずだけど、念のため、アンマウントした。

$ sudo umount /dev/lvg1/data1

resize2fsしようとしたら、メッセージが変わった。

$ sudo resize2fs /dev/mapper/lvg1-data1
resize2fs 1.43.4 (31-Jan-2017)
Please run 'e2fsck -f /dev/mapper/lvg1-data1' first.

指示通り、e2fsckを実行した。問題ないもよう。

$ sudo e2fsck -f /dev/mapper/lvg1-data1
e2fsck 1.43.4 (31-Jan-2017)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/mapper/lvg1-data1: 239329/183148544 files (16.7% non-contiguous), 690780815/732565504 blocks

再度、resize2fsしたら成功した。

$ sudo resize2fs /dev/mapper/lvg1-data1
resize2fs 1.43.4 (31-Jan-2017)
Resizing the filesystem on /dev/mapper/lvg1-data1 to 1220942848 (4k) blocks.
The filesystem on /dev/mapper/lvg1-data1 is now 1220942848 (4k) blocks long.

#24 直野 雄一9ヶ月前に更新

Debianサーバーを再起動して、残容量を確認した。増加していることを確認できた。

$ df -h
Filesystem              Size  Used Avail Use% Mounted on
udev                    487M     0  487M   0% /dev
tmpfs                   100M  3.3M   97M   4% /run
/dev/sda1                40G  1.5G   37G   4% /
tmpfs                   499M     0  499M   0% /dev/shm
tmpfs                   5.0M     0  5.0M   0% /run/lock
tmpfs                   499M     0  499M   0% /sys/fs/cgroup
/dev/mapper/lvg1-data1  4.5T  2.6T  1.8T  60% /mnt/data
tmpfs                   100M     0  100M   0% /run/user/1001

#25 直野 雄一9ヶ月前に更新

残りのファイルの移行を開始する。

#26 直野 雄一9ヶ月前に更新

ファイルの移行は完了した。HDDをDebianサーバーに接続して、とりあえずrsyncで同期する。

#27 直野 雄一9ヶ月前に更新

macOSのディスク状態を確認する。

$ diskutil list
/dev/disk0 (internal, physical):                                      #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *121.3 GB   disk0                                                                1:                        EFI EFI                     209.7 MB   disk0s1                                                              2:                 Apple_APFS Container disk1         120.5 GB   disk0s2                                                           
/dev/disk1 (synthesized):                                             #:                       TYPE NAME                    SIZE       IDENTIFIER                                                           0:      APFS Container Scheme -                      +120.5 GB   disk1
                                 Physical Store disk0s2
   1:                APFS Volume OSX                     42.8 GB    disk1s1
   2:                APFS Volume Preboot                 22.4 MB    disk1s2
   3:                APFS Volume Recovery                517.9 MB   disk1s3
   4:                APFS Volume VM                      2.1 GB     disk1s4

/dev/disk2 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *1.0 TB     disk2
   1:                        EFI EFI                     209.7 MB   disk2s1
   2:                  Apple_HFS STORAGE12               999.9 GB   disk2s2

/dev/disk3 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *3.0 TB     disk3

/dev/disk4 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *2.0 TB     disk4

/dev/disk5 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *3.0 TB     disk5
   1:                        EFI EFI                     209.7 MB   disk5s1
   2:         Apple_RAID_Offline                         3.0 TB     disk5s2
   3:                 Apple_Boot Boot OS X               134.2 MB   disk5s3

disk2, disk5をDebianサーバーに接続する。

#28 直野 雄一9ヶ月前に更新

disk2, disk5をアンマウントして、rawdiskを作成した。

$ sudo diskutil umountDisk /dev/disk2
Unmount of all volumes on disk2 was successful

$ sudo VBoxManage internalcommands createrawvmdk -filename ~/Documents/disk2.vmdk -rawdisk /dev/disk2
RAW host disk access VMDK file /Users/yu1/Documents/disk2.vmdk created successfully.

$ sudo diskutil umountDisk /dev/disk5
Unmount of all volumes on disk5 was successful

$ sudo VBoxManage internalcommands createrawvmdk -filename ~/Documents/disk5.vmdk -rawdisk /dev/disk5
RAW host disk access VMDK file /Users/yu1/Documents/disk5.vmdk created successfully

#29 直野 雄一9ヶ月前に更新

パーミッションの変更とアンマウントを何回か行いつつDebianサーバーにディスクを接続して、sddとsdeとして認識されていることを確認しました。

$ sudo parted -l
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  42.9GB  42.9GB  primary  ext4         boot


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdb: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  2000GB  2000GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdd: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name                    Flags
 1      20.5kB  210MB   210MB   fat32        EFI System Partition    boot, esp
 2      210MB   3000GB  3000GB               Terminated STORAGE12 2 3      3000GB  3001GB  134MB   hfs+         Booter


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sde: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name                  Flags
 1      20.5kB  210MB   210MB   fat32        EFI System Partition  boot, esp
 2      210MB   1000GB  1000GB  hfs+


Model: Linux device-mapper (linear) (dm)
Disk /dev/mapper/lvg1-data1: 5001GB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  5001GB  5001GB  ext4

#30 直野 雄一9ヶ月前に更新

sddとsdeのパーティションを初期化した。

$ sudo parted /dev/sdd
GNU Parted 3.2
Using /dev/sdd
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
Warning: The existing disk label on /dev/sdd will be destroyed and all data on this disk
will be lost. Do you want to continue?
Yes/No? Y
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdd: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start  End  Size  File system  Name  Flags

(parted) mkpart primary 0% 100%
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdd: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary

(parted) set 1 lvm on
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdd: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary  lvm

(parted) quit
Information: You may need to update /etc/fstab.
$ sudo parted /dev/sde
GNU Parted 3.2
Using /dev/sde
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
Warning: The existing disk label on /dev/sde will be destroyed and all data on this disk
will be lost. Do you want to continue?
Yes/No? Y
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sde: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start  End  Size  File system  Name  Flags

(parted) mkpart primary 0% 100%
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sde: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  1000GB  1000GB               primary

(parted) set 1 lvm on
(parted) p
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sde: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  1000GB  1000GB               primary  lvm

(parted) quit
Information: You may need to update /etc/fstab.

#31 直野 雄一9ヶ月前に更新

現在の物理ボリュームを確認する。

$ sudo pvdisplay
  --- Physical volume ---
  PV Name               /dev/sdb1
  VG Name               lvg1
  PV Size               2.73 TiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              715396
  Free PE               0
  Allocated PE          715396
  PV UUID               y4cpmp-RPun-Cche-OJsW-rve8-SmT8-JHkrF4

  --- Physical volume ---
  PV Name               /dev/sdc1
  VG Name               lvg1
  PV Size               1.82 TiB / not usable 4.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              476931
  Free PE               0
  Allocated PE          476931
  PV UUID               bTDHKb-rw7c-alEs-noMX-4J3X-7amm-bsJ425

sddとsdeに物理ボリュームを作成する。

$ sudo pvcreate /dev/sdd1
  Physical volume "/dev/sdd1" successfully created.
$ sudo pvcreate /dev/sde1
  Physical volume "/dev/sde1" successfully created.

物理ボリュームを確認する。sddとsdeに物理ボリュームが作成されていることがわかる。

$ sudo pvdisplay
  --- Physical volume ---
  PV Name               /dev/sdb1
  VG Name               lvg1
  PV Size               2.73 TiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              715396
  Free PE               0
  Allocated PE          715396
  PV UUID               y4cpmp-RPun-Cche-OJsW-rve8-SmT8-JHkrF4

  --- Physical volume ---
  PV Name               /dev/sdc1
  VG Name               lvg1
  PV Size               1.82 TiB / not usable 4.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              476931
  Free PE               0
  Allocated PE          476931
  PV UUID               bTDHKb-rw7c-alEs-noMX-4J3X-7amm-bsJ425

  "/dev/sde1" is a new physical volume of "931.51 GiB"
  --- NEW Physical volume ---
  PV Name               /dev/sde1
  VG Name
  PV Size               931.51 GiB
  Allocatable           NO
  PE Size               0
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               iiiHZS-FSVL-i9XI-iAJD-hnC3-QPxu-U1vcWr

  "/dev/sdd1" is a new physical volume of "2.73 TiB"
  --- NEW Physical volume ---
  PV Name               /dev/sdd1
  VG Name
  PV Size               2.73 TiB
  Allocatable           NO
  PE Size               0
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               APJh6a-TyfK-PGM5-t3qh-qeyG-K24Y-6sj03O

論理ボリュームグループを作成して、sddとsdeを所属させる。

$ sudo vgcreate lvg2 /dev/sdd1
  Volume group "lvg2" successfully created
$ sudo vgextend lvg2 /dev/sde1
  Volume group "lvg2" successfully extended

論理ボリュームグループを確認する。lvg2論理ボリュームグループが作成されていることがわかる。

$ sudo vgdisplay
  --- Volume group ---
  VG Name               lvg1
  System ID
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  4
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               4.55 TiB
  PE Size               4.00 MiB
  Total PE              1192327
  Alloc PE / Size       1192327 / 4.55 TiB
  Free  PE / Size       0 / 0
  VG UUID               4SMOfC-UhoS-N7lA-8We2-ElTb-I6Mt-Z7tEWO

  --- Volume group ---
  VG Name               lvg2
  System ID
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  2
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               3.64 TiB
  PE Size               4.00 MiB
  Total PE              953862
  Alloc PE / Size       0 / 0
  Free  PE / Size       953862 / 3.64 TiB
  VG UUID               KSGa6w-djoC-kFli-iy4I-KkMk-PADq-6waAkM

論理ボリュームを作成する。

$ sudo lvcreate -n data1 -l 100%FREE lvg2
  Logical volume "data1" created.

論理ボリュームを確認する。

$ sudo lvdisplay
  --- Logical volume ---
  LV Path                /dev/lvg1/data1
  LV Name                data1
  VG Name                lvg1
  LV UUID                DpBmIY-sh3J-d8N1-O8mE-DYs2-m44i-PyKm2C
  LV Write Access        read/write
  LV Creation host, time stretch, 2018-06-06 21:27:28 +0900
  LV Status              available
  # open                 1
  LV Size                4.55 TiB
  Current LE             1192327
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:0

  --- Logical volume ---
  LV Path                /dev/lvg2/data1
  LV Name                data1
  VG Name                lvg2
  LV UUID                7ez26R-vhd4-nvZC-tO34-P4l0-tRsR-qQc5Pn
  LV Write Access        read/write
  LV Creation host, time stretch, 2018-06-26 15:55:04 +0900
  LV Status              available
  # open                 0
  LV Size                3.64 TiB
  Current LE             953862
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           254:1

ext4ファイルシステムを作成する。

$ sudo mkfs.ext4 /dev/lvg2/data1
mke2fs 1.43.4 (31-Jan-2017)
Creating filesystem with 976754688 4k blocks and 244195328 inodes
Filesystem UUID: 4d20b86e-997a-410b-8f0f-dcbea9be5e45
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848, 512000000, 550731776, 644972544

Allocating group tables: done
Writing inode tables: done
Creating journal (262144 blocks):
done
Writing superblocks and filesystem accounting information: done

ディスクを確認する。lvg2/data1がext4ファイルシステムとして認識されていることがわかる。

$ sudo parted -l
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sda: 42.9GB
Sector size (logical/physical): 512B/512B
Partition Table: msdos
Disk Flags:

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  42.9GB  42.9GB  primary  ext4         boot


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdb: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdc: 2000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  2000GB  2000GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdd: 3001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  3001GB  3001GB               primary  lvm


Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sde: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  1000GB  1000GB               primary  lvm


Model: Linux device-mapper (linear) (dm)
Disk /dev/mapper/lvg2-data1: 4001GB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  4001GB  4001GB  ext4


Model: Linux device-mapper (linear) (dm)
Disk /dev/mapper/lvg1-data1: 5001GB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  5001GB  5001GB  ext4

#32 直野 雄一9ヶ月前に更新

ディスクのUUIDを確認する。

$ sudo blkid /dev/mapper/lvg2-data1
/dev/mapper/lvg2-data1: UUID="4d20b86e-997a-410b-8f0f-dcbea9be5e45" TYPE="ext4"

/etc/fstabに次の行を追加した。

(略)
UUID=4d20b86e-997a-410b-8f0f-dcbea9be5e45 /mnt/backup ext4 defaults,noatime 0 0

#33 直野 雄一9ヶ月前に更新

Debianサーバーを再起動して、/mnt/backupにマウントされていることを確認した。

#34 直野 雄一9ヶ月前に更新

  • 説明 を更新 (diff)

#35 直野 雄一9ヶ月前に更新

rsyncで同期中。

$ sudo rsync -av --exclude='lost+found/' /mnt/data/ /mnt/backup/ | tee rsync-data-to-backup.log

#36 直野 雄一9ヶ月前に更新

  • 関連している サポート #6441: 定期 毎週 HDDをミラーリングする を追加

#37 直野 雄一4ヶ月前に更新

  • 開始日 を削除 (2018-05-22)

延期する。

#38 直野 雄一3ヶ月前に更新

  • 説明 を更新 (diff)

他の形式にエクスポート: Atom PDF