Raid 5 con 2 hard disk "danneggiati"

19 risposte [Ultimo contenuto]
Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

Ciao a tutti, ho un problema piuttosto serio da risolvere. Non mi dilungo troppo, in pratica ho 4 hd da 2 Tb e 2 hd da 4 Tb in raid 5 software. Mi trovo in questa situazione in quanto da un mese ho iniziato la sostituzione dei 2 Tb a 4 Tb per mancanza di spazio, al termine della sostituzione avrei ampliato l'array per utilizzare tutto il nuovo spazio.
Il problema si è presentato quando, pochi giorni fa ho sostituito il controller il quale non mi ha riconosciuto i dischi da 4 Tb come tali (li vedeva 2,2 Tb), ho aggiornato il firmware del controller e finalmente venivano visti interamente, solo che non riuscivo a far partire il raid.
Per mancanza di tempo ho ripristinato la vecchia configurazione e ho scoperto che anche li non si avviava il raid, al che con una live di ubuntu ho verificato i dischi... i 2 da 4 Tb risultavano vuoti!!!
Con testdisk ho ripristinato la tabella delle partizioni GPT (che spero siano giuste), ma anche dopo questa operazione non si riesce a rimettere online l'array.
Ora sono disperato, potete aiutarmi a capire se è andato tutto perso veramente o se c'è un modo per ripristinare la situazione e salvarmi i dati?
Grazie mille...

root@MS-7623:~# mdadm --verbose --assemble /dev/md1 --uuid=de63e8b0:3370b7da:40ac5b6b:2f5e5950
mdadm: looking for devices for /dev/md1
mdadm: no RAID superblock on /dev/sdf5
mdadm: no RAID superblock on /dev/sdf2
mdadm: /dev/sdf1 has wrong uuid.
mdadm: no RAID superblock on /dev/sdf
mdadm: no RAID superblock on /dev/sde5
mdadm: no RAID superblock on /dev/sde2
mdadm: /dev/sde1 has wrong uuid.
mdadm: no RAID superblock on /dev/sde
mdadm: no RAID superblock on /dev/sdg5
mdadm: no RAID superblock on /dev/sdg2
mdadm: /dev/sdg1 has wrong uuid.
mdadm: no RAID superblock on /dev/sdg
mdadm: no RAID superblock on /dev/sdd5
mdadm: no RAID superblock on /dev/sdd2
mdadm: /dev/sdd1 has wrong uuid.
mdadm: no RAID superblock on /dev/sdd
mdadm: cannot open device /dev/sr0: No medium found
mdadm: no RAID superblock on /dev/sdc4
mdadm: no RAID superblock on /dev/sdc3
mdadm: /dev/sdc2 has wrong uuid.
mdadm: no RAID superblock on /dev/sdc1
mdadm: no RAID superblock on /dev/sdc
mdadm: no RAID superblock on /dev/sdb3
mdadm: /dev/sdb2 has wrong uuid.
mdadm: no RAID superblock on /dev/sdb1
mdadm: no RAID superblock on /dev/sdb
mdadm: no RAID superblock on /dev/sda5
mdadm: no RAID superblock on /dev/sda4
mdadm: no RAID superblock on /dev/sda3
mdadm: no RAID superblock on /dev/sda2
mdadm: no RAID superblock on /dev/sda1
mdadm: no RAID superblock on /dev/sda
mdadm: /dev/sdf6 is identified as a member of /dev/md1, slot 2.
mdadm: /dev/sde6 is identified as a member of /dev/md1, slot 1.
mdadm: /dev/sdg6 is identified as a member of /dev/md1, slot 3.
mdadm: /dev/sdd6 is identified as a member of /dev/md1, slot -1.
mdadm: /dev/sdc5 is identified as a member of /dev/md1, slot 4.
mdadm: /dev/sdb4 is identified as a member of /dev/md1, slot 0.
mdadm: added /dev/sde6 to /dev/md1 as 1
mdadm: added /dev/sdf6 to /dev/md1 as 2
mdadm: added /dev/sdg6 to /dev/md1 as 3
mdadm: failed to add /dev/sdc5 to /dev/md1: Invalid argument
mdadm: added /dev/sdd6 to /dev/md1 as -1
mdadm: failed to add /dev/sdb4 to /dev/md1: Invalid argument
mdadm: failed to RUN_ARRAY /dev/md1: Input/output error

root@MS-7623:~# mdadm --detail /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
  Used Dev Size : 1946518528 (1856.34 GiB 1993.23 GB)
   Raid Devices : 5
  Total Devices : 4
    Persistence : Superblock is persistent
 
    Update Time : Mon Mar 13 07:51:17 2017
          State : active, FAILED, Not Started 
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1
 
         Layout : left-symmetric
     Chunk Size : 512K
 
           Name : server0:1
           UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
         Events : 574877
 
    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       6       8       70        1      active sync   /dev/sde6
       7       8       86        2      active sync   /dev/sdf6
       4       8      102        3      active sync   /dev/sdg6
       4       0        0        4      removed
 
       5       8       54        -      spare   /dev/sdd6

root@MS-7623:~# mdadm --examine /dev/sdb4
/dev/sdb4:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
           Name : server0:1
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
   Raid Devices : 5
 
 Avail Dev Size : 3893037056 (1856.34 GiB 1993.23 GB)
     Array Size : 7786074112 (7425.38 GiB 7972.94 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 84af0dbd:f7688332:6f6cd8b0:b1bb7c5c
 
    Update Time : Mon Mar 13 17:23:59 2017
       Checksum : b3fa334c - correct
         Events : 574877
 
         Layout : left-symmetric
     Chunk Size : 512K
 
   Device Role : Active device 0
   Array State : AAAAA ('A' == active, '.' == missing)
root@MS-7623:~# mdadm --examine /dev/sdc5
/dev/sdc5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
           Name : server0:1
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
   Raid Devices : 5
 
 Avail Dev Size : 3893037056 (1856.34 GiB 1993.23 GB)
     Array Size : 7786074112 (7425.38 GiB 7972.94 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 4ca624f6:a7056c71:6f4c2154:00694d05
 
    Update Time : Mon Mar 13 17:23:59 2017
       Checksum : 78135412 - correct
         Events : 574877
 
         Layout : left-symmetric
     Chunk Size : 512K
 
   Device Role : Active device 4
   Array State : AAAAA ('A' == active, '.' == missing)
root@MS-7623:~# mdadm --examine /dev/sdd6
/dev/sdd6:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
           Name : server0:1
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
   Raid Devices : 5
 
 Avail Dev Size : 3893037056 (1856.34 GiB 1993.23 GB)
     Array Size : 7786074112 (7425.38 GiB 7972.94 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 8ad26f38:9ff47984:a239197b:ad9b53e6
 
    Update Time : Mon Mar 13 07:51:17 2017
       Checksum : d56a08eb - correct
         Events : 574877
 
         Layout : left-symmetric
     Chunk Size : 512K
 
   Device Role : spare
   Array State : AAAAA ('A' == active, '.' == missing)
root@MS-7623:~# mdadm --examine /dev/sde6
/dev/sde6:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
           Name : server0:1
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
   Raid Devices : 5
 
 Avail Dev Size : 3893037056 (1856.34 GiB 1993.23 GB)
     Array Size : 7786074112 (7425.38 GiB 7972.94 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 72aa1ef6:9cc746b9:fab7cb3e:9e993938
 
    Update Time : Mon Mar 13 17:23:59 2017
       Checksum : dd76b60c - correct
         Events : 574877
 
         Layout : left-symmetric
     Chunk Size : 512K
 
   Device Role : Active device 1
   Array State : AAAAA ('A' == active, '.' == missing)
root@MS-7623:~# mdadm --examine /dev/sdf6
/dev/sdf6:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
           Name : server0:1
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
   Raid Devices : 5
 
 Avail Dev Size : 3893037056 (1856.34 GiB 1993.23 GB)
     Array Size : 7786074112 (7425.38 GiB 7972.94 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : 0b761720:aa4e41de:9ae95f61:d2b7fda4
 
    Update Time : Mon Mar 13 17:23:59 2017
       Checksum : bbca58d0 - correct
         Events : 574877
 
         Layout : left-symmetric
     Chunk Size : 512K
 
   Device Role : Active device 2
   Array State : AAAAA ('A' == active, '.' == missing)
root@MS-7623:~# mdadm --examine /dev/sdg6
/dev/sdg6:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
           Name : server0:1
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
   Raid Devices : 5
 
 Avail Dev Size : 3893037056 (1856.34 GiB 1993.23 GB)
     Array Size : 7786074112 (7425.38 GiB 7972.94 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : f621b605:1f2a55af:c562e8bc:9d664a95
 
    Update Time : Mon Mar 13 17:23:59 2017
       Checksum : be520823 - correct
         Events : 574877
 
         Layout : left-symmetric
     Chunk Size : 512K
 
   Device Role : Active device 3
   Array State : AAAAA ('A' == active, '.' == missing)

mdadm --assemble /dev/md1
mdadm: failed to add /dev/sdc5 to /dev/md1: Invalid argument
mdadm: failed to add /dev/sdb4 to /dev/md1: Invalid argument
mdadm: failed to RUN_ARRAY /dev/md1: Input/output error

cat /proc/mdstat 
Personalities : [raid6] [raid5] [raid4] 
md1 : inactive sdd6[5](S) sdg6[4] sdf6[7] sde6[6]
      7786074112 blocks super 1.2
 
unused devices: <none>

il seguente è il file mdadm.conf ma non l'originale in quanto il sistema operativo si trovava in /dev/md0 sempre su quei dischi

cat /etc/mdadm/mdadm.conf 
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#
 
# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers
 
# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes
 
# automatically tag new arrays as belonging to the local system
HOMEHOST <system>
 
# instruct the monitoring daemon where to send mail alerts
MAILADDR root
 
# definitions of existing MD arrays
ARRAY /dev/md/0 metadata=1.2 UUID=18809096:864de900:d1b4709b:a70f671c name=server0:0
   spares=1
ARRAY /dev/md/0 metadata=1.2 UUID=122c0f1e:eb42374e:731efedb:0b7dc38f name=ubuntu-gnome:0
ARRAY /dev/md/1 metadata=1.2 UUID=de63e8b0:3370b7da:40ac5b6b:2f5e5950 name=server0:1
   spares=1
 
# This file was auto-generated on Sat, 18 Mar 2017 22:06:15 +0100
# by mkconf $Id$
 
Online

dmesg:

[   23.787541] atl1c 0000:03:00.0: irq 43 for MSI/MSI-X
[   23.787628] atl1c 0000:03:00.0: atl1c: eth0 NIC Link is Up<1000 Mbps Full Duplex>
[   35.699803] audit_printk_skb: 15 callbacks suppressed
[   35.699807] type=1400 audit(1489871096.797:17): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/sbin/dhclient" pid=1038 comm="apparmor_parser"
[   35.699814] type=1400 audit(1489871096.797:18): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/NetworkManager/nm-dhcp-client.action" pid=1038 comm="apparmor_parser"
[   35.699818] type=1400 audit(1489871096.797:19): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/connman/scripts/dhclient-script" pid=1038 comm="apparmor_parser"
[   35.700235] type=1400 audit(1489871096.797:20): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/NetworkManager/nm-dhcp-client.action" pid=1038 comm="apparmor_parser"
[   35.700238] type=1400 audit(1489871096.797:21): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/connman/scripts/dhclient-script" pid=1038 comm="apparmor_parser"
[   35.700453] type=1400 audit(1489871096.797:22): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/connman/scripts/dhclient-script" pid=1038 comm="apparmor_parser"
[   35.847957] type=1400 audit(1489871096.945:23): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/usr/lib/telepathy/mission-control-5" pid=1041 comm="apparmor_parser"
[   35.847965] type=1400 audit(1489871096.945:24): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/usr/lib/telepathy/telepathy-*" pid=1041 comm="apparmor_parser"
[   35.847969] type=1400 audit(1489871096.945:25): apparmor="STATUS" operation="profile_load" profile="unconfined" name="pxgsettings" pid=1041 comm="apparmor_parser"
[   35.847972] type=1400 audit(1489871096.945:26): apparmor="STATUS" operation="profile_load" profile="unconfined" name="sanitized_helper" pid=1041 comm="apparmor_parser"
[   36.756232] init: alsa-restore main process (1135) terminated with status 99
[   45.088081] init: plymouth-upstart-bridge main process ended, respawning
[   45.094845] init: plymouth-upstart-bridge main process (1290) terminated with status 1
[   45.094858] init: plymouth-upstart-bridge main process ended, respawning
[   49.648445] audit_printk_skb: 114 callbacks suppressed
[   49.648450] type=1400 audit(1489871110.764:65): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/cups/backend/cups-pdf" pid=1404 comm="apparmor_parser"
[   49.648456] type=1400 audit(1489871110.764:66): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/sbin/cupsd" pid=1404 comm="apparmor_parser"
[   49.648902] type=1400 audit(1489871110.768:67): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/sbin/cupsd" pid=1404 comm="apparmor_parser"
[   57.702846] type=1400 audit(1489871118.832:68): apparmor="DENIED" operation="open" profile="/usr/lib/telepathy/mission-control-5" name="/etc/dconf/profile/gdm" pid=1567 comm="mission-control" requested_mask="r" denied_mask="r" fsuid=115 ouid=0
[  120.406585] SGI XFS with ACLs, security attributes, realtime, large block/inode numbers, no debug enabled
[  120.456297] JFS: nTxBlock = 8192, nTxLock = 65536
[  120.495012] NTFS driver 2.1.30 [Flags: R/O MODULE].
[  120.539423] QNX4 filesystem 0.2.3 registered.
[  120.604457] xor: measuring software checksum speed
[  120.642689]    prefetch64-sse:  3268.000 MB/sec
[  120.682627]    generic_sse:  3088.000 MB/sec
[  120.682633] xor: using function: prefetch64-sse (3268.000 MB/sec)
[  120.766539] raid6: sse2x1    2602 MB/s
[  120.834431] raid6: sse2x2    3966 MB/s
[  120.902347] raid6: sse2x4    4758 MB/s
[  120.902350] raid6: using algorithm sse2x4 (4758 MB/s)
[  120.902352] raid6: using intx1 recovery algorithm
[  120.970340] bio: create slab <bio-1> at 1
[  120.972566] Btrfs loaded
[  370.155695] md: md0 stopped.
[  370.162935] md: bind<sdd1>
[  474.947528] md: md1 stopped.
[  474.956106] md: bind<sde6>
[  474.956595] md: bind<sdf6>
[  474.957027] md: bind<sdg6>
[  474.957205] md: sdc5 does not have a valid v1.2 superblock, not importing!
[  474.957210] md: md_import_device returned -22
[  474.957681] md: bind<sdd6>
[  474.957839] md: sdb4 does not have a valid v1.2 superblock, not importing!
[  474.957844] md: md_import_device returned -22
[  474.985356] async_tx: api initialized (async)
[  474.996743] md: raid6 personality registered for level 6
[  474.996750] md: raid5 personality registered for level 5
[  474.996752] md: raid4 personality registered for level 4
[  474.997877] md/raid:md1: device sdg6 operational as raid disk 3
[  474.997888] md/raid:md1: device sdf6 operational as raid disk 2
[  474.997891] md/raid:md1: device sde6 operational as raid disk 1
[  474.998526] md/raid:md1: allocated 0kB
[  474.999254] md/raid:md1: not enough operational devices (2/5 failed)
[  474.999275] RAID conf printout:
[  474.999277]  --- level:5 rd:5 wd:3
[  474.999279]  disk 1, o:1, dev:sde6
[  474.999281]  disk 2, o:1, dev:sdf6
[  474.999282]  disk 3, o:1, dev:sdg6
[  474.999736] md/raid:md1: failed to run raid set.
[  474.999738] md: pers->run() failed ...
[  608.845248] md: md1 stopped.
[  608.845269] md: unbind<sdd6>
[  608.861328] md: export_rdev(sdd6)
[  608.861390] md: unbind<sdg6>
[  608.877290] md: export_rdev(sdg6)
[  608.877371] md: unbind<sdf6>
[  608.893268] md: export_rdev(sdf6)
[  608.893308] md: unbind<sde6>
[  608.905273] md: export_rdev(sde6)
[  611.940713] md: md1 stopped.
[  611.945374] md: bind<sde6>
[  611.945744] md: bind<sdf6>
[  611.945965] md: bind<sdg6>
[  611.946128] md: sdc5 does not have a valid v1.2 superblock, not importing!
[  611.946134] md: md_import_device returned -22
[  611.946346] md: bind<sdd6>
[  611.946504] md: sdb4 does not have a valid v1.2 superblock, not importing!
[  611.946509] md: md_import_device returned -22
[  611.990310] md/raid:md1: device sdg6 operational as raid disk 3
[  611.990316] md/raid:md1: device sdf6 operational as raid disk 2
[  611.990318] md/raid:md1: device sde6 operational as raid disk 1
[  611.990817] md/raid:md1: allocated 0kB
[  611.990984] md/raid:md1: not enough operational devices (2/5 failed)
[  611.991816] RAID conf printout:
[  611.991824]  --- level:5 rd:5 wd:3
[  611.991826]  disk 1, o:1, dev:sde6
[  611.991828]  disk 2, o:1, dev:sdf6
[  611.991830]  disk 3, o:1, dev:sdg6
[  611.992294] md/raid:md1: failed to run raid set.
[  611.992296] md: pers->run() failed ...
[ 1125.399016] md: md1 stopped.
[ 1125.399037] md: unbind<sdd6>
[ 1125.401536] md: export_rdev(sdd6)
[ 1125.401629] md: unbind<sdg6>
[ 1125.413435] md: export_rdev(sdg6)
[ 1125.413481] md: unbind<sdf6>
[ 1125.421472] md: export_rdev(sdf6)
[ 1125.421497] md: unbind<sde6>
[ 1125.433449] md: export_rdev(sde6)
[ 4010.146451] md: md0 stopped.
[ 4010.146463] md: unbind<sdd1>
[ 4010.160095] md: export_rdev(sdd1)
[ 4484.621719] md: md0 stopped.
[ 4484.807186] md: bind<sde1>
[ 4484.807904] md: bind<sdf1>
[ 4484.808446] md: bind<sdg1>
[ 4484.861407] md: bind<sdc2>
[ 4484.861759] md: bind<sdb2>
[ 4484.879015] md/raid:md0: device sdb2 operational as raid disk 0
[ 4484.879021] md/raid:md0: device sdc2 operational as raid disk 4
[ 4484.879023] md/raid:md0: device sdg1 operational as raid disk 3
[ 4484.879026] md/raid:md0: device sdf1 operational as raid disk 2
[ 4484.879028] md/raid:md0: device sde1 operational as raid disk 1
[ 4484.879654] md/raid:md0: allocated 0kB
[ 4484.879858] md/raid:md0: raid level 5 active with 5 out of 5 devices, algorithm 2
[ 4484.879861] RAID conf printout:
[ 4484.879862]  --- level:5 rd:5 wd:5
[ 4484.879864]  disk 0, o:1, dev:sdb2
[ 4484.879866]  disk 1, o:1, dev:sde1
[ 4484.879868]  disk 2, o:1, dev:sdf1
[ 4484.879869]  disk 3, o:1, dev:sdg1
[ 4484.879871]  disk 4, o:1, dev:sdc2
[ 4484.879907] md0: detected capacity change from 0 to 19973275648
[ 4484.889779]  md0: unknown partition table
[ 5399.262786] md0: detected capacity change from 19973275648 to 0
[ 5399.262800] md: md0 stopped.
[ 5399.262811] md: unbind<sdb2>
[ 5399.275211] md: export_rdev(sdb2)
[ 5399.365420] md: unbind<sdc2>
[ 5399.375089] md: export_rdev(sdc2)
[ 5399.375121] md: unbind<sdg1>
[ 5399.383105] md: export_rdev(sdg1)
[ 5399.509496] md: unbind<sdf1>
[ 5399.518975] md: export_rdev(sdf1)
[ 5399.645197] md: unbind<sde1>
[ 5399.654866] md: export_rdev(sde1)
[35503.755360] type=1400 audit(1489906598.227:69): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/lib/cups/backend/cups-pdf" pid=14402 comm="apparmor_parser"
[35503.755372] type=1400 audit(1489906598.227:70): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/sbin/cupsd" pid=14402 comm="apparmor_parser"
[35503.756046] type=1400 audit(1489906598.227:71): apparmor="STATUS" operation="profile_replace" profile="unconfined" name="/usr/sbin/cupsd" pid=14402 comm="apparmor_parser"
[58126.595958] mptbase: ioc0: LogInfo(0x31123000): Originator={PL}, Code={Abort}, SubCode(0x3000) cb_idx mptbase_reply
[58127.130724] mptbase: ioc0: LogInfo(0x31123000): Originator={PL}, Code={Abort}, SubCode(0x3000) cb_idx mptscsih_io_done
[58127.130745] mptbase: ioc0: LogInfo(0x31123000): Originator={PL}, Code={Abort}, SubCode(0x3000) cb_idx mptscsih_io_done
[71757.996733] md: md1 stopped.
[71758.000642] md: bind<sde6>
[71758.001095] md: bind<sdf6>
[71758.001555] md: bind<sdg6>
[71758.001947] md: sdc5 does not have a valid v1.2 superblock, not importing!
[71758.001977] md: md_import_device returned -22
[71758.002482] md: bind<sdd6>
[71758.002851] md: sdb4 does not have a valid v1.2 superblock, not importing!
[71758.002871] md: md_import_device returned -22
[71758.695610] md/raid:md1: device sdg6 operational as raid disk 3
[71758.695621] md/raid:md1: device sdf6 operational as raid disk 2
[71758.695627] md/raid:md1: device sde6 operational as raid disk 1
[71758.696752] md/raid:md1: allocated 0kB
[71758.696825] md/raid:md1: not enough operational devices (2/5 failed)
[71758.696845] RAID conf printout:
[71758.696848]  --- level:5 rd:5 wd:3
[71758.696853]  disk 1, o:1, dev:sde6
[71758.696856]  disk 2, o:1, dev:sdf6
[71758.696860]  disk 3, o:1, dev:sdg6
[71758.697565] md/raid:md1: failed to run raid set.
[71758.697569] md: pers->run() failed ...

root@MS-7623:~/Scaricati# blockdev --getsize64 /dev/sdd6
1993236021248
root@MS-7623:~/Scaricati# blockdev --getsize64 /dev/sde6
1993236021248
root@MS-7623:~/Scaricati# blockdev --getsize64 /dev/sdf6
1993236021248
root@MS-7623:~/Scaricati# blockdev --getsize64 /dev/sdg6
1993236021248
root@MS-7623:~/Scaricati# blockdev --getsize64 /dev/sdb4
1993234976768
root@MS-7623:~/Scaricati# blockdev --getsize64 /dev/sdc5
1993234976768

Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

Dimenticavo, dopo aver ripristinato le tabelle delle partizioni GPT non ho fatto altre operazioni per evitare riscritture forzate che potessero peggiorare la situazione. Secondo me è ancora tutto a posto, nel senso che i dati si trovano esattamente dov'erano prima della corruzione delle tabelle, solo che non so come fare.
Ho notato con l'ultimo comando (blockdev --getsize64) che ho postato nel messaggio precedente, che le 2 partizioni sdb4 e sdc5 (che prima di questo casino erano entrambe numerate con xxx4 o xxx5 non ricordo), hanno dimensione leggermente diversa dalle altre. Ora non mi pare fossero state così, perchè quando le ho create avevo fatto i calcoli per farle identiche alle altre. Ad ogni modo sono hard disk nuovi su cui sono state create quelle partizioni e niente altro, quindi anche il recupero con testdisk è stato piuttosto semplice, sempre che siano corrette.

Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

testdisk deeper search:

TestDisk 6.14, Data Recovery Utility, July 2013
Christophe GRENIER <grenier@cgsecurity.org>
http://www.cgsecurity.org
 
Disk /dev/sdc - 4000 GB / 3726 GiB - CHS 486401 255 63
 
The harddisk (4000 GB / 3726 GiB) seems too small! (< 14968622 TB / 13613882 TiB)
Check the harddisk size: HD jumpers settings, BIOS detection...
 
The following partitions can't be recovered:
     Partition               Start        End    Size in sectors
>  MS Data                100634622 12749246461 12648611840 [multimedia]
   MS Data                100634624 12749246463 12648611840 [multimedia]
   MS Data                104566782 12753178621 12648611840 [multimedia]
   MS Data                104566784 12753178623 12648611840 [multimedia]
   MS Data                838276048 13486887887 12648611840 [multimedia]
   MS Data               2355582242 29235589848940926 29235587493358684 [~AU ~[P^EM-'ֲHM-8]
 
 
 
 
 
[ Continue ]
ext3 blocksize=4096 Large file Sparse superblock Backup superblock, 6476 GB / 6031 GiB

Ritratto di compact
compact
(Geek)
Offline
Geek
Iscritto: 11/12/2004
Messaggi: 163

Allora mi sembra complesso come problema, analiziamo un po le alternative:

Esiste un backup dei dati ... (reinstalla tutto e ripristina i dati)

C'e' la possibilità di investire in un set di hard disk pari a quelli pre-esistenti ...
(clonazione di tutti gli hard disk e test di ripristino dei raid sui cloni)

Un consiglio generale che posso darti è quello che se i dati che devi recuperare sono importantissimi,
di non fare nulla con i dischi attuali (ed eventualmente di passare ad un semplice raid 1 con 2 o più dischi
dipende sempre da quanto per te sono importanti i dati e di quanto tempo puoi perderci per il loro ripristino).

Per farti capire ho un raid 1 con 3 dischi perchè vorrei evitare la possibilità di perdita dati e di perderci
troppo tempo per il loro ripristino. In più per ora faccio dei backup regolari con un hard disk esterno.

Un in bocca al lupo ...

Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

Non ho un backup, altrimenti avrei già rifatto tutto e non avrei chiesto aiuto.
Detto ciò, posso organizzarmi per clonare i dischi, mi richiederà parecchio tempo ma ce la posso fare.
So di aver sbagliato ma in 6 anni ho avuto dei fail ma senza mai perdere dati e mi sono fidato troppo... chi va a pensare che un controller mi corrompe i dischi?
C'è una parte di dati per me molto importante e che una volta sistemato il tutto provvederò a backuppare giornalmente. Il raid 5 l'ho scelto perché è un buon compromesso tra sicurezza e spazio disponibile rispetto al numero di dischi installato.
Se non fosse stato per il controller sarebbe stato quasi impossibile un problema del genere, visto che un fail mi avrebbe fatto intervenire lo spare che nel giro di qualche ora sarebbe tornato tutto ok pronto per un altro fail.

Ritratto di compact
compact
(Geek)
Offline
Geek
Iscritto: 11/12/2004
Messaggi: 163

Ok ...

in bocca al lupo ...

(la fortuna è cieca ... la sfiga ci vede benissimo)

ancora in bocca al lupo ...

Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

Me ne sono accorto Smile

Dopo aver clonato tutti i dischi hai suggerimenti su cosa provare?

Ritratto di compact
compact
(Geek)
Offline
Geek
Iscritto: 11/12/2004
Messaggi: 163

partirei con la prova di aggiungere le partizioni che si è perso il device:

oot@MS-7623:~# mdadm --detail /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Mon May  2 11:22:43 2011
     Raid Level : raid5
  Used Dev Size : 1946518528 (1856.34 GiB 1993.23 GB)
   Raid Devices : 5
  Total Devices : 4
    Persistence : Superblock is persistent
 
    Update Time : Mon Mar 13 07:51:17 2017
          State : active, FAILED, Not Started 
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1
 
         Layout : left-symmetric
     Chunk Size : 512K
 
           Name : server0:1
           UUID : de63e8b0:3370b7da:40ac5b6b:2f5e5950
         Events : 574877
 
    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       6       8       70        1      active sync   /dev/sde6
       7       8       86        2      active sync   /dev/sdf6
       4       8      102        3      active sync   /dev/sdg6
       4       0        0        4      removed
 
       5       8       54        -      spare   /dev/sdd6

nella speranza che i dati presenti su /dev/sde6 /dev/sdf6 /dev/sdg6 siano a posto

non ho ben capito perchè il tuo raid non ha trasformato /dev/sdd6 come attivo ..

mdadm --manage /dev/md1 --add /dev/sda6 /dev/sdb6

sarebbe meglio comunque che postassi l'otput del comando:

fdisk -l /dev/sd[abcdefghilmn] (siccome non ho ben capito come hai partizionato e come hai creato i vari device mdadm

Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

Non sono davanti al pc, altrimenti sarei più preciso ma le partizioni sono (a parte la dimensione imprecisa):
Device da 2 Tb - mbr:
P1 - 5 Gb software raid 5 - md0 (per il sistema operativo)
P2 - 2 Gb swap
P3 - 1,8 Tb software raid 5 - md1 (per i dati)
Device da 4 Tb- gpt:
P1 - 1 Gb per eventuale EFI
P2 - 5 Gb md0
P3 - 2 Gb swap
P4 - 1,8 Tb md1

Il device md1 a sua volta contiene dischi logici creati con LVM.
sdd non è intervenuto perché non c'è stato un fail di un disco, ma di 2 contemporaneamente, cosa impossibile in funzionamento normale, ma possibile intervenendo manualmente scollegando i cavi o come è successo a me, montando un controller che ha creato casino.

Ritratto di compact
compact
(Geek)
Offline
Geek
Iscritto: 11/12/2004
Messaggi: 163

Senza il comando, detto cosi mi verrebe da pensare che /dev/md1 ...

è composto da:

/dev/sda3 (1 hard disk 2 Tb)
/dev/sdb3 (2 hard disk 2 Tb)
/dev/sdc3 (3 hard disk 2 Tb)
/dev/sdd3 (4 hard disk 2 Tb)

e/o con l'aggiunta di:

/dev/sde4 (1 hard disk 4 Tb)
/dev/sdf4 (2 hard disk 4 Tb)

quindi permane il consiglio di postare il comando (dopo aver clonato tutti i dischi, se i dati sono importantissimi):

 fdisk -l (completo su tutti i dischi) 
 

Ritratto di grechk
grechk
(Junior)
Offline
Junior
Iscritto: 21/03/2017
Messaggi: 13

È composto da:
sda5 4tb (non so perché quando ho recuperato le partizioni mi ha visto 2 swap da 8kb + spazio libero, invece di 2 Gb di swap)
sdb4 4tb(anche qui la swap è da 8kb ma una partizione sola)
sdc6 2tb (spare)
sdd6 2tb
sde6 2tb
sdf6 2tb

Appena posso posto il risultato di fdisk per completezza.