3. OS이야기/02. Troubleshooting

[Case-Study] NFS 설정 실패 원인 찾기

OSSW(Open Source System SoftWare 2014. 11. 28. 20:35

1. 문제개요

 

작업으로 인한 서버의 리부팅 이후 백업 시도를 했으나, NFS Server 및 NFS Client의 백업이 실패함.

백업 로그를 살펴 봤더니, NFS Server였던 호스트에 NFS 용 파일시스템 및 몇몇 파일시스템이 umount 되어 실패한 상황.

 

[NFS-Server 백업로그]

[Critical] From:VBDA@NFS-Server.cs11cipc.com "/data_nstep" Time: 2014-11-23오후 11:21:13

[81:52] /data_nstep

Not a valid mount point => aborting.

[Critical] From:VBDA@NFS-Server.cs11cipc.com "/data_icis" Time: 2014-11-23오후 11:21:28

[81:52] /data_icis

Not a valid mount point => aborting.

 

[NFS-Server disk mount 현황]

[root@NFS-Server ~]# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root

47G 5.4G 40G 12% /

tmpfs 3.9G 0 3.9G 0% /dev/shm

/dev/xvda1 485M 51M 409M 12% /boot

/dev/mapper/VolGroup-lv_home

34G 9.8G 23G 31% /home

 

/etc/fstab 파일을 살펴 봤지만, umount 되었던 파일시스템 설정 기 완료 되어있음. (BOLD체 확인)

 

[NFS-Server의 /etc/fstab 파일]

/dev/mapper/VolGroup-lv_root / ext4 defaults 1 1

UUID=5b163395-2568-4f35-81a1-cf90e7f22c9a /boot ext4 defaults 1 2

/dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2

/dev/mapper/VolGroup-lv_swap swap swap defaults 0 0

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

/dev/xvdc1 /data ext3 default 1 1

/dev/xvdb /osbackup ext4 default 1 1

/dev/xvde /data_nstep ext4 default 0 0

/dev/xvdf /data_icis ext4 default 0 0

 

이로인해 NFS-Client01, NFS-Client02 에서 NFS mount fail로 동일 에러 메시지 계속 뿌림.

nfs disk를 계속 찾음으로 인해 서버 성능에 부하가 옴.

 

[NFS-Client log]

Nov 24 08:28:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying

Nov 24 08:29:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying

Nov 24 08:30:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying

Nov 24 08:31:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying

 

2. 문제 해결 하기

 

일단 임시 방편으로 umount 됐던 파일시스템 mount 시킴

[root@NFS-Server ~]#  mount /dev/xvdc1 /data

[root@NFS-Server ~]# mount /dev/xvdb /osbackup

[root@NFS-Server ~]# mount /dev/xvde /date_nstep

[root@NFS-Server ~]# mount /dev/xvdf /data_icis

[root@NFS-Server ~]# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root

47G 5.4G 40G 12% /

tmpfs 3.9G 0 3.9G 0% /dev/shm

/dev/xvda1 485M 51M 409M 12% /boot

/dev/mapper/VolGroup-lv_home

34G 9.8G 23G 31% /home

/dev/xvdb 50G 19G 28G 41% /osbackup

/dev/xvdc1 690G 19G 636G 3% /data

/dev/xvde 985G 712M 934G 1% /data_nstep

/dev/xvdf 985G 666M 934G 1% /data_icis

 

NFS Server에서 Client 파일 시스템 공유를 위해 다시 한 번 export를 해줌

[root@NFS-Server ~]# exportfs -a

[root@NFS-Server ~]# exportfs -v

/data_nstep 172.27.62.108(rw,wdelay,no_root_squash,no_subtree_check)

/data_nstep 172.27.92.252(rw,wdelay,no_root_squash,no_subtree_check)

/data_icis 172.27.62.108(rw,wdelay,no_root_squash,no_subtree_check)

/data_icis 172.27.92.252(rw,wdelay,no_root_squash,no_subtree_check)

 

이로써 NFS 설정 문제는 해결 되었지만, /etc/fstab 에도 설정 되어있던 Disk 들이 리부팅 후 umount 된 원인은 아직 찾지 못함.

 

3. 문제 원인 찾기

 

NFS-Server의 syslog를 살펴보니 아래와 같은 에러 로그가 있음.

"default" 가 인식할 수 없는 option이라네요.... 잉???  

 

[NFS-Server의 /var/log/messages]

Nov 23 22:53:16 NFS-Server kernel: EXT4-fs (xvda1): mounted filesystem with ordered data mode. Opts:

Nov 23 22:53:16 NFS-Serverkernel: EXT3-fs (xvdc1): error: unrecognized mount option "default" or missing value

Nov 23 22:53:16 NFS-Serverkernel: EXT4-fs (xvdb): Unrecognized mount option "default" or missing value

Nov 23 22:53:16 NFS-Serverkernel: EXT4-fs (xvde): Unrecognized mount option "default" or missing value

Nov 23 22:53:16 NFS-Serverkernel: EXT4-fs (xvdf): Unrecognized mount option "default" or missing value

 

default... 어디서 많이 보던건데... 이건 /etc/fstab 에서 mount 설정 할때 사용하는건데...!!!

다시 한 번 /etc/fstab 파일을 살펴 보자..

 

 

[NFS-Server의 /etc/fstab 파일]

/dev/mapper/VolGroup-lv_root / ext4 defaults 1 1

UUID=5b163395-2568-4f35-81a1-cf90e7f22c9a /boot ext4 defaults 1 2

/dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2

/dev/mapper/VolGroup-lv_swap swap swap defaults 0 0

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

/dev/xvdc1 /data ext3 default 1 1

/dev/xvdb /osbackup ext4 default 1 1

/dev/xvde /data_nstep ext4 default 0 0

/dev/xvdf /data_icis ext4 default 0 0

 

위에서도 봤던 동일한 파일인데, 다들 눈치 채셨나요?

default와 defaults의 숨은그림 찾기를 ;;

 

/dev/mapper/VolGroup-lv_root / ext4 defaults 1 1

UUID=5b163395-2568-4f35-81a1-cf90e7f22c9a /boot ext4 defaults 1 2

/dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2

/dev/mapper/VolGroup-lv_swap swap swap defaults 0 0

tmpfs /dev/shm tmpfs defaults 0 0

devpts /dev/pts devpts gid=5,mode=620 0 0

sysfs /sys sysfs defaults 0 0

proc /proc proc defaults 0 0

/dev/xvdc1 /data ext3 default 1 1

/dev/xvdb /osbackup ext4 default 1 1

/dev/xvde /data_nstep ext4 default 0 0

/dev/xvdf /data_icis ext4 default 0 0

 

설정의 오타로 인한 NFS-Server 의 Disk umount , NFS-Client 의 NFS 설정 불가의 문제가 발생.

=> /etc/fstab 수정 후 문제 근본 원인 해결. 끝!!

 

posted by 김소령