[Case-Study] NFS 설정 실패 원인 찾기
1. 문제개요
작업으로 인한 서버의 리부팅 이후 백업 시도를 했으나, NFS Server 및 NFS Client의 백업이 실패함.
백업 로그를 살펴 봤더니, NFS Server였던 호스트에 NFS 용 파일시스템 및 몇몇 파일시스템이 umount 되어 실패한 상황.
[NFS-Server 백업로그]
[Critical] From:VBDA@NFS-Server.cs11cipc.com "/data_nstep" Time: 2014-11-23오후 11:21:13
[81:52] /data_nstep
Not a valid mount point => aborting.
[Critical] From:VBDA@NFS-Server.cs11cipc
[81:52] /data_icis
Not a valid mount point => aborting.
[NFS-Server disk mount 현황]
[root@NFS-Server ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
47G 5.4G 40G 12% /
tmpfs 3.9G 0 3.9G 0% /dev/shm
/dev/xvda1 485M 51M 409M 12% /boot
/dev/mapper/VolGroup-lv_home
34G 9.8G 23G 31% /home
/etc/fstab 파일을 살펴 봤지만, umount 되었던 파일시스템 설정 기 완료 되어있음. (BOLD체 확인)
[NFS-Server의 /etc/fstab 파일]
/dev/mapper/VolGroup-lv_root / ext4 defaults 1 1
UUID=5b163395-2568-4f35-81a1-
/dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2
/dev/mapper/VolGroup-lv_swap swap swap defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
/dev/xvdc1 /data ext3 default 1 1
/dev/xvdb /osbackup ext4 default 1 1
/dev/xvde /data_nstep ext4 default 0 0
/dev/xvdf /data_icis ext4 default 0 0
이로인해 NFS-Client01, NFS-Client02 에서 NFS mount fail로 동일 에러 메시지 계속 뿌림.
nfs disk를 계속 찾음으로 인해 서버 성능에 부하가 옴.
[NFS-Client log]
Nov 24 08:28:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying
Nov 24 08:29:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying
Nov 24 08:30:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying
Nov 24 08:31:19 nfs-client kernel: nfs: server 172.27.213.90 not responding, still trying
2. 문제 해결 하기
일단 임시 방편으로 umount 됐던 파일시스템 mount 시킴
[root@NFS-Server ~]# mount /dev/xvdb /osbackup
[root@NFS-Server ~]# mount /dev/xvde /date_nstep
[root@NFS-Server ~]# mount /dev/xvdf /data_icis
[root@NFS-Server ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
47G 5.4G 40G 12% /
tmpfs 3.9G 0 3.9G 0% /dev/shm
/dev/xvda1 485M 51M 409M 12% /boot
/dev/mapper/VolGroup-lv_home
34G 9.8G 23G 31% /home
/dev/xvdb 50G 19G 28G 41% /osbackup
/dev/xvdc1 690G 19G 636G 3% /data
/dev/xvde 985G 712M 934G 1% /data_nstep
/dev/xvdf 985G 666M 934G 1% /data_icis
NFS Server에서 Client 파일 시스템 공유를 위해 다시 한 번 export를 해줌
[root@NFS-Server ~]# exportfs -a
[root@NFS-Server ~]# exportfs -v
/data_nstep 172.27.62.108(rw,wdelay,no_
/data_nstep 172.27.92.252(rw,wdelay,no_
/data_icis 172.27.62.108(rw,wdelay,no_
/data_icis 172.27.92.252(rw,wdelay,no_
이로써 NFS 설정 문제는 해결 되었지만, /etc/fstab 에도 설정 되어있던 Disk 들이 리부팅 후 umount 된 원인은 아직 찾지 못함.
3. 문제 원인 찾기
NFS-Server의 syslog를 살펴보니 아래와 같은 에러 로그가 있음.
"default" 가 인식할 수 없는 option이라네요.... 잉???
[NFS-Server의 /var/log/messages]
Nov 23 22:53:16 NFS-Server kernel: EXT4-fs (xvda1): mounted filesystem with ordered data mode. Opts:
Nov 23 22:53:16 NFS-Serverkernel: EXT3-fs (xvdc1): error: unrecognized mount option "default" or missing value
Nov 23 22:53:16 NFS-Serverkernel: EXT4-fs (xvdb): Unrecognized mount option "default" or missing value
Nov 23 22:53:16 NFS-Serverkernel: EXT4-fs (xvde): Unrecognized mount option "default" or missing value
Nov 23 22:53:16 NFS-Serverkernel: EXT4-fs (xvdf): Unrecognized mount option "default" or missing value
default... 어디서 많이 보던건데... 이건 /etc/fstab 에서 mount 설정 할때 사용하는건데...!!!
다시 한 번 /etc/fstab 파일을 살펴 보자..
[NFS-Server의 /etc/fstab 파일]
/dev/mapper/VolGroup-lv_root / ext4 defaults 1 1
UUID=5b163395-2568-4f35-81a1-
/dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2
/dev/mapper/VolGroup-lv_swap swap swap defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
/dev/xvdc1 /data ext3 default 1 1
/dev/xvdb /osbackup ext4 default 1 1
/dev/xvde /data_nstep ext4 default 0 0
/dev/xvdf /data_icis ext4 default 0 0
위에서도 봤던 동일한 파일인데, 다들 눈치 채셨나요?
default와 defaults의 숨은그림 찾기를 ;;
/dev/mapper/VolGroup-lv_root / ext4 defaults 1 1
UUID=5b163395-2568-4f35-81a1-
/dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2
/dev/mapper/VolGroup-lv_swap swap swap defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
/dev/xvdc1 /data ext3 default 1 1
/dev/xvdb /osbackup ext4 default 1 1
/dev/xvde /data_nstep ext4 default 0 0
/dev/xvdf /data_icis ext4 default 0 0
설정의 오타로 인한 NFS-Server 의 Disk umount , NFS-Client 의 NFS 설정 불가의 문제가 발생.
=> /etc/fstab 수정 후 문제 근본 원인 해결. 끝!!
posted by 김소령