Vcenter版本:6.0
表现症状:Vcenter直接登陆不上,用Client登陆的时候报错,Ssh可以进去,但是用不了shell,也不能用命令shell.set --enabled true开启shell
Vcenter的管理地址是ping通的,用Client登陆Vcenter所在的esxi主机也是可以的,Vcenter虚拟机是linux版本vcsa的,状态看起来也正常。
尝试登录vc虚拟机所在esxi主机看到vc的状态似乎是正常的,然后重启vcenter,将近话了40分钟,重启极慢。最后起来以后还是一样的问题,重启解决不了问题。
ssh到vcenter上发现vmware-rbd-watchdog vmware-netdumper vmware-mbcs这几个服务没有启动,而且手动启动报错。
故障原因:经过一些列的百度,最后定位故障原因就是日志文件过大,导致系统崩溃,关键服务没有起来。
结局问题思路:想办法进入shell,删除过大的日志文件,扩充磁盘容量。
解决问题步骤:想办法登录GRUB界面,删除超大日志文件,扩展日志盘容量。进grub界面可以详细研究一下这个:https://kb.vmware.com/s/article/2069041
进入esxi主机管理界面,将vc虚拟机关机,右键编辑虚拟机设置,高级,开机延迟,将vc虚拟机开机延迟为10000毫秒,勾选开机强制进入bios设置,然后开机,进bios不进行任何操作,保存重启,才能出来开机选项,用上下键快速选择任意启动项,不要回车,主要是为了保持窗口,不进入启动。然后按p键,出来密码输入界面,输入root密码,进入到GRUB界面。
滚动到第二行以显示内核参数,选择kernel/vmlinuz-3.0.80-0.7这栏,按e键 编辑引导命令,将init=/bin/bash附加到核心引导选项。
按 Enter。将重新显示 GRUB 菜单。
键入b启动引导过程。系统引导到Shell。
输入df -h发现确实是磁盘满了。
通过find / -type f -size +100M命令,把大于100M的文件都找了出来,
发现大文件主要是audit.log这个文件,用cd /var/log/audit/ 导航到这个日志文件所在目录,用ll显示文件夹的文件,会发现audit.log这个文件特别大(此图是已经调整后的,所以文件不大)
用rm -rf /var/log/audit/audit.log命令删除,删除后再次用df -h查看磁盘容量,会发现磁盘利用率明显变小了。
注意:audit.log这个文件是可以再生的,删除后系统开机就会再生,可以删除。
然后将vc虚拟机关机,(可以直接esxi管理界面强制关机,也可以用命令shutdown -t secs 1 关机)调整虚拟机配置,磁盘配置,磁盘5是存放日志文件的,适当增大磁盘5的容量。
注意:如果运行reboot命令无法重新启动设备,则运行以下命令:
mkfifo /dev/initctl
reboot -f
也可以直接在esxi主机管理界面强制关机或者用命令shutdown -t secs 1
确定后开机,开机速度正常,vc可以正常登录,故障解决。
故障解决。Shell也可以正常启用
另外一种方案就是直接对vc的虚拟机磁盘5进行扩容,不删除日志文件。