linux系统日志远程备份策略

真实的Linux故障诊断场景 14 备份与恢复 检查 SSH 和 rsync 日志中的身份验证或连接问题。验证备份过程是否排除了临时文件或不必要的数据。确保备份进程有足够权限访问所有必要的文件。检查备份配置,确保只包含必要的文件和目录。检查备份日志中与文件大小相关的警告或错误。检查备份作业的 cron 或调度工具配置。查看恢复命令或脚本是否有错误或拼写错误。检查备份过程中可能影响大小的压缩设置。检查加密命令或配置中的拼写错误或错误。查看用于备份的脚本或命令是否有错误。验证备份配置中指定的文件路径和模式。查看备份保留策略并删除不必要的备份 阅读详情

日志收集案例

. 前期准备

实验目标: 将3台Web Server的apache日志自动下载到本地Local主机进行存储,供今后做事件分析使用。

背景:

    1). 运行apache主机共有Linux-1、Linux-2、Linux-3共3台安装有Cent OS Linux 6系统的服务器

    2). 本地工作站系统为CentOS Linux 6

    3). apache日志自动打包,并采用ssh安全协议将打包好的日志下载到本地系统保存。

 


实验拓扑

 

主机名

IP地址

功能

Linux-1

192.168.150.10

WebServer

Linux-2

192.168.150.11

WebServer

Linux-3

192.168.150.12

WebServer

Local

192.168.150.100

保存日志

 

1. 配置Local主机和三台WebServer之间ssh连接,以便实现直接登录

1.1 编辑Local主机的的hosts文件增加3条内容

           192.168.150.10            Linux-1

           192.168.150.11            Linux-2

           192.168.150.12            Linux-3

1.2 生成ssh客户密匙

           #ssh-keygen -t rsa

           接着屏幕显示,为生成公匙密匙文件和等,全部回车即可

1.3 当客户SSH密钥生成后,将本地的id_rsa.pub复制到远程的./ssh目录下,并更改名称为authorized_keys2

            sftp root@Linux-1

            sftp Linux-1

            Connecting to Linux-1

            root@Linux-1's password: (输入密码)

            sftp>

            sftp>cd .ssh

            sftp>put id_rsa.pub  authorized_keys2

            Uploading id_rsa.pub to /.ssh/authorized_keys2

 1.4 测试配置

            #scp Linux-1:/usr/local/apache2/logs/access.log  /root/   

复制远程的access.log文件到本地的/root/.ssh目录下,这时就无需输入密码,准备工作就做好了。

 

2. 配置三台Linux-1、Linux-2、Linux-3主机,以实现每天自动切换日志文件,在配置文件httpd.conf中加入下面两句,需要注意的是如果有虚拟主机还需加到虚拟主机的配置里面,否则不生效。

CustomLog "|/bin/rotatelogs -l /var/log/apache/logs/access-%Y-%m-%d.log 86400" common

 

3.在本地主机上的root目录下录入以下脚本autolog.sh,并事先建立/logsbackup目录

#vi autolog.sh

#!/bin/bash

#  步骤一:基本参数设定,添加默认网关

Dest_dir=/logsbackup

Sour_dir=/var/log/apache/logs/

LogFile=access_log

Host_table="Linux-1 Linux-2 Linux-3"

Date=`date +%Y%m%d -d '-1 day'`

GateWay=192.168.150.1

echo Beginning:`date +'%Y/%m/%d %H:%M'`

route add default gw $GateWay

#  第二步压缩日志文件

for loop in $Host_table

  do

    ssh $loop "gzip $Sour_dir/$LogFile.$Date " && echo $loop : compress apache log file complete.

  done

#  第三部从WEB服务器上下载

for loop in $Host_table

  do

    scp $loop:$Sour_dir/$LogFile.$Date.gz $Dest_dir/$loop && echo $loop : download apache log file complete.

  done

#  第四步 压缩下载到的日志文件

for  loop in $Host_table

  do

    gzip -df $Dest_dir/$loop/$LogFile.$Date.gz

    cat   $Dest_dir/$loop/$LogFile.$Date > $Dest_dir/$loop/$LogFile && echo $loop : log files Ready now.

  done

route delete default gw $GateWay

echo End:`date +'%Y/%m/%d %H:%M'`

4.在Local主机上面部署cron任务自动执行

 15 8 * * * /tools/autolog.sh >> /root/ssh_log 2>&1

5.效果

#cat ssh_log

Beginning:2013/12/06 08:15

Linux-1 : compress apache log file complete.

Linux-2 : compress apache log file complete.

Linux-3 : compress apache log file complete.

Linux-1 : download apache log file complete.

Linux-2 : download apache log file complete.

Linux-3 : download apache log file complete.

Linux-1 : log files Ready now.

Linux-2 : log files Ready now.

Linux-3 : log files Ready now.

End:2013/12/06 08:50

 

R语言影像组学实战:从医学图像到预测模型的完整流程(附代码) 本文详细介绍了使用R语言进行影像组学分析的完整实战流程。从环境搭建、数据准备,到医学图像的特征提取与筛选,再到利用机器学习构建预测模型并进行评估,提供了清晰的步骤和可运行的R代码示例,帮助研究者和数据分析师掌握从医学图像到临床预测模型的核心技术。 阅读详情

相关推荐

22、数据备份系统日志管理全解析

本文全面解析了数据备份系统日志管理的相关知识。内容涵盖主流备份工具如Amanda、Mondo Rescue和rsync的介绍,以及商业备份产品如Tivoli Storage Manager和Veritas的优缺点分析。文中还详细讲解了如何制定备份计划与恢复策略,并深入探讨了Linux系统日志的管理方法,包括日志文件的轮转、存档和分析技巧。通过合理应用这些技术和策略,可以有效保障系统数据的安全性与稳定性。

desk3的博客 75

linux远程日志备份

1、思路步骤如下图:cha922、server机的配置step1:检查是否安装rsyslog,如果没有安装可以通过yum安装step2:编辑rsyslog文件vi  /etc/rsyslog.confstep3:使用udp协议传输去掉UDP前面的#号,使用UDPstep4:编辑接受远程日志模块在最后一行中添加$template IpTemplate,"/var/log/%FROMHOST-IP%....

selecthch的博客 2247

syncstart 实现媒体文件音视频同步

syncstart是一个强大的工具,它简化了多媒体文件的音视频同步过程,特别适用于多设备录制的媒体内容。在使用命令行工具时,可以根据实际需求灵活调整参数,如归一化、降噪、低通滤波等,以提高同步的精度和效率。通过本文介绍的基本操作和应用示例,可以快速掌握syncstart的使用方法,并将其应用到日常的音视频处理工作中。

Mr数据杨 779

Linux】rsyslog日志服务(配置,测试、日志转储)

Rsyslog的全称是 rocket-fast system for log ,可用于接受来自各种来源的输入,转换 它们,并将结果输出到不同的目的地。 它提供了高性能、强大的安全功能和模块化设计。虽然rsyslog最初是一个常规的系 统日志,但它已经发展成为一种瑞士军刀式的日志记录,当应用有限处理时, RSYSLOG每秒可以向本地目的地发送超过一百万条消息。即使使用远程目的地和更 精细的处理,性能通常被认为是“惊人的”。

Linux小白一只~正处于学习阶段,觉得我写的还好的请多多给我点赞呀,谢谢大家!!(๑>ڡ<)☆ 3万+

Linux系统】第12节 Linux系统日志管理及日志的异地备份

(1)掌握各种主要日志的存放位置; (2)能够读懂日志管理服务配置文件rsyslog.conf,并了解日志管理服务配置文件rsyslog.conf的简单配置; (3)了解日志的级别; (4)了解日志异地备份的方法。 日志对于安全来说,非常重要,他记录了系统每天发生的各种各样的事情,你可以通过他来检查错误发生的原因,或者受到攻击时攻击者留下的痕迹。日志主要的功能有:审计和监测。他还可以实时的监测系统状态,监测和追踪侵入者等等。 1.1 日志的分类 对于linux系统,日志一般存放在/var/

m0_64378913的博客 6831

linux设置日志文件保存时间为6个月(/etc/logrotate.conf)

linux设置日志文件保存时间为6个月(/etc/logrotate.conf)

hjxloveqsx的博客 1万+

linux日志定期备份初学者,linux系统定时任务入门 - 橙子柠檬's Blog

linux定时任务分类1、at适合执行一次就结束的高度任务,突发性任务,2、anacron,适合于非7*24小时开机的服务器准备的,开机执行。3、crond每分钟,检测系统是否有定时任务。然后执行。crond定时任务使用格式#.----------------分钟(0-59)#|.-------------小时(0-23)#||.----------日...

weixin_33507732的博客 201

Linux系统日志分析

rsyslog是一个 C/S 架构,可以通过套接字来进行监听记录工作,可以基于TCP和UDP工作,默认的监听端口是514,只需要在MODULES 打开即可。C/S架构是软件系统体系结构,通常采用两层结构,即服务器-客户机(Client-Server)结构,主要应用于局域网内。//在服务端创建/data/log目录,以接受大量日志信息,配置文件中的路径应当与该路径一致。Web服务:/var/log/httpd/代理服务:/var/log/squid///修改客户端配置文件,并启动服务。

weixin_60917414的博客 1141

手机上传日志文件给服务器,手机内容远程上传到服务器

手机内容远程上传到服务器 内容精选换一换为加强对系统数据的容灾管理,云堡垒机支持配置日志备份,提高审计数据安全性和系统可扩展性。本小节主要介绍如何在系统配置OBS桶参数,将日志远程备份至OBS桶。开启远程备份后,系统默认在每天零点备份前一天的系统数据。以天为单位自动备份,生成日志文件,并上传到OBS桶相应文件夹。服务器同一路径下,不能重复备份同一天日志。支持备份至OBS桶的日志需要准备一台Linu...

weixin_29208327的博客 938

Linux数据安全与备份策略完全指南

本文是Linux数据安全与备份的完整指南,详细讲解了如何识别系统关键数据、制定备份策略(完全、增量、差异),并实用化介绍磁带备份、硬盘备份(使用tar、dump、dd工具)以及远程同步(rsync)。还包括备份最佳实践如3-2-1规则、监控方法和灾难恢复流程,帮助构建可靠的数据保护体系,确保业务连续性。

PyHaVolask的博客 1333

Linux日志备份

文章目录klogd 内核,专门负责记录内核产生的日志信息rsyslogd 系统自带的日志管理工具,非内核产生的信息系统启动及登陆日志设置控制台信息输出日志滚动备份dump命令restore命令 klogd 内核,专门负责记录内核产生的日志信息 rsyslogd 系统自带的日志管理工具,非内核产生的信息 RSYSLOG is the rocket-fast system for log processing. /etc/rsyslog.conf 配置文件 facility.priority

风二中的博客 2558

Linux 备份与恢复教程:从 tar 到 rsync 的完整实战指南(附代码)

Linux系统运维中<doubaocanvas>核心资产。硬件故障、人为误操作、恶意攻击等风险随时可能导致数据丢失,而完善的备份与恢复策略正是抵御这些风险的关键防线。本文将从备份基础出发,详解实用工具、恢复方案及自动化策略,为数据安全保驾护航。

鸽芷咕的博客 2万+

linux下的系统日志管理

linux下的系统日志管理 1.systemd-journald.service日志采集查看服务 指令:#journalctl 配置文件:/etc/systemd/journald.conf 默认日志存放路径:/run/log/journal日志在内存中重启会消失 常见使用: #journalctl 查看所有日志信息 #journalctl -n 5 最新5条日志信息 #journalctl ...

chitung_hsu的博客 483

日志框架介绍和使用

一、日志概述 1、日志级别 针对不同的场景,日志被分为五种不的级别,按照重要程度依次排序 DEBUG 级别曰志记录对调试程序有帮助的信息。 INFO 级别日志 用来记录程序运行现场,虽然此处并未发生错误,但是对排查其他错误具有指导意义。 WARN 级别日志也可以用来记录程序运行现场,但是更偏向于表明此处有出现潜在错误的可能。 ERROR 级别日志表明当前程序运行发生了错误,需要被关注。但是当前发生的错误,没有影响系统的继续运行。 FATAL 级别曰志表明当前程序运行出现了严重的错误事件,并且将会导致应 用

weixin_41909330的博客 1139

Linux日志权限记录6个月,linux权限集中管理和行为日志审计

useradd -g -u -c -s -d -G -M -D改变默认属性userdel -rusermodgroupaddgroupdelpasswd --stdinchage 修改密码过期属性的 -l -Esu - -c 执行完退回来sudo 普通用户可以拥有root的权限visudonewgrpidw who las...

weixin_34796621的博客 692

Linux文件系统与日志分析(日志管理工具,备份安全策略

扇区sector(512字节):硬盘存储数据的最小存储单元block块(连续八个扇区):数据保存在块用户存取数据的最小单元(文件的最小存储单位),大小是4kb(最常见的一种分配方法)索引节点(inode):元信息保存在indoe存储文件的元信息(文件存储信息,文件类型,大小,权限),至少占用一个block一个文件也最少占用一个block(哪怕是一个空文件,也必须有一个inode和一个block)

qq_51545656的博客 710

Linux友人帐之日志备份

要创建自定义日志管理服务,可以按照以下步骤进行操作:1. 安装并配置 rsyslogRsyslog 是 Linux 上常用的日志服务,它可以帮助你将不同来源的日志消息发送到不同的输出目标。

qq_62377885的博客 906

Linux基础》08. 日志管理 · 备份与恢复

日志管理(系统常用日志日志管理,日志轮替,内存日志)、备份与恢复(dump,restore)。

学习学习学习...... 1060

Linux 定时备份日志

Linux系统定时执行脚本备份日志

立刻有,不强求 2748

OpenCodecSetup64.exe

OpenCodecSetup64.exe

上一篇: C常见编译错误(转)
下一篇: lua学习之路(一)
usbdrivers
博客等级 码龄14年 26粉丝 57原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值