Kafka日志清理相关设置

前几天服务器磁盘被刷爆了(阿里云默认40G硬盘),后面查下来是kafka日志文件写的。

清理策略

  • log.cleanup.policy=delete : kafka日志的清理策略,默认是delete,就是根据配置的时间空间来清理日志;还可以配置成compact,根据messages中的key,进行删除操作在active segment 被commit 后,会删除掉old duplicate keys无限制的时间与空间的日志保留

关于delete的相关配置

  • log.retention.hours=168 : 日志保留的时间,默认是7天(7*24小时),超过这个时间的日志都会被清理掉。
  • log.retention.bytes=1073741824 : 当个日志文件的最大字节数,默认1G。如果文件超出这个大小后,就会新建一个日志文件。
  • log.roll.hours = 3 : 创建日志文件的周期,默认值是3,如果日志文件大小没有超过1G,就每3个小时会创建一个新的日志文件。

总结

从上面的配置可以看出,如果你数据量不大,按上面的配置,会存在56个日志文件(log.retention.hours/log.roll.hours),且日志总量不会大于56G的硬盘空间。但是如果数据量大,3个小时内数据超过了1G,就会创建很多的日志文件,这个时候的空间就没法预估了,只能通过log.retention.hours来控制日志保留时间来控制日志所占磁盘的大小。

0%