Python的日志模块

2018-09-14 0 条评论 288 次阅读 0 人点赞

本内容详细说明Python标准库里的logging模块。不管做基于命令行的工具,还是Web应用,都离不开日志记录。

logging 模块中有几个概念:

  • Logger:日志记录器,是应用程序中能直接使用的接口;
  • Handler:日志处理器,用以表明将日志保存到什么地方,以及保存多久;
  • Formatter:格式化,用以配置日志的输出格式;

在典型的应用中,一个Logger使用一个Handler,一个Handler使用一个Formatter。

1. 基本用法

import logging
import sys

# 获取logger实例(入口),最好指定name,null则返回 root logger
logger = logging.getLogger("AppName")

# 指定logger输出格式
formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')

# 文件日志
# 对于中文,我们必须指定encoding="utf-8"
file_handler = logging.FileHandler("test.log",encoding="utf-8")
file_handler.setFormatter(formatter) # 可以通过setFormatter指定输出格式

# 控制台日志
console_handler = logging.StreamHandler(sys.stdout)
console_handler.formatter = formatter # 也可以直接给formatter赋值

# 为logger添加的日志处理器
logger.addHandler(file_handler)
logger.addHandler(console_handler)

# 指定日志的最低输出级别,默认为WARN级别
logger.setLevel(logging.INFO)

# 输出不同级别的log
logger.debug('this is debug info:调试信息')
logger.info('this is information:跟踪信息')
logger.warning('this is warning message:警告信息')
logger.error('this is error message:错误信息')
logger.fatal('this is fatal message, it is same as logger.critical:最高级别的信息')
logger.critical('this is critical message:最高级别的信息')

# 2018-08-22 08:58:22,546 INFO : this is information:跟踪信息
# 2018-08-22 08:58:22,546 WARNING : this is warning message:警告信息
# 2018-08-22 08:58:22,546 ERROR : this is error message:错误信息
# 2018-08-22 08:58:22,546 CRITICAL: this is fatal message, it is same as logger.critical:最高级别的信息
# 2018-08-22 08:58:22,546 CRITICAL: this is critical message:最高级别的信息

# 移除一些日志处理器
logger.removeHandler(file_handler)

2. 小技巧

2.1 使用logger的格式化

service_name = "Booking"
logger.error('%s service is down!' % service_name) # 使用python自带的字符串格式化,不推荐
logger.error('%s service is down!', service_name) # 使用logger的格式化,推荐
logger.error('%s service is %s!', service_name, 'down') # 多参数格式化
logger.error('{} service is {}'.format(service_name, 'down')) # 使用format函数,推荐

2.2 异常记录

if __name__ == '__main__':
 try:
  raise Exception("Customer Exception")
 except Exception as e:
  # 等同于error级别,但是会额外记录当前抛出的异常堆栈信息
  logger.exception(e)

/* 记录到的错误日志情况
2018-08-22 09:13:57,890 ERROR : Customer Exception
Traceback (most recent call last):
  File "D:/PythonLabs/Learning/Linuxops/L0309.py", line 31, in <module>
    raise Exception("Customer Exception")
Exception: Customer Exception
*/

3. logging配置要点

3.1 GetLogger()

这是最基本的入口,该方法参数为null时,默认的logger名称是root。源码是从一个字典里根据name做key来找出实例的,所以,只要name相同,就能拿到同一个实例。另外,也可以通过name来区分同一个程序的不同模块。

3.2 Formatter日志格式

# Formatter实例化源码
def __init__(self, fmt=None, datefmt=None, style='%'):
  • fmt:格式化的模板,默认包含最基本的level和message信息;
  • datefmt:格式化的容器央视,默认为%Y-%m-%d %H:%M:%S,样例:2018-08-22 09:13:57,890;
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名|
%(funcName)s 调用日志输出函数的函数名|
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间,用UNIX标准的表示时间的浮点数表示|
%(relativeCreated)d 输出日志信息时的,自Logger创建以来的毫秒数|
%(asctime)s 字符串形式的当前时间。默认格式是“2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s 用户输出的消息

3.3 日志级别

logging的级别:DEBUG,INFO,WARNING,ERROR,CRITICAL;
默认级别是WARNING,logging模块只会输出指定level以上的log。这样的好处, 就是在项目开发时debug用的log,在产品release阶段不用一一注释了,只需要调整logger的级别就可以了,很方便。

3.4 Handler 日志处理器

Handler 是用来向不同的终端输出日志,最常用的是StreamHandlerFileHandler

3.5 Configuration 配置方法

logging的配置大致有下面几种方式:

  • 纯通过代码,参考开头的例子,主要是通过getLogger方法实现;
  • 通过代码 + 简单配置,主要是通过basicConfig方法实现;
    请谨记:调用basicConfig方法会默认创建一个handler;
  • 纯通过配置文件,主要是通过 logging.config.fileConfig(filepath)

4. 日志重复输出的坑

4.1 basicConfig与addHandler混用

import logging

# 已创建了默认的Handler --> root
logging.basicConfig(level=logging.DEBUG)

fmt = '%(levelname)s:%(message)s'
console_handler = logging.StreamHandler()
console_handler.setFormatter(logging.Formatter(fmt))
# 又添加了一个Handler
logging.getLogger().addHandler(console_handler)

logging.info('hello!')
# INFO:root:hello!
# INFO:hello!

4.2 把logger做私有变量

import logging


def get_logger():
 fmt = '%(levelname)s:%(message)s'
 console_handler = logging.StreamHandler()
 console_handler.setFormatter(logging.Formatter(fmt))
 logger = logging.getLogger('App')
 logger.setLevel(logging.INFO)
 # 每次调用都会往App的logger里加 Handler,不断累加(用完没有释放)
 logger.addHandler(console_handler)
 return logger


def call_me():
 logger = get_logger()
 logger.info('hi')


call_me()
call_me()
# INFO:hi
# INFO:hi
# INFO:hi

4.3 root logger的坑

import logging


def get_logger():
 fmt = '%(levelname)s: %(message)s'
 console_handler = logging.StreamHandler()
 console_handler.setFormatter(logging.Formatter(fmt))
 logger = logging.getLogger('App')
 logger.setLevel(logging.INFO)
 logger.addHandler(console_handler)
 return logger


def foo():
 # 没有共有App的logger,而是启动了默认的root;往后的输出,root都会输出一份
 logging.basicConfig(format='[%(name)s]: %(message)s')
 logging.warning('some module use root logger')


def main():
 logger = get_logger()
 logger.info('App start.')
 foo()
 logger.info('App shutdown.')


main()
# INFO: App start.
# [root]: some module use root logger
# INFO: App shutdown.
# [App]: App shutdown.

4.4 使用总结

为了避免重复输出日志的坑,我们坚持以下原则:
1)logger是全局的,配置它必须要在一个地方统一处理;
2)全局应该使用同一个name的logger;如果有多个,每次使用前,必须指定name;
3)配置方式不要混合使用;
4)不要把addHandler()方法私有化;

掌柜

让未来超越过去!

文章评论(0)