爬虫进阶:框架功能完善-金年会app官方网
框架中实现配置文件
实现框架的默认配置文件
在scrapy_plus下建立conf包文件夹在它下面建立default_settings.py：设置默认配置的配置
import logging
# 默认的日志配置
default_log_level = logging.info # 默认等级
default_log_fmt = '%(asctime)s %(filename)s[line:%(lineno)d] \
%(levelname)s: %(message)s' # 默认日志格式
defualt_log_datefmt = '%y-%m-%d %h:%m:%s' # 默认时间格式
default_log_filename = 'log.log' # 默认日志文件名称再在conf下创建settings.py文件
# scrapy_plus/conf/settings
from .default_settings import * # 全部导入默认配置文件的属性在框架中使用
利用框架配置文件改写log.py
# scrapy_plus/utils/log.py
import sys
import logging
from scrapy_plus.conf import settings # 导入框架的settings文件
class logger(object):
def __init__(self):
# 1. 获取一个logger对象
self._logger = logging.getlogger()
# 2. 设置format对象
self.formatter = logging.formatter(fmt=settings.default_log_fmt,datefmt=settings.defualt_log_datefmt)
# 3. 设置日志输出
# 3.1 设置文件日志模式
self._logger.addhandler(self._get_file_handler(settings.default_log_filename))
# 3.2 设置终端日志模式
self._logger.addhandler(self._get_console_handler())
# 4. 设置日志等级
self._logger.setlevel(settings.default_log_level)
......创建项目配置文件，并实现修改框架默认配置文件属性
项目文件夹下创建项目配置文件settings.py:
# project_dir/settings.py
# 修改默认日志文件名称
default_log_filename = '日志.log' # 默认日志文件名称修改框架的settings.py文件，实现修改默认配置文件属性的目的
# scrapy_plus/conf/settings
from .default_settings import * # 全部导入默认配置文件的属性
# 这里导入的settings，是项目文件夹的settings文件
from settings import *