flask基础:数据库 | flask |《python学习之路》| python 技术论坛-金年会app官方网
orm
简介
orm
全拼object-relation mapping
,中文意为 对象-关系映射
。主要实现模型对象到关系数据库数据的映射.
优点
- 只需要面向对象编程, 不需要面向数据库编写代码。对数据库的操作都转化成对类属性和方法的操作,不用编写各种数据库的
sql
语句。 - 实现了数据模型与数据库的解耦,屏蔽了不同数据库操作上的差异。不在关注用的是
mysql
、oracle
…等。通过简单的配置就可以轻松更换数据库, 而不需要修改代码.
缺点
- 相比较直接使用sql语句操作数据库,有性能损失。
- 根据对象的操作转换成sql语句,根据查询的结果转化成对象, 在映射过程中有性能损失。
sqlalchemy
sqlalchemy
实际上是对数据库的抽象,让开发者不用直接和sql
语句打交道,而是通过python
对象来操作数据库,在舍弃一些性能开销的同时,换来的是开发效率的较大提升。sqlalchemy
是一个关系型数据库框架,它提供了高层的 orm
和底层的原生数据库的操作。flask-sqlalchemy
是一个简化了sqlalchemy
操作的flask扩展。
文档地址:
安装
- 安装 flask-sqlalchemy
pip install flask-sqlalchemy
- 如果连接的是 mysql 数据库,需要安装 mysqldb
pip install flask-mysqldb
数据库连接设置
- 在 flask-sqlalchemy 中,数据库使用url指定,而且程序使用的数据库必须保存到flask配置对象的 sqlalchemy_database_uri 键中
app.config['sqlalchemy_database_uri'] = 'mysql://root:[email protected]:3306/test'
- 其他设置:
# 动态追踪修改设置,如未设置只会提示警告
app.config['sqlalchemy_track_modifications'] = true
#查询时会显示原始sql语句
app.config['sqlalchemy_echo'] = true
- 配置完成需要去 mysql 中创建项目所使用的数据库
$ mysql -uroot -pmysql
$ create database test charset utf8;
- 其他配置
名字 | 备注 |
---|---|
sqlalchemy_database_uri | 用于连接的数据库 uri 。例如////tmp/test.dbmysql://username:password@server/db |
sqlalchemy_binds | 一个映射 binds 到连接 uri 的字典。更多 binds 的信息见。 |
sqlalchemy_echo | 如果设置为ture, sqlalchemy 会记录所有 发给 stderr 的语句,这对调试有用。(打印sql语句) |
sqlalchemy_record_queries | 可以用于显式地禁用或启用查询记录。查询记录 在调试或测试模式自动启用。更多信息见get_debug_queries()。 |
sqlalchemy_native_unicode | 可以用于显式禁用原生 unicode 支持。当使用 不合适的指定无编码的数据库默认值时,这对于 一些数据库适配器是必须的(比如 ubuntu 上 某些版本的 postgresql )。 |
sqlalchemy_pool_size | 数据库连接池的大小。默认是引擎默认值(通常 是 5 ) |
sqlalchemy_pool_timeout | 设定连接池的连接超时时间。默认是 10 。 |
sqlalchemy_pool_recycle | 多少秒后自动回收连接。这对 mysql 是必要的, 它默认移除闲置多于 8 小时的连接。注意如果 使用了 mysql , flask-sqlalchemy 自动设定 这个值为 2 小时。 |
连接其他数据库
完整连接 uri 列表请跳转到 sqlalchemy 下面的文档 () 。这里给出一些 常见的连接字符串。
- postgres:
postgresql://scott:tiger@localhost/mydatabase
- mysql:
mysql://scott:tiger@localhost/mydatabase
- oracle:
- oracle://scott:tiger@127.0.0.1:1521/sidname
- sqlite (注意开头的四个斜线):
sqlite:////absolute/path/to/foo.db
常用的字段类型
类型名 | python中类型 | 说明 |
---|---|---|
integer | int | 普通整数,一般是32位 |
smallinteger | int | 取值范围小的整数,一般是16位 |
biginteger | int或long | 不限制精度的整数 |
float | float | 浮点数 |
numeric | decimal.decimal | 普通整数,一般是32位 |
string | str | 变长字符串 |
text | str | 变长字符串,对较长或不限长度的字符串做了优化 |
unicode | unicode | 变长unicode字符串 |
unicodetext | unicode | 变长unicode字符串,对较长或不限长度的字符串做了优化 |
boolean | bool | 布尔值 |
date | datetime.date | 时间 |
time | datetime.datetime | 日期和时间 |
largebinary | str | 二进制文件 |
常用的列选项
选项名 | 说明 |
---|---|
primary_key | 如果为true,代表表的主键 |
unique | 如果为true,代表这列不允许出现重复的值 |
index | 如果为true,为这列创建索引,提高查询效率 |
nullable | 如果为true,允许有空值,如果为false,不允许有空值 |
default |
常用的关系选项
选项名 | 说明 |
---|---|
backref | 在关系的另一模型中添加反向引用 |
primary join | 明确指定两个模型之间使用的联结条件 |
uselist | 如果为false,不使用列表,而使用标量值 |
order_by | 指定关系中记录的排序方式 |
secondary | 指定多对多关系中关系表的名字 |
secondary join | 在sqlalchemy中无法自行决定时,指定多对多关系中的二级联结条件 |
数据库基本操作
- 在flask-sqlalchemy中,插入、修改、删除操作,均由数据库会话管理。会话用 db.session 表示。在准备把数据写入数据库前,要先将数据添加到会话中然后调用 commit() 方法提交会话。
- 在 flask-sqlalchemy 中,查询操作是通过 query 对象操作数据。最基本的查询是返回表中所有数据,可以通过过滤器进行更精确的数据库查询。
在视图函数中定义模型类
from flask import flask
from flask_sqlalchemy import sqlalchemy
app = flask(__name__)
#设置连接数据库的url
app.config['sqlalchemy_database_uri'] = 'mysql://root:[email protected]:3306/test'
app.config['sqlalchemy_track_modifications'] = true
#查询时会显示原始sql语句
app.config['sqlalchemy_echo'] = true
db = sqlalchemy(app)
class role(db.model):
# 定义表名
__tablename__ = 'roles'
# 定义列对象
id = db.column(db.integer, primary_key=true)
name = db.column(db.string(64), unique=true)
user = db.relationship('user', backref='role')
#repr()方法显示一个可读字符串
def __repr__(self):
return 'role:%s'% self.name
class user(db.model):
__tablename__ = 'users'
id = db.column(db.integer, primary_key=true)
name = db.column(db.string(64), unique=true, index=true)
email = db.column(db.string(64),unique=true)
password = db.column(db.string(64))
role_id = db.column(db.integer, db.foreignkey('roles.id'))
def __repr__(self):
return 'user:%s'%self.name
if __name__ == '__main__':
app.run(debug=true)
模型之前的关联
一对多
class role(db.model):
...
#关键代码
user = db.relationship('user', backref='role', lazy='dynamic')
...
class user(db.model):
...
role_id = db.column(db.integer, db.foreignkey('roles.id'))
- 其中realtionship描述了role和user的关系。在此文中,第一个参数为对应参照的类”user”
- 第二个参数backref为类user申明新属性的方法
- 第三个参数lazy决定了什么时候sqlalchemy从数据库中加载数据
- 如果设置为子查询方式(subquery),则会在加载完role对象后,就立即加载与其关联的对象,这样会让总查询数量减少,但如果返回的条目数量很多,就会比较慢
- 设置为 subquery 的话,role.users 返回所有数据列表
- 另外,也可以设置为动态方式(dynamic),这样关联对象会在被使用的时候再进行加载,并且在返回前进行过滤,如果返回的对象数很多,或者未来会变得很多,那最好采用这种方式
- 设置为 dynamic 的话,role.users 返回查询对象,并没有做真正的查询,可以利用查询对象做其他逻辑,比如:先排序再返回结果
- 如果设置为子查询方式(subquery),则会在加载完role对象后,就立即加载与其关联的对象,这样会让总查询数量减少,但如果返回的条目数量很多,就会比较慢
多对多
registrations = db.table('registrations',
db.column('student_id', db.integer, db.foreignkey('students.id')),
db.column('course_id', db.integer, db.foreignkey('courses.id'))
)
class course(db.model):
...
class student(db.model):
...
courses = db.relationship('course',secondary=registrations,
backref='students',
lazy='dynamic')
常用的查询过滤器
过滤器 | 说明 |
---|---|
filter() | 把过滤器添加到原查询上,返回一个新查询 |
filter_by() | 把等值过滤器添加到原查询上,返回一个新查询 |
limit | 使用指定的值限定原查询返回的结果 |
offset() | 偏移原查询返回的结果,返回一个新查询 |
order_by() | 根据指定条件对原查询结果进行排序,返回一个新查询 |
group_by() | 根据指定条件对原查询结果进行分组,返回一个新查询 |
常用的查询执行器
方法 | 说明 |
---|---|
all() | 以列表形式返回查询的所有结果 |
first() | 返回查询的第一个结果,如果未查到,返回none |
first_or_404() | 返回查询的第一个结果,如果未查到,返回404 |
get() | 返回指定主键对应的行,如不存在,返回none |
get_or_404() | 返回指定主键对应的行,如不存在,返回404 |
count() | 返回查询结果的数量 |
paginate() | 返回一个paginate对象,它包含指定范围内的结果 |
创建表
db.create_all()
删除表
db.drop_all()
插入一条数据
ro1 = role(name='admin')
db.session.add(ro1)
db.session.commit()
#再次插入一条数据
ro2 = role(name='user')
db.session.add(ro2)
db.session.commit()
一次插入多条数据
us1 = user(name='wang',email='[email protected]',password='123456',role_id=ro1.id)
us2 = user(name='zhang',email='[email protected]',password='201512',role_id=ro2.id)
us3 = user(name='chen',email='[email protected]',password='987654',role_id=ro2.id)
us4 = user(name='zhou',email='[email protected]',password='456789',role_id=ro1.id)
us5 = user(name='tang',email='[email protected]',password='158104',role_id=ro2.id)
us6 = user(name='wu',email='[email protected]',password='5623514',role_id=ro2.id)
us7 = user(name='qian',email='[email protected]',password='1543567',role_id=ro1.id)
us8 = user(name='liu',email='[email protected]',password='867322',role_id=ro1.id)
us9 = user(name='li',email='[email protected]',password='4526342',role_id=ro2.id)
us10 = user(name='sun',email='[email protected]',password='235523',role_id=ro2.id)
db.session.add_all([us1,us2,us3,us4,us5,us6,us7,us8,us9,us10])
db.session.commit()
"""
查询所有用户数据
查询有多少个用户
查询第1个用户
查询id为4的用户[3种方式]
查询名字结尾字符为g的所有数据[开始/包含]
查询名字不等于wang的所有数据[2种方式]
查询名字和邮箱都以 li 开头的所有数据[2种方式]
查询password是 `123456` 或者 `email` 以 `itheima.com` 结尾的所有数据
查询id为 [1, 3, 5, 7, 9] 的用户列表
查询name为liu的角色数据
查询所有用户数据,并以邮箱排序
每页3个,查询第2页的数据
"""
查询:
filter_by
精确查询,例:返回名字等于wang的所有人
user.query.filter_by(name='wang').all()
first
返回查询到的第一个对象
user.query.first()
all
返回查询到的所有对象
user.query.all()
filter
模糊查询,例:返回名字结尾字符为g的所有数据。
user.query.filter(user.name.endswith('g')).all()
get
参数为主键,如果主键不存在没有返回内容
user.query.get()
!=
逻辑非,返回条件满足的所有数据,例:返回名字不等于wang
的所有数据
user.query.filter(user.name!='wang').all()
not_
相当于取反,返回条件满足的所有数据,例:返回名字不等于chen
的所有数据
from sqlalchemy import not_
user.query.filter(not_(user.name=='chen')).all()
and_
逻辑与,返回条件满足的所有数据,例:返回名字不等于wang
且邮箱以163.com
结尾的所有数据
from sqlalchemy import and_
user.query.filter(and_(user.name!='wang',user.email.endswith('163.com'))).all()
or_
逻辑或,返回条件满足的所有数据,例:返回名字不等于wang
或者邮箱以163.com
结尾的所有数据
from sqlalchemy import or_
user.query.filter(or_(user.name!='wang',user.email.endswith('163.com'))).all()
查询数据后删除
user = user.query.first()
db.session.delete(user)
db.session.commit()
user.query.all()
更新数据
user = user.query.first()
user.name = 'dong'
db.session.commit()
user.query.first()
数据库迁移
简介
在开发过程中,需要修改数据库模型,而且还要在修改之后更新数据库。最直接的方式就是删除旧表,但这样会丢失数据。更好的解决办法是使用数据库迁移框架,它可以追踪数据库模式的变化,然后把变动应用到数据库中。在flask中可以使用flask-migrate扩展,来实现数据迁移。并且集成到flask-script中,所有操作通过命令就能完成。为了导出数据库迁移命令,flask-migrate提供了一个migratecommand类,可以附加到flask-script的manager对象上。
使用
首先要在虚拟环境中安装flask-migrate。
pip install flask-migrate
代码文件内容:
#coding=utf-8 from flask import flask from flask_sqlalchemy import sqlalchemy from flask_migrate import migrate,migratecommand from flask_script import shell,manager app = flask(__name__) manager = manager(app) app.config['sqlalchemy_database_uri'] = 'mysql://root:[email protected].1:3306/flask_test' app.config['sqlalchemy_commit_on_teardown'] = true app.config['sqlalchemy_track_modifications'] = true db = sqlalchemy(app) #第一个参数是flask的实例,第二个参数是sqlalchemy数据库实例 migrate = migrate(app,db) #manager是flask-script的实例,这条语句在flask-script中添加一个db命令 manager.add_command('db',migratecommand) #定义模型role class role(db.model): # 定义表名 __tablename__ = 'roles' # 定义列对象 id = db.column(db.integer, primary_key=true) name = db.column(db.string(64), unique=true) user = db.relationship('user', backref='role') #repr()方法显示一个可读字符串, def __repr__(self): return 'role:'.format(self.name) #定义用户 class user(db.model): __talbe__ = 'users' id = db.column(db.integer, primary_key=true) username = db.column(db.string(64), unique=true, index=true) #设置外键 role_id = db.column(db.integer, db.foreignkey('roles.id')) def __repr__(self): return 'user:'.format(self.username) if __name__ == '__main__': manager.run()
创建迁移仓库
#这个命令会创建migrations文件夹,所有迁移文件都放在里面。
python database.py db init
创建迁移脚本
自动创建迁移脚本有两个函数:
- upgrade():函数把迁移中的改动应用到数据库中。
- downgrade():函数则将改动删除。
自动创建的迁移脚本会根据模型定义和数据库当前状态的差异,生成upgrade()和downgrade()函数的内容。对比不一定完全正确,有可能会遗漏一些细节,需要进行检查
python database.py db migrate -m 'initial migration'
更新数据库
python database.py db upgrade
返回以前的版本
可以根据history命令找到版本号,然后传给downgrade命令:
python app.py db history 输出格式:<base> -> 版本号 (head), initial migration
- 回滚到指定版本
python app.py db downgrade 版本号
信号机制
简介
flask信号(signals, or event hooking)允许特定的发送端通知订阅者发生了什么(既然知道发生了什么,那我们可以根据自己业务需求实现自己的逻辑)。flask提供了一些信号(核心信号)且其它的扩展提供更多的信号。信号依赖于blinker库。
flask内置信号列表:
template_rendered = _signals.signal('template-rendered')
request_started = _signals.signal('request-started')
request_finished = _signals.signal('request-finished')
request_tearing_down = _signals.signal('request-tearing-down')
got_request_exception = _signals.signal('got-request-exception')
appcontext_tearing_down = _signals.signal('appcontext-tearing-down')
appcontext_pushed = _signals.signal('appcontext-pushed')
appcontext_popped = _signals.signal('appcontext-popped')
message_flashed = _signals.signal('message-flashed')
应用场景
flask-user 这个扩展中定义了名为 user_logged_in 的信号,当用户成功登入之后,这个信号会被发送。我们可以订阅该信号去追踪登录次数和登录ip:
from flask import request
from flask_user.signals import user_logged_in
@user_logged_in.connect_via(app)
def track_logins(sender, user, **extra):
user.login_count = 1
user.last_login_ip = request.remote_addr
db.session.add(user)
db.session.commit()
flask-sqlalchemy 信号支持
在 flask-sqlalchemy 模块中,0.10 版本开始支持信号,可以连接到信号来获取到底发生什么了的通知。存在于下面两个信号:
- models_committed:这个信号在修改的模型提交到数据库时发出。发送者是发送修改的应用,模型 和 操作描述符 以 (model, operation) 形式作为元组,这样的元组列表传递给接受者的 changes 参数。该模型是发送到数据库的模型实例,当一个模型已经插入,操作是 ‘insert’ ,而已删除是 ‘delete’ ,如果更新了任何列,会是 ‘update’ 。
- before_models_committed:除了刚好在提交发送前发生,与 models_committed 完全相同。
from flask_sqlalchemy import models_committed
# 给 models_committed 信号添加一个订阅者,即为当前 app
@models_committed.connect_via(app)
def models_committed(a, changes):
print(a, changes)