嘿马头条项目从到完整开发笔记总结完整教程(附代码资料)主要内容讲述:课程简介,ToutiaoWeb虚拟机使用说明,Pycharm远程开发,产品与开发,数据库1 产品介绍,2 原型图与UI图,3 技术架构,4 开发。OSS对象存储,七牛云存储,CDN,缓存。缓存,缓存架构,缓存数据,缓存有效期与淘汰策略,缓存模式缓存数据的类型,缓存数据的保存方式,有效期 TTL (Time to live),缓存淘汰 eviction。缓存,缓存问题,头条项目缓存与存储设计,头条项目缓存实现,项目Redis持久存储实现,APScheduler定时任务,APScheduler使用1 缓存穿透,2 缓存雪崩,缓存设计,持久存储设计。APScheduler定时任务,定时修正统计数据,RPC,RPC简介,RPC结构,gRPC,简介1. 什么是RPC,2. 背景与用途,3. 概念说明,4. 优缺点,架构,使用方法。RPC,Protocol Buffers,推荐系统接口定义,补全服务端1 文档结构,2 注释,3 数据类型,4 消息类型,5 map映射,6 oneof,7 定义服务,代码生成。RPC,编写客户端,头条首页新闻推荐接口编写,即时通讯,即时通讯简介,WebSocket。即时通讯,Socket.IO,头条聊天服务实现,头条在线消息推送实现,Elasticsearch1 简介,2 Python服务器端开发,3 Python客户端。Elasticsearch,简介与原理。Elasticsearch,概念与集群,IK中文分析器,索引与类型概念,Elasticsearch 集群(cluster),索引,类型和映射。Elasticsearch,文档,Logstash导入数据,查询,头条全文检索实现,联想提示,头条suggest查询实现。数据库,数据库设计1 需求,2 注意事项,3 头条项目数据库。单元测试,部署相关,Gunicorn,Supervisor。数据库,理解ORM,SQLAlchemy映射构建1 简介,2 安装,3 数据库连接设置,4 模型类字段与选项,5 构建模型类映射。数据库,SQLAlchemy操作1 新增,2 查询,3 更新,4 删除,5 事务。数据库,数据库理论1. 复制集与分布式,2. MySQL。数据库,分布式ID,数据库优化1 方案选择,2 黑马头条,1 理解索引,2 SQL查询优化,3 数据库优化。数据库,Redis,Git工用流1 Redis事务,2 Redis持久化,3 Redis高可用,4 Redis集群,5 用途,6 相关补充阅读。Git工用流,Gitflow工作流,Git总结,头条项目目录1 Gitflow工作流分支,2 Confict冲突解决。Git工用流,调试方法,JWT认证方案,JWT & JWS & JWE,JWT的Python库,头条项目实施方案,JWT禁用问题,OSS对象存储。
全套笔记资料代码移步: 前往gitee仓库查看
感兴趣的小伙伴可以自取哦,欢迎大家点赞转发~
全套教程部分目录:
部分文件图片:
数据库
-
数据库设计
-
SQLAlchemy
-
数据库理论
-
分布式ID
-
Redis
理解ORM
作用
-
省去自己拼写SQL,保证SQL语法的正确性
-
一次编写可以适配多个数据库
-
防止注入
-
在数据库表名或字段名发生变化时,只需修改模型类的映射,无需修改数据库操作的代码
(相比SQL的话,可能需要同步修改涉及到的每一个SQL语句)
思考:
可否在已经存在数据库表的情况下,使用模型类进行操作?
使用ORM的方式选择
-
先创建模型类,再迁移到数据库中
- 优点:简单快捷,定义一次模型类即可,不用写sql
- 缺点:不能尽善尽美的控制创建表的所有细节问题,表结构发生变化的时候,也会难免发生迁移错误
-
先用原生SQL创建数据库表,再编写模型类作映射
- 优点:可以很好的控制数据库表结构的任何细节,避免发生迁移错误
- 缺点:可能编写工作多(编写sql与模型类,似乎有些牵强)
头条项目采用编写原生SQL创建表,之后再编写模型类进行映射的方式。
SQLAlchemy映射构建
1 简介
SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行。
SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。
SQLAlchemy首次发行于2006年2月,并迅速地在Python社区中最广泛使用的ORM工具之一,不亚于Django的ORM框架。
Flask-SQLAlchemy是在Flask框架的一个扩展,其对SQLAlchemy进行了封装,目的于简化在 Flask 中 SQLAlchemy 的 使用,提供了有用的默认值和额外的助手来更简单地完成日常任务。
2 安装
安装Flask-SQLAlchemy
pip install flask-sqlalchemy
如果使用的是MySQL数据库,还需要安装MySQL的Python客户端库
pip install mysqlclient
3 数据库连接设置
在Flask中使用Flask-SQLAlchemy需要进行配置,主要配置以下几项:
-
SQLALCHEMY_DATABASE_URI
数据库的连接信息- Postgres:
postgresql://user:password@localhost/mydatabase
* MySQL:
```python
mysql://user:password@localhost/mydatabase
- Oracle:
oracle://user:password@127.0.0.1:1521/sidname
- SQLite (注意开头的四个斜线):
sqlite:////absolute/path/to/foo.db
-
SQLALCHEMY_TRACK_MODIFICATIONS
在Flask中是否追踪数据修改 -
SQLALCHEMY_ECHO
显示生成的SQL语句,可用于调试
这些配置参数需要放在Flask的应用配置(app.config
)中。
from flask import Flask
app = Flask(__name__)
class Config(object):
SQLALCHEMY_DATABASE_URI = 'mysql://root:mysql@127.0.0.1:3306/toutiao'
SQLALCHEMY_TRACK_MODIFICATIONS = False
SQLALCHEMY_ECHO = True
app.config.from_object(Config)
其他配置参考如下:
名字 | 备注 |
---|---|
SQLALCHEMY_DATABASE_URI | 用于连接的数据库 URI 。例如:sqlite:////tmp/test.dbmysql://username:password@server/db |
SQLALCHEMY_BINDS | 一个映射 binds 到连接 URI 的字典。更多 binds 的信息见[用 Binds 操作多个数据库]( |
SQLALCHEMY_ECHO | 如果设置为Ture, SQLAlchemy 会记录所有 发给 stderr 的语句,这对调试有用。(打印sql语句) |
SQLALCHEMY_RECORD_QUERIES | 可以用于显式地禁用或启用查询记录。查询记录 在调试或测试模式自动启用。更多信息见get_debug_queries()。 |
SQLALCHEMY_NATIVE_UNICODE | 可以用于显式禁用原生 unicode 支持。当使用 不合适的指定无编码的数据库默认值时,这对于 一些数据库适配器是必须的(比如 Ubuntu 上 某些版本的 PostgreSQL )。 |
SQLALCHEMY_POOL_SIZE | 数据库连接池的大小。默认是引擎默认值(通常 是 5 ) |
SQLALCHEMY_POOL_TIMEOUT | 设定连接池的连接超时时间。默认是 10 。 |
SQLALCHEMY_POOL_RECYCLE | 多少秒后自动回收连接。这对 MySQL 是必要的, 它默认移除闲置多于 8 小时的连接。注意如果 使用了 MySQL , Flask-SQLALchemy 自动设定 这个值为 2 小时。 |
4 模型类字段与选项
字段类型
类型名 | python中类型 | 说明 |
---|---|---|
Integer | int | 普通整数,一般是32位 |
SmallInteger | int | 取值范围小的整数,一般是16位 |
BigInteger | int或long | 不限制精度的整数 |
Float | float | 浮点数 |
Numeric | decimal.Decimal | 普通整数,一般是32位 |
String | str | 变长字符串 |
Text | str | 变长字符串,对较长或不限长度的字符串做了优化 |
Unicode | unicode | 变长Unicode字符串 |
UnicodeText | unicode | 变长Unicode字符串,对较长或不限长度的字符串做了优化 |
Boolean | bool | 布尔值 |
Date | datetime.date | 时间 |
Time | datetime.datetime | 日期和时间 |
LargeBinary | str | 二进制文件 |
列选项
选项名 | 说明 |
---|---|
primary_key | 如果为True,代表表的主键 |
unique | 如果为True,代表这列不允许出现重复的值 |
index | 如果为True,为这列创建索引,提高查询效率 |
nullable | 如果为True,允许有空值,如果为False,不允许有空值 |
default | 为这列定义默认值 |
关系选项
选项名 | 说明 |
---|---|
backref | 在关系的另一模型中添加反向引用 |
primary join | 明确指定两个模型之间使用的联结条件 |
uselist | 如果为False,不使用列表,而使用标量值 |
order_by | 指定关系中记录的排序方式 |
secondary | 指定多对多关系中关系表的名字 |
secondary join | 在SQLAlchemy中无法自行决定时,指定多对多关系中的二级联结条件 |
5 构建模型类映射
例用虚拟机中已有的头条数据库,构建模型类映射,以下面三张表为例
CREATE TABLE `user_basic` (
`user_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户ID',
`account` varchar(20) COMMENT '账号',
`email` varchar(20) COMMENT '邮箱',
`status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态,是否可用,0-不可用,1-可用',
`mobile` char(11) NOT NULL COMMENT '手机号',
`password` varchar(93) NULL COMMENT '密码',
`user_name` varchar(32) NOT NULL COMMENT '昵称',
`profile_photo` varchar(128) NULL COMMENT '头像',
`last_login` datetime NULL COMMENT '最后登录时间',
`is_media` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否是自媒体,0-不是,1-是',
`is_verified` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否实名认证,0-不是,1-是',
`introduction` varchar(50) NULL COMMENT '简介',
`certificate` varchar(30) NULL COMMENT '认证',
`article_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '发文章数',
`following_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '关注的人数',
`fans_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '被关注的人数',
`like_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计点赞人数',
`read_count` int(11) unsigned NOT NULL DEFAULT '0' COMMENT '累计阅读人数',
PRIMARY KEY (`user_id`),
UNIQUE KEY `mobile` (`mobile`),
UNIQUE KEY `user_name` (`user_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户基本信息表';
CREATE TABLE `user_profile` (
`user_id` bigint(20) unsigned NOT NULL COMMENT '用户ID',
`gender` tinyint(1) NOT NULL DEFAULT '0' COMMENT '性别,0-男,1-女',
`birthday` date NULL COMMENT '生日',
`real_name` varchar(32) NULL COMMENT '真实姓名',
`id_number` varchar(20) NULL COMMENT '身份证号',
`id_card_front` varchar(128) NULL COMMENT '身份证正面',
`id_card_back` varchar(128) NULL COMMENT '身份证背面',
`id_card_handheld` varchar(128) NULL COMMENT '手持身份证',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
`register_media_time` datetime NULL COMMENT '注册自媒体时间',
`area` varchar(20) COMMENT '地区',
`company` varchar(20) COMMENT '公司',
`career` varchar(20) COMMENT '职业',
PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户资料表';
CREATE TABLE `user_relation` (
`relation_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键id',
`user_id` bigint(20) unsigned NOT NULL COMMENT '用户ID',
`target_user_id` bigint(20) unsigned NOT NULL COMMENT '目标用户ID',
`relation` tinyint(1) NOT NULL DEFAULT '0' COMMENT '关系,0-取消,1-关注,2-拉黑',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
PRIMARY KEY (`relation_id`),
UNIQUE KEY `user_target` (`user_id`, `target_user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户关系表';
首先需要创建SQLAlchemy对象:
- 方式一:
db = SQLAlchemy(app)
- 方式二:
db = SQLAlchemy()
db.init_app(app)
注意此方式在单独运行调试时,对数据库操作需要在Flask的应用上下文中进行,即文章来源:https://www.toymoban.com/news/detail-841177.html
with app.app_context():
User.query.all()
定义模型类文章来源地址https://www.toymoban.com/news/detail-841177.html
class User(db.Model):
"""
用户基本信息
"""
__tablename__ = 'user_basic'
class STATUS:
ENABLE = 1
DISABLE = 0
id = db.Column('user_id', db.Integer, primary_key=True, doc='用户ID')
mobile = db.Column(db.String, doc='手机号')
password = db.Column(db.String, doc='密码')
name = db.Column('user_name', db.String, doc='昵称')
profile_photo = db.Column(db.String, doc='头像')
last_login = db.Column(db.DateTime, doc='最后登录时间')
is_media = db.Column(db.Boolean, default=False, doc='是否是自媒体')
is_verified = db.Column(db.Boolean, default=False, doc='是否实名认证')
introduction = db.Column(db.String, doc='简介')
certificate = db.Column(db.String, doc='认证')
article_count = db.Column(db.Integer, default=0, doc='发帖数')
following_count = db.Column(db.Integer, default=0, doc='关注的人数')
fans_count = db.Column(db.Integer, default=0, doc='被关注的人数(粉丝数)')
like_count = db.Column(db.Integer, default=0, doc='累计点赞人数')
read_count = db.Column(db.Integer, default=0, doc='累计阅读人数')
account = db.Column(db.String, doc='账号')
email = db.Column(db.String, doc='邮箱')
status = db.Column(db.Integer, default=1, doc='状态,是否可用')
class UserProfile(db.Model):
"""
用户资料表
"""
__tablename__ = 'user_profile'
class GENDER:
MALE = 0
FEMALE = 1
id = db.Column('user_id', db.Integer, primary_key=True, doc='用户ID')
gender = db.Column(db.Integer, default=0, doc='性别')
birthday = db.Column(db.Date, doc='生日')
real_name = db.Column(db.String, doc='真实姓名')
id_number = db.Column(db.String, doc='身份证号')
id_card_front = db.Column(db.String, doc='身份证正面')
id_card_back = db.Column(db.String, doc='身份证背面')
id_card_handheld = db.Column(db.String, doc='手持身份证')
ctime = db.Column('create_time', db.DateTime, default=datetime.now, doc='创建时间')
utime = db.Column('update_time', db.DateTime, default=datetime.now, onupdate=datetime.now, doc='更新时间')
register_media_time = db.Column(db.DateTime, doc='注册自媒体时间')
area = db.Column(db.String, doc='地区')
company = db.Column(db.String, doc='公司')
career = db.Column(db.String, doc='职业')
class Relation(db.Model):
"""
用户关系表
"""
__tablename__ = 'user_relation'
class RELATION:
DELETE = 0
FOLLOW = 1
BLACKLIST = 2
id = db.Column('relation_id', db.Integer, primary_key=True, doc='主键ID')
user_id = db.Column(db.Integer, doc='用户ID')
target_user_id = db.Column(db.Integer, doc='目标用户ID')
relation = db.Column(db.Integer, doc='关系')
ctime = db.Column('create_time', db.DateTime, default=datetime.now, doc='创建时间')
utime = db.Column('update_time', db.DateTime, default=datetime.now, onupdate=datetime.now, doc='更新时间')
未完待续, 同学们请等待下一期
全套笔记资料代码移步: 前往gitee仓库查看
感兴趣的小伙伴可以自取哦,欢迎大家点赞转发~
到了这里,关于【Python使用】嘿马头条完整开发md笔记第2篇:数据库,作用【附代码文档】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!