阿里云日志服务Logstore与MySQL数据库关联

这篇具有很好参考价值的文章主要介绍了阿里云日志服务Logstore与MySQL数据库关联。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前提条件

  • 已采集日志到日志服务。更多信息,请参见数据采集。
  • 已为日志字段创建索引。更多信息,请参见创建索引。
  • 已有可用的MySQL数据库。更多信息,请参见创建数据库和账号。

操作步骤

1、在MySQL数据库中,创建用户属性表(即chiji_user表)。

2、添加白名单。如果是rds,设置ip白名单;如果是ecs上自建的mysql,设置安全组规则。

3、创建ExternalStore。

3.1.centos7安装日志服务CLI。更多信息,请参见CLI概述。

# 查看python版本:python --version
# 当前python版本:Python 2.7.5

# 安装cli:https://help.aliyun.com/zh/sls/developer-reference/install-log-service-cli

# 因为当前python版本为Python 2.7.5,所以使用pip安装
pip install aliyun-log-python-sdk aliyun-log-cli -U --no-cache

# 验证安装结果
aliyunlog --version


# 配置cli:https://help.aliyun.com/zh/sls/developer-reference/configure-log-service-cli
aliyunlog configure "【AccessKey ID】" "【AccessKey Secret】" 【Endpoint】

3.2.创建配置文件

touch /home/config.json

3.3.在/home/config.json文件中添加如下脚本,并根据实际情况替换参数配置。

{
"externalStoreName":"【storename名称,由于示例关联查询使用了chiji_user,所以此处填写chiji_user】",
"storeType":"rds-vpc",
"parameter":
   {
   "region":"【cn-qingdao】",
   "vpc-id":"【vpc-m5eq4irc1pucp*******】",
   "instance-id":"【i-m5eeo2whsn*******】",
   "host":"localhost",
   "port":"3306",
   "username":"【用户】",
   "password":"【密码】",
   "db":"【库名】",
   "table":"【表名】"
   }
}

3.4.创建ExternalStore。

aliyunlog log create_external_store --project_name="【日志服务Project名称】" --config="file:///home/config.json" 

4、使用JOIN语法进行联合查询分析。

4.1.登录日志服务控制台。

4.2.在Project列表区域,单击目标Project。

4.3.在日志存储 > 日志库页签中,单击目标Logstore。

4.4.执行查询分析语句。

指定日志中的userid字段和数据库表中的uid字段关联Logstore和MySQL数据库。

* | select case gender when 1 then '男性' else '女性' end as gender , count(1) as pv from log l join chiji_user u on l.userid = u.uid group by gender order by pv desc

说明:“…from log l join chiji_user u…”,

log指当前Logstore,

chiji_user指/home/config.json文件的externalStoreName对应的值

重要

  • 仅支持Logstore与MySQL数据库小表(数据量小于20 MB)进行联合查询。
  • 查询和分析语句中,Logstore必须写在join关键字前面,ExternalStore写在join关键字后面。
  • 查询和分析语句中,必须写ExternalStore名称,系统自动替换成MySQL数据库名+表名。请勿直接填写MySQL表名。

详见:Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

5、保存查询分析结果到MySQL数据库中。【暂未将分析结果保存到mysql

5.1.在MySQL数据库中,创建名为report的数据表,该表存储每分钟的PV值。

5.2.参见步骤3为report表创建ExternalStore。

5.3.在日志服务Logstore的查询分析页面中,执行如下查询语句将分析结果保存到report表中。

详见:

如何实现日志服务Logstore与MySQL数据库关联分析功能_日志服务-阿里云帮助中心

如何安装日志服务命令行工具CLI_日志服务-阿里云帮助中心

Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

阿里云提供的演示数据:SLS Playground | SLS文章来源地址https://www.toymoban.com/news/detail-691036.html

到了这里,关于阿里云日志服务Logstore与MySQL数据库关联的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Mysql数据库(3)—架构和日志

    Mysql的架构设计 Mysql分为 Server层和存储引擎层: Server层 主要包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL 的大多数核心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等),所有跨存储引擎的功能都在这一层实现,比如存储过程、触发器

    2024年02月10日
    浏览(54)
  • 《MySQL高级篇》十五、其他数据库日志

    我们在讲解数据库事务时,讲过两种日志: 重做日志 、 回滚日志 。 对于线上数据库应用系统,突然遭遇 数据库宕机 怎么办?在这种情况下,定位宕机的原因就非常关键。可以查看数据库的错误日志。因为日志中记录了数据库运行中的诊断信息,包括了错误、警告和注释等信

    2024年02月14日
    浏览(62)
  • MySQL基础(三十六)其他数据库日志

    千万不要小看日志 。很多看似奇怪的问题,答案往往就藏在日志里。很多情况下,只有通过查看日志才能发现问题的原因,真正解决问题。所以,一定要学会查看日志,养成检查日志的习惯,对提升你的数据库应用开发能力至关重要。 MySQL8.0 官网日志地址:“ https://dev.mys

    2024年02月05日
    浏览(64)
  • 【MySQL高级篇笔记-其他数据库日志(下) 】

    此笔记为尚硅谷MySQL高级篇部分内容 目录 一、MySQL支持的日志 1、日志类型 2、日志的弊端 二、慢查询日志(slow query log) 三、通用查询日志(general query log) 1、问题场景  2、查看当前状态 3、启动日志 方式 1 :永久性方式 方式2:临时性方式  4、查看日志 5、停止日志 方式1:永

    2024年02月08日
    浏览(147)
  • MySQL-备份+日志:介质故障与数据库恢复

    本关任务: 备份数据库,然后再恢复它。 为了完成本关任务,你需要掌握: 1.MySQL的恢复机制; 2.MySQL提供的备份与恢复工具。 和大多数DBMS一样,MySQL利用备份、日志文件实现恢复。 具体理论知识在此不详细介绍。 MySQL提供了以下工具: 逻辑备份工具:mysqldump 物理备份工具

    2024年02月05日
    浏览(89)
  • 阿里云ECS部署Mysql数据库

    首先需要到阿里云官方购买阿里云产品 ,如果有机会可以免费试用那会更好,跳过购买云服务步骤下面直接演示。 1.百度搜索 阿里云官方 2.点击控制台     3.展开更多   4. 选择云服务器ECS   5. 点击实例 可以看到服务器状态,包括公网/私网IP 以及其他信息。    6.点击实例

    2024年02月14日
    浏览(42)
  • MySQL数据库——MySQL慢查询日志(Slow Query Log)

    慢查询日志用来记录在 MySQL 中执行时间超过指定时间的查询语句。通过慢查询日志,可以查找出哪些查询语句的执行效率低,以便进行优化。 通俗的说,MySQL 慢查询日志是排查问题的 SQL 语句,以及检查当前 MySQL 性能的一个重要功能。如果不是调优需要,一般不建议启动该

    2024年02月06日
    浏览(62)
  • 在阿里云linux上安装MySql数据库

    我们先远程连接服务器 然后输入 重新运行一下 然后 安装 mysql 服务 其中有两次 y n 选择 都选y就好了 然后 运行 启动MySql 然后 我们查看一下MySql

    2024年02月16日
    浏览(47)
  • 在Windows系统中配置开启MySQL数据库日志的步骤

            1.首先Win+R,打开命令运行框,输入cmd打开终端窗口。           2.输入指令mysql -u root -p回车输入密码进入mysql数据库。          3.输入:show global variables like\\\'log_bin\\\';  这里注意一定要带上“;”,回车后查看MySQL的log日志是否已近开启,若是开启状态则会如下图

    2024年02月09日
    浏览(61)
  • 开源数据库Mysql_DBA运维实战 (DCL/日志)

      SQL(Structured Query Language 即结构化查询语言) a.DDL语句   数据库定义语言: 数据库,表,视图,索引,存储过程,函数,创建删除ALTER(CREATE DROP ALTER)  b.DML语句 数据库操纵语言: 插入数据INSERT、删除数据DELETE、更新数据UPDATE c.DQL语句   数据库查询语言:查询数据SELECT d.

    2024年02月12日
    浏览(84)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包