PiflowX组件 - Elasticsearch7Write

这篇具有很好参考价值的文章主要介绍了PiflowX组件 - Elasticsearch7Write。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Elasticsearch7Write组件

组件说明

将数据写入到Elasticsearch-7引擎的索引中。

计算引擎

flink

组件分组

ElasticSearch

端口

Inport:默认端口

outport:默认端口

组件属性

名称 展示名称 默认值 允许值 是否必填 描述 例子
hosts hosts “” 要连接到的一台或多台Elasticsearch主机。 http://host_name:9092;http://host_name:9093
index index “” Elasticsearch中每条记录的索引。可以是一个静态索引(例如 ‘myIndex’)或一个动态索引(例如 ‘index-{log_ts|yyyy-MM-dd}’)。 myIndex
username Username “” 用于连接Elasticsearch实例的用户名。 root
password Password “” 用于连接Elasticsearch实例的密码。如果配置了username,则此选项也必须配置为非空字符串。 123456
tableDefinition TableDefinition “” Flink table定义。
properties PROPERTIES “” 连接器其他配置。

Elasticsearch7Write示例配置

{
  "flow": {
    "name": "Elasticsearch7WriteTest",
    "uuid": "1234",
    "stops": [
      {
        "uuid": "1111",
        "name": "DataGen1",
        "bundle": "cn.piflow.bundle.flink.common.DataGen",
        "properties": {
          "schema": "[{\"filedName\":\"id\",\"filedType\":\"INT\",\"kind\":\"sequence\",\"start\":1,\"end\":10000},{\"filedName\":\"name\",\"filedType\":\"STRING\",\"kind\":\"random\",\"length\":15},{\"filedName\":\"age\",\"filedType\":\"INT\",\"kind\":\"random\",\"max\":100,\"min\":1}]",
          "count": "100",
          "ratio": "50"
        }
      },
      {
        "uuid": "2222",
        "name": "Elasticsearch7Write1",
        "bundle": "cn.piflow.bundle.flink.es7.Elasticsearch7Write",
        "properties": {
          "hosts": "192.168.186.102:9200",
          "index": "test",
          "tableDefinition": "{\"catalogName\":null,\"dbname\":null,\"tableName\":\"\",\"ifNotExists\":true,\"physicalColumnDefinition\":[{\"columnName\":\"id\",\"columnType\":\"INT\",\"comment\":\"id\"},{\"columnName\":\"name\",\"columnType\":\"STRING\",\"comment\":\"name\"},{\"columnName\":\"age\",\"columnType\":\"INT\"}],\"metadataColumnDefinition\":null,\"computedColumnDefinition\":null,\"watermarkDefinition\":null}",
          "properties": "{}"
        }
      },
      {
        "uuid": "3333",
        "name": "ShowData1",
        "bundle": "cn.piflow.bundle.flink.common.ShowData",
        "properties": {
          "showNumber": "100"
        }
      }
    ],
    "paths": [
      {
        "from": "DataGen1",
        "outport": "",
        "inport": "",
        "to": "Elasticsearch7Write1"
      },
      {
        "from": "DataGen1",
        "outport": "",
        "inport": "",
        "to": "ShowData1"
      }
    ]
  }
}
示例说明

本示例演示了通过DataGen生成100条测试数据,并使用Elasticsearch7Write组件将数据写入到es的test索引中。

演示DEMO

PiflowX-数据写入ES文章来源地址https://www.toymoban.com/news/detail-801750.html

到了这里,关于PiflowX组件 - Elasticsearch7Write的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker安装ElasticSearch7.14.0 docker安装elasticsearch7.14.0完整详细教程

    Docker常用命令大全 Docker ElasticSearch 官方仓库 我这边选择的版本是 7.14.0 ,这个版本比较安全可靠,在终端中执行以下命令以拉取 docker pull elasticsearch:7.14.0 使用以下命令创建一个新的 rabbitmq容器并将其启动: --name 是 容器别名 将 宿主机 9200 端口映射到 容器内 9200 and 端口 93

    2024年02月13日
    浏览(43)
  • 【elasticsearch】elasticsearch7.x集群搭建

    目录 一、服务器情况 二、安装前准备 1、下载es 2、配置服务器免密登录 3、升级jdk 三、安装es集群 (一)master服务器的操作 1、将es上传到Linux并解压 2、创建数据、日志存储文件夹 3、配置config/elasticsearch.yml 4、配置jvm 5、创建es用户 6、赋权限 7、修改配置文件 8、启动服务 9、启

    2023年04月09日
    浏览(48)
  • elasticsearch7.8.0集群搭建

    名称 地址 ElasticSearch7.8 https://mirrors.huaweicloud.com/home(华为开源镜像站) Logstash7.8 https://mirrors.huaweicloud.com/home(华为开源镜像站) Kibana7.8 https://mirrors.huaweicloud.com/home(华为开源镜像站 jdk1.8 https://www.oracle.com/java 自行安装jdk及配置环境变量 解压 创建数据存放地址和日志存放地

    2024年02月02日
    浏览(52)
  • centos安装elasticsearch7.9

    下载地址如下,版本号可以替换成自己想要的。 这里需要注意一点,需要根据你服务器的内核来进行选择,如下图所示,我就应该选择aarch64版本的,否则运行的时候会报错cannot execute binary file: Exec format error https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.3-linux-aarch64.

    2024年02月12日
    浏览(43)
  • Elasticsearch7学习笔记(尚硅谷)

    Elasticsearch是一个 实时的分布式搜索和分析引擎 。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于 全文搜索,结构化搜索以及分析 ,当然你也可以将这三者进行组合。 Elasticsearch是一个建 立在全文搜索引擎 Apache Lucene™ 基础 上的搜索引擎,可以说Lucene是当今

    2024年01月23日
    浏览(60)
  • Elasticsearch7.8.0版本入门——Elasticsearch7.8.0版本和Kibana7.8.0版本的下载、安装(win10环境)

    1.1、官网下载地址 Elasticsearch下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch 1.2、下载步骤 进入下载页面,选择需要下载的【版本】,如下图: 下载对应系统环境的版本,如下图: 1.3、安装步骤( 需要jdk11及以上版本支持 ) Windows 版的 Elasticsearch 的安装很简单,解

    2024年02月16日
    浏览(47)
  • Elasticsearch基础篇(三):Elasticsearch7.x的集群部署

    Elasticsearch集群是一个强大的搜索和分析引擎,由多个节点组成,每个节点都是一个独立的Elasticsearch实例。这些节点协同工作,共同构建一个高度可用和可扩展的搜索引擎。本文将深入探讨Elasticsearch集群的架构和部署,包括主节点、数据节点、客户端节点、分片以及节点间的

    2024年02月05日
    浏览(56)
  • ElasticSearch7.6.x 学习笔记

    ElasticSearch,简称es,es是一个 开源 的 高扩展 的 分布式全文检索引擎 ,它可以近乎实时的存储、检索数据。且本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用java开发并使用Lucene作为核心来实现所用索引和搜索的功能。但是,它的目的是通过简单的

    2023年04月16日
    浏览(53)
  • 第一章 docker安装ElasticSearch7

    1.1 设置jvm线程数限制 1.2 创建挂载目录 为了防止容器删掉数据丢失,需要进行数据文件挂载 /home/es/config目录下创建配置文件 elasticsearch.yml  注意:配置冒号后面都有一个空格 单机配置文件内容: 集群方式其他节点/home/es/config目录下创建配置文件 elasticsearch.yml 1.3 创建ES容器

    2023年04月08日
    浏览(42)
  • Elasticsearch7.8.1集群安装手册

    elasticsearch集群规划为三个节点,elasticsearch版本为7.8.1 1)下载 Elasticsearch7.8.1安装包 3.1 解压 3.2 修改配置 1)jvm.options调整内存大小 2)修改elasticsearch.yml 集群规划为三个节点,三个节点的配置,只有node.name: es-node1 不同,请分别配置 具体配置如下 3.3 创建用户 3.4.1 排错 3.4.2 后

    2024年02月08日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包