关于 ELK 环境中 logstash 报【Could not index event to Elasticsearch. {:status=＞400...】问题处理记录-Toy模板网

这篇具有很好参考价值的文章主要介绍了关于 ELK 环境中 logstash 报【Could not index event to Elasticsearch. {:status=＞400...】问题处理记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

最近公司决定将后台输出日志分类存储到es 同时做前台查询展示功能；三类日志JSON数据结构相同；技术选型理所当然的选了elk 因为公司已有其他项目再用，并且环境已搭建好（but 没有开发环境，只能自己在windows 上安装 win 版elk 还算顺利）。
数据流向：
filebeat=》logstash=》elastic

问题出现

当环境装好，接通电源跑其系统，日志开始输出；但是奇怪的现象出现了，es接受到的数据总是丢失某一类数据。

查找思路

首先查看收集器 filebeat 是否收集到全量日志
配置filebeat.yml 中 output 开启 console 模式输出；并跟踪日志输出，发现日志输出完整。
其次查看logstash输出，这时候配置 logstash.conf 将日志输出到file 发现日志输出也是完整的（不可思议）
一度怀疑es 有问题，一番折腾发现并不是。
又仔细根据数据路径找了一遍，发现logstash 的console 后台有个400字样具体是 “Could not index event to Elasticsearch. {:status=>400…”最后一句讲有个key的值type不对无法插入；这时候翻过代码仔细一看原来是同构的json类型中，有个key 插入数据类型不一致后，有一类插入了 jsonarray，其他两类则转了字符串插入造成该问题。

问题总结

es 同一个index 中，某个key 会在第一条记录文档存入时默认设定类型；后续再插入记录，类型必须保持一致；这是一个很基础的bug，与君共勉。。。。文章来源地址https://www.toymoban.com/news/detail-552770.html

到了这里，关于关于 ELK 环境中 logstash 报【Could not index event to Elasticsearch. {:status=＞400...】问题处理记录的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！