个人博客

记录工作中的点点滴滴


  • 首页

  • 标签

  • 分类

  • 归档

  • 关于

  • 搜索

ES配置生成SSL使用的证书

发表于 2020-01-08 | 更新于: 2020-01-08 | 分类于 elk
| 字数统计: 254 字 | 阅读时长 ≈ 1 分钟
1
2
3
4
5
6
7
8
9
10
11
cd /usr/local/elasticsearch/bin/
./elasticsearch-certgen

#####################################
Please enter the desired output file [certificate-bundle.zip]: cert.zip (生成的压缩包名称,输入或者保持默认,直接回车)
Enter instance name: my-application (实例名)
Enter name for directories and files [my-application]: elasticsearch(存储实例证书的文件夹名,可以随意指定或保持默认)
Enter IP Addresses for instance (comma-separated if more than one) []: 127.0.0.1(实例ip,多个ip用逗号隔开)
Enter DNS names for instance (comma-separated if more than one) []: node-1(节点名,多个节点用逗号隔开)
Would you like to specify another instance? Press 'y' to continue entering instance information: (到达这一步,不需要按y重新设置,按空格键就完成了)
Certificates written to /usr/local/elasticsearch/bin/cert.zip(这个是生成的文件存放地址,不用填写)
阅读全文 »

x-pack设置完毕后,head无法登陆的问题

发表于 2020-01-08 | 更新于: 2020-01-08 | 分类于 elk
| 字数统计: 58 字 | 阅读时长 ≈ 1 分钟
在elasticsearch.yml中添加如下三行配置123http.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorization,X-Requested-With,Cont ...
阅读全文 »

Elasticsearch 7.3.0版本破解

发表于 2020-01-07 | 更新于: 2020-01-08 | 分类于 elk
| 字数统计: 2.2k 字 | 阅读时长 ≈ 11 分钟

elasticsearch操作

文件:LicenseVerifier.java
路径:elasticsearch/x-pack/plugin/core/src/main/java/org/elasticsearch/license/

文件:XPackBuild.java
路径:elasticsearch/x-pack/plugin/core/src/main/java/org/elasticsearch/xpack/core

1. ES安装前进行破解

软件名称:elasticsearch-7.3.0-linux-x86_64.tar.gz

操作环境:
系统:windows 10系统
解压缩软件:7z
反编译工具:Luyten

操作步骤:

  1. 解压缩文件elasticsearch-7.3.0-linux-x86_64.tar.gz,得到elasticsearch-7.3.0-linux-x86_64.tar文件夹,进入该文件夹,解压缩elasticsearch-7.3.0-linux-x86_64.tar,得到目录elasticsearch-7.3.0-linux-x86_64,再进入该文件夹,里面有一个elasticsearch-7.3.0文件夹,进入.

这些操作在linux系统下操作的话就很简单:tar -zxv -f elasticsearch-7.3.0-linux-x86_64.tar.gz 直接得到文件夹elasticsearch-7.3.0

  1. 进入modules\x-pack-core文件夹内,找到x-pack-core-7.3.0.jar文件,这个就是要操作的文件
阅读全文 »

Elasticsearch 理解mapping中的store属性

发表于 2020-01-06 | 更新于: 2020-01-06 | 分类于 elk
| 字数统计: 1.7k 字 | 阅读时长 ≈ 7 分钟

默认情况下,对字段值进行索引以使其可搜索,但不存储它们 (store)。 这意味着可以查询该字段,但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的mapping中含有store属性为true,那么有一个单独的存储空间为这个字段做存储,而且这个存储是独立于_source的存储的。它具有更快的查询。存储该字段会占用磁盘空间。如果需要从文档中提取(即在脚本中和聚合),它会帮助减少计算。在聚合时,具有store属性的字段会比不具有这个属性的字段快。 此选项的可能值为false和true。

通常这无关紧要。 该字段值已经是_source字段的一部分,默认情况下已存储。 如果您只想检索单个字段或几个字段的值,而不是整个_source的值,则可以使用source filtering来实现。

在某些情况下,存储字段可能很有意义。 例如,如果您有一个带有标题,日期和很大的内容字段的文档,则可能只想检索标题和日期,而不必从较大的_source字段中提取这些字段。

接下来我们还是通过一个具体的例子来解释这个,虽然上面的描述有点绕口。

首先我们来创建一个叫做my_index的索引:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
PUT my_index
{
"mappings": {
"properties": {
"title": {
"type": "text",
"store": true
},
"date": {
"type": "date",
"store": true
},
"content": {
"type": "text"
}
}
}
}

在上面的mapping中,我们把title及date字段里的store属性设置为true,表明有一个单独的index fragement是为它们而配备的,并存储它们的值。我们来写入一个文档到my_index索引中:

1
2
3
4
5
6
PUT my_index/_doc/1
{
"title": "Some short title",
"date": "2015-01-01",
"content": "A very long content field..."
}

阅读全文 »

Elastic:使用ElastAlert发送通知

发表于 2020-01-06 | 更新于: 2020-01-06 | 分类于 elk
| 字数统计: 2k 字 | 阅读时长 ≈ 8 分钟

ElastAlert是一个简单的框架,用于从Elasticsearch中的数据中发出异常,尖峰或其他感兴趣模式的警报。我们可以在地址https://elastalert.readthedocs.io/en/latest/elastalert.html找到它的使用说明。在今天的教程中,我将一步一步地介绍如何搭配环境,并从Elasticsearch发送通知给Slack。

为了说明问题的方便,我的环境如下:

在我的环境中,我使用iMac电脑运行Elasticsearch及Kibana,而在另外一个虚拟机上运行我们的filebeat。filebeat把Ubuntu机器里的syslog传入到Elasticsearch中供分析,同时ElastAlert周期性地从Elasticsearch中获取数据,并依据制定的规则来发送通知。

准备工作

创建Slack账号

我们首先需要创建一个自己的Slack账号,并具有自己的管理员权限。你可以参考链接 “Configuring Slack Account”来配置自己的Slack账号,并生成一个相应的一个Webhook URL。这个URL将会在Elasticsearch里进行使用。

我们先把上面创建的webhook url记下来供下面的配置使用。

阅读全文 »
1…789…29
永夜初晗凝碧天

永夜初晗凝碧天

Linux,Python,MySQL,ELK Stack,K8S,Docker

141 日志
55 分类
60 标签
RSS
QQ E-Mail
友情链接
  • 博客园
  • 百度
近期文章
  • Elasticsearch IK 分词器
  • 为Elasticsearch启动https访问
  • FastAPI框架入门 基本使用, 模版渲染, form表单数据交互, 上传文件, 静态文件配置
  • Elasticsearch:使用_update_by_query更新文档
  • Solutions:安全的APM服务器访问
© 2019 — 2020 永夜初晗凝碧天
博客全站字数统计 : 412.1k 字 ||载入天数...载入时分秒...
本文总阅读量次 || 本站访客数人次 || 本站总访问量次