个人博客

记录工作中的点点滴滴


  • 首页

  • 标签

  • 分类

  • 归档

  • 关于

  • 搜索

不给字段创建索引,字段不存放在source中,字段无法聚合查询等

发表于 2020-01-06 | 更新于: 2020-01-06 | 分类于 elk
| 字数统计: 411 字 | 阅读时长 ≈ 1 分钟
  1. 某个字段不被搜索,也就是说不想为这个字段建立inverted index(反向索引),可以这么做:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    PUT twitter
    {
    "mappings": {
    "uid": {
    "type": "long"
    },
    "user": {
    "type": "object",
    "enabled": false
    }
    }
    }
    }

通过mapping对user字段进行了修改:

1
2
3
4
"user": {
"type": "object",
"enabled": false
}

阅读全文 »

X-Pack:创建阈值检查警报

发表于 2020-01-02 | 更新于: 2020-01-02 | 分类于 elk
| 字数统计: 1.2k 字 | 阅读时长 ≈ 4 分钟

简单的事情应该简单(Simple things should be simple),这是Elastic {ON} ‘17的主题之一,Elastics收到了许多关于使用简单易用的UI创建警报的请求。事实证明,创建单个UI以对所有类型的警报均有效地工作非常困难。例如,可以在平均CPU使用率超过50%时创建警报的UI与可以在同一IP地址上有许多并发登录的情况下创建警报的UI看起来截然不同。

由于很难为所有类型的警报构建通用的UI,因此Elastic决定首先针对最常请求的警报处理UI:当指标超过或低于给定阈值时触发的简单阈值警报。

在开始示例之前,请确保您具有最低版本的Elasticsearch和Kibana的6.0.0版本,并且两者都安装了X-Pack。在最新的7.x版本里,X-Pack已经是发布版的一部分,不需要安装。另外,请确保您为Elasticsearch配置了具有足够权限的用户。现在,我们需要一些有趣的数据来构建警报。 Metricbeat是监视机器上的系统和用户进程的绝佳拍子。

在今天的练习里,我们来展示如何通过阈值检查,并发送通知到Slack。大家也可以尝试发送到电子邮件等方式。

创建Slack账号

我们首先需要创建一个自己的Slack账号(https://slack.com/),并具有自己的管理员权限。你可以参考链接 “Configuring Slack Account”(https://www.elastic.co/guide/en/elasticsearch/reference/7.5/actions-slack.html#configuring-slack)来配置自己的Slack账号,并生成一个相应的一个Webhook URL。这个URL将会在Elasticsearch里进行使用。

阅读全文 »

Solutions:如何运用Elastic App Search快速建立出色的React搜索体验

发表于 2020-01-02 | 更新于: 2020-01-02 | 分类于 elk
| 字数统计: 4.7k 字 | 阅读时长 ≈ 19 分钟

建立搜索体验是一项艰苦的工作。 乍一看似乎很容易:建立一个搜索栏,将数据放入数据库,然后让用户输入对该数据库的查询。 但是,在数据建模,底层逻辑以及(当然)总体设计和用户体验方面,有很多事情要考虑。

我们将逐步介绍如何使用Elastic的开源Search UI库构建出色的基于React的搜索体验。 大约需要30分钟,然后您便可以将搜索带到需要它的任何应用程序中。

但是首先,是什么使创建搜索如此具有挑战性?

搜索是很难创建的

开发人员在搜索开发中采用许多错误的假设。比如许多相信的假设:

  • “知道他们要寻找的客户将按照您期望的方式进行搜索。”
  • “您可以编写一个查询解析器,该解析器将始终成功解析查询。”
  • “一旦设置,下周搜索将以相同的方式进行。”
  • “同义词很容易。”
  • …

得出的结论是,搜索面临许多挑战–而且这些挑战并不简单。 您需要考虑如何管理状态,构建用于过滤,构面,排序,分页,同义词,语言处理等等的组件,等等。 但是,总而言之:

建立出色的搜索需要两个复杂的部分:

(1)搜索引擎,它提供用于增强搜索功能的API
(2)搜索库,它描绘了搜索体验。

对于搜索引擎,我们将查看Elastic App Search。

为了获得搜索体验,我们将介绍一个操作系统搜索库:Search UI。

完成后,将如下所示。您也可以在地址(https://codesandbox.io/embed/happy-wilbur-hwzsh?view=preview&initialpath=%3Fq%3Dfinal%20fantasy)上进行在线体验。

阅读全文 »

Logstash 启动监控及集中管理

发表于 2020-01-02 | 更新于: 2020-01-02 | 分类于 elk
| 字数统计: 1.6k 字 | 阅读时长 ≈ 7 分钟

在本篇文章里,我将详细介绍如果启动Logstash的监控及集中管理。

前提条件

安装好Logstash,设置Elasticsearch及Kibana的安全密码。

如何监控Logstash?

我们安装如下的步骤来实现监控Logstash的目的:

Step 1: 在Kibana中启动监控:

然后,我们可以看到如下的画面:

阅读全文 »

lasticsearch:Index alias

发表于 2020-01-02 | 更新于: 2020-01-02 | 分类于 elk
| 字数统计: 4.6k 字 | 阅读时长 ≈ 21 分钟

现在让我们来谈谈Elasticsearch最简单和最有用的功能之一:别名 (alias)。为了区分这里alias和文章“Elasticsearch : alias数据类型”,这里的别名(alias)指的是index的别名。 别名正是他们听起来的样子; 它们是您可以使用的指针或名称,对应于一个或多个具体索引。 事实证明这非常有用,因为它在扩展集群和管理数据在索引中的布局方式时提供了灵活性。 即使使用Elasticsearch 只有一个索引的集群,使用别名。 您将在以后感谢我们给予您的灵活性。

别名到底是什么?

您可能想知道别名究竟是什么,以及Elasticsearch在创建别名时涉及何种开销。 别名将其生命置于群集状态内,由主节点(master node)管理; 这意味着如果你有一个名为idaho的别名指向一个名为potato的索引,那么开销就是群集状态映射中的一个额外键,它将名称idaho映射到具体的索引字符串。 这意味着与其他指数相比,别名的重量要轻得多; 可以维护数千个而不会对集群产生负面影响。 也就是说,我们会警告不要创建数十万或数百万个别名,因为在这一点上,即使映射中单个条目的最小开销也会导致集群状态增长到大小。 这意味着创建新群集状态的操作将花费更长时间,因为每次更改时都会将整个群集状态发送到每个节点。

为什么别名是有用的?

我们建议每个人都为他们的Elasticsearch索引使用别名,因为在重新索引时,它将在未来提供更大的灵活性。 假设您首先创建一个包含单个主分片的索引,然后再决定是否需要更多索引容量。 如果您使用原始别名index,您现在可以将该别名更改为指向另外创建的索引,而无需更改您正在搜索的索引的名称(假设您从头开始使用别名进行搜索)。 另一个有用的功能是可以创建不同索引的窗口; 例如,如果您为数据创建每日索引,则可能需要创建一个名为last-7-days的别名的上周数据的滑动窗口; 然后每天创建新的每日索引时,可以将其添加到别名中,同时删除8天的索引。

另外的一种场景是,当我们修改了我们的index的mapping,让后通过reindex API来把我们的现有的index转移到新的index上,那么如果在我们的应用中,我们利用alias就可以很方便地做这间事。在我们成功转移到新的index之后,我们只需要重新定义我们的alias指向新的index,而在我们的客户端代码中,我们一直使用alias来访问我们的index,这样我们的代码不需要任何的改动。

阅读全文 »
1…8910…29
永夜初晗凝碧天

永夜初晗凝碧天

Linux,Python,MySQL,ELK Stack,K8S,Docker

141 日志
55 分类
60 标签
RSS
QQ E-Mail
友情链接
  • 博客园
  • 百度
近期文章
  • Elasticsearch IK 分词器
  • 为Elasticsearch启动https访问
  • FastAPI框架入门 基本使用, 模版渲染, form表单数据交互, 上传文件, 静态文件配置
  • Elasticsearch:使用_update_by_query更新文档
  • Solutions:安全的APM服务器访问
© 2019 — 2020 永夜初晗凝碧天
博客全站字数统计 : 412.1k 字 ||载入天数...载入时分秒...
本文总阅读量次 || 本站访客数人次 || 本站总访问量次