原文地址：http://www.dotnetcurry.com/aspnet/1354/elastic-search-kibana-in-docker-dotnet-core-app

想要輕松地通過許多不同的方式查詢數(shù)據(jù)，甚至是從未預(yù)料到的方式？想要以多種方式可視化日志？同時(shí)支持基于時(shí)間、文本和其他類型的即時(shí)過濾器？
借助于 Elastic stack 的卓越性能和可擴(kuò)展方式的優(yōu)點(diǎn)，我們將通過兩個(gè)示例輕松實(shí)現(xiàn)。

本文由 DNC Magazine for Developers and Architects 發(fā)布。 從這里下載此雜志[PDF] 或 免費(fèi)訂閱本雜志 下載所有以前和當(dāng)前的版本版本。

在這篇文章中，我將介紹流行的搜索引擎 Elasticsearch，其配套的可視化應(yīng)用 Kibana，并展示如何對(duì).NET核心可以輕松地與 Elastic stack 整合在一塊。


Elasticsearch和.Net Core


我們將開始探索 Elasticsearch 的 REST API ，通過索引和查詢某些數(shù)據(jù)。接著，我們將使用Elasticsearch官方的 .Net API 完成類似的練習(xí)。一旦熟悉 Elasticsearch 及其 API 后，我們將使用 .Net Core 創(chuàng)建一個(gè)日志模塊，并將數(shù)據(jù)發(fā)送到 Elasticsearch 。Kibana緊隨其中，以有趣的方式可視化 Elasticsearch 的索引數(shù)據(jù)。
我迫切希望你會(huì)認(rèn)為這篇文章十分有趣，并且想要了解更多關(guān)于Elastic的強(qiáng)大之處。

本文假設(shè)您已經(jīng)了解 C＃和 REST API 的基本知識(shí)。使用 Visual Studio，Postman 和 Docker 等工具，但您可以輕松使用 VS Code 和 Fiddler 等替代方案。

Elasticsearch - 簡(jiǎn)介

Elasticsearch 作為核心的部分，是一個(gè)具有強(qiáng)大索引功能的文檔存儲(chǔ)庫(kù)，并且可以通過 REST API 來搜索數(shù)據(jù)。它使用 Java 編寫，基于 Apache Lucene，盡管這些細(xì)節(jié)隱藏在 API 中。
通過被索引的字段，可以用許多不同的聚合方式找到任何被存儲(chǔ)(索引)的文檔。
但是，ElasticSearch不僅僅只提供對(duì)這些被索引文檔的強(qiáng)大搜索功能。
快速、分布式、水平擴(kuò)展，支持實(shí)時(shí)文檔存儲(chǔ)和分析，支持?jǐn)?shù)百臺(tái)服務(wù)器和 PB 級(jí)索引數(shù)據(jù)。同時(shí)作為 Elastic stack (aka ELK) 的核心，提供了諸如 LogStash、Kibana 和更多的強(qiáng)大應(yīng)用。
Kibana 是 Elasticsearch 中專門提供強(qiáng)有力的可視化查詢Web應(yīng)用程序。使用Kibana，能非常簡(jiǎn)單地為 Elasticsearch 中索引的數(shù)據(jù)創(chuàng)建查詢、圖表和儀表盤。
Elasticsearch開放了一個(gè) REST API，你會(huì)發(fā)現(xiàn)許多文檔示例是 HTTP 調(diào)用，你可以嘗試使用 curl 或 postman 等工具。當(dāng)然，這個(gè) API 的客戶端已經(jīng)用許多不同的語(yǔ)言編寫，包括.Net、Java、Python、Ruby和JavaScript等。
如果你想閱讀更多，Elasticsearch 官方網(wǎng)站 可能是最好的地方。

Docker是在本地運(yùn)行的最簡(jiǎn)方式

在這篇文章中，我們需要先連接到一個(gè) Elasticsearch （和后面的Kibana）的服務(wù)器。如果您已經(jīng)有一個(gè)在本地運(yùn)行或可以使用的服務(wù)器，那很好。否則需要先搭建一個(gè)服務(wù)器。
您可以選擇在您的本地機(jī)器或可以使用的 VM 或服務(wù)器中下載和安裝 Elasticsearch 和 Kibana 。不過，建議您使用最簡(jiǎn)單最純粹的方式，使用Docker 搭建 Elasticsearch 和 Kibana 。
您可以直接運(yùn)行以下命令，獲取包含Elasticsearch和Kibana的容器。

docker run -it --rm -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana

  • -it 表示以交互模式啟動(dòng)容器，并附加到終端。

  • --rm 表示從終端退出后，容器將被移除。

  • -p 將容器中的端口映射到主機(jī)中的端口

  • --name 給容器一個(gè)名稱，當(dāng)您不使用的情況下可以用 --rm 手動(dòng)停止/刪除

  • nshou/elasticsearch-kibana 是 Docker Hub中的一個(gè)鏡像的名稱，已經(jīng)有人幫你準(zhǔn)備好了Elasticsearch和Kibana

  • 如果你喜歡在后臺(tái)運(yùn)行的話，你可以使用參數(shù)-d 代替 --it --rm，并且手動(dòng)停止/刪除容器。

在同一個(gè)容器中運(yùn)行多個(gè)應(yīng)用程序，就像我們現(xiàn)在這種做法，非常適用本文，但不是推薦用于生產(chǎn)容器！

您應(yīng)該意識(shí)到，一旦你刪除容器，你的數(shù)據(jù)就會(huì)消失（一旦你使用-rm選項(xiàng)就刪除它了）。雖然有利于本地實(shí)驗(yàn)，但在實(shí)際環(huán)境中，如果您不想丟失數(shù)據(jù)，請(qǐng)參照 "data container" 模式。

Docker是一個(gè)很棒的工具，我鼓勵(lì)你更多地了解它，特別是如果你想做更重要的事情，而不僅僅是跟隨本文，在本地快速搭建 Elasticsearch 服務(wù)器。在之前的文章 Building DockNetFiddle using Docker and .NET Core 中已經(jīng)對(duì) .NET Core 搭配 Docker 有很好的介紹。

只需打開 http://localhost:9200 和 http://localhost:5600 ，檢查Elasticsearch 和 Kibana 是否都可以使用。（如果您使用docker toolbox，請(qǐng)使用托管Docker的虛擬機(jī)ip替換localhost，您可以在命令行中運(yùn)行 docker-machine env default ）。


在docker中運(yùn)行 Elasticsearch


kibana也準(zhǔn)備好了

在 Elasticsearch 中索引和查詢

在我們開始編寫任何 .Net 代碼之前，我們先了解一下一些基本知識(shí)。先在 Elasticsearch 索引一些文檔（類似于存到數(shù)據(jù)庫(kù)），以便我們對(duì)它們運(yùn)行不同的查詢。

在這里，我將使用Postman向我們的 Elasticsearch 服務(wù)器發(fā)送 HTTP 請(qǐng)求，但您可以使用任何其他類似的工具，如 Fiddler或 curl 。

我們要做的第一件事是請(qǐng)求 Elasticsearch 創(chuàng)建一個(gè)新的索引 (譯者語(yǔ):類似創(chuàng)建一個(gè)表) 并索引一些文檔 (譯者語(yǔ):類似于在數(shù)據(jù)中插入數(shù)據(jù)) 。這類似于將數(shù)據(jù)存儲(chǔ)在表/集合中，主要區(qū)別（和目的）是讓 Elasticsearch 集群 （這里只是一個(gè)節(jié)點(diǎn)） 可以分析和搜索文檔數(shù)據(jù)。
被索引的文檔在 Elasticsearch 中以索引和類型進(jìn)行組織。以往，被拿來和數(shù)據(jù)庫(kù)表做對(duì)比，往往會(huì)令人困惑。如這篇文章所述，索引由Lucene處理，在分布式跨 分片 中，與類型緊密地聯(lián)系在一起。
發(fā)送以下兩個(gè)請(qǐng)求以創(chuàng)建索引，并在該索引中插入文檔 (請(qǐng)記住 toolbox，如果使用docker ，請(qǐng)使用托管Docker的虛擬機(jī)ip而不是localhost) :

  • 創(chuàng)建一個(gè)名為 "default" 的新索引。

PUT localhost:9200/default

  • 在 "default" 索引中索引文檔。請(qǐng)注意，我們需要知道我們存儲(chǔ)哪種類型的文檔（"product"）和該文檔的ID (如 1，盡管您可以使用任何值，只要它是唯一的)

PUT localhost:9200/default/product/1
{ 
    "name": "Apple MacBook Pro",    "description": "Latest MacBook Pro 13",    "tags": ["laptops", "mac"]
}


創(chuàng)建一個(gè)新索引


索引新文檔


在我們驗(yàn)證搜索功能和查詢數(shù)據(jù)之前，再索引幾個(gè) "product"。嘗試使用不同的 "tags"，如 "laptops"和 "laptops"，并記得使用不同的ids！
完成后，讓我們按名稱排序的搜索所有被索引的文檔。您可以使用查詢字符串或 GET/POST 同樣的內(nèi)容，下面兩個(gè)請(qǐng)求是等效的：

GET http://localhost:9200/default/_search?q=*&sort=name.keyword:asc
POST http://localhost:9200/default/_search
{  "query": { "match_all": {} },  "sort": [
    { "name.keyword": "asc" }
  ]
}

讓我們嘗試一些更有趣的東西，例如搜索 "description" 字段中含有 "latest" ，同時(shí) "tags" 字段中含有 "laptops" 的所有文檔：

POST http://localhost:9200/default/_search
{  "query": { 
      "bool": {      "must": [
        { "match": {"description": "latest"} },
        { "match": { "tags": "laptops" } }
      ]
    }
  },  "sort": [
    { "name.keyword": "asc" }
  ]
}


搜索結(jié)果

Kibana 可視化數(shù)據(jù)

作為介紹的最后部分，我們將對(duì) Kibana 的相關(guān)知識(shí)蜻蜓點(diǎn)水。
假設(shè)您在上一步已經(jīng)索引了幾個(gè)文檔，通過訪問 http://localhost:5601 中打開在 Docker 的 Kibana 服務(wù)器。你會(huì)注意到，Kibana 要求你提供默認(rèn)的索引模式，所以必須告訴它使用的 Elasticsearch 索引：

  • 我們?cè)谏弦还?jié)中創(chuàng)建了一個(gè)名為 "default" 的索引，因此可以使用 "default" 作為索引模式。

  • 您還需要取消 "索引包含基于時(shí)間的事件 (Index contains time-based events ) " 選項(xiàng)，因?yàn)槲覀兊奈臋n不包含任何時(shí)間字段。


在 Kibana 中添加索引模式


完成后，使用左側(cè)菜單打開 " 發(fā)現(xiàn) (Discover) " 頁(yè)面，您應(yīng)該會(huì)看到上一節(jié)中插入的所有最新文檔。嘗試選擇不同的字段，在搜索欄中輸入相關(guān)的字段或某個(gè)過濾器：


在 kibana 中可視化數(shù)據(jù)


最后，我們創(chuàng)建一個(gè)餅圖，顯示 "laptops" 或 "desktops" 的銷量百分比。利用之前索引的數(shù)據(jù)，在左側(cè)菜單新建一個(gè) "餅圖 (Pie Chart)" 。
您可以在 餅圖 (Pie Chart)的頁(yè)面上配置。將 " Count " 作為切片的大小，并在 " buckets " 部分中選擇 " split slices " 。將 " filters " 作為聚合類型，添加兩個(gè)過濾器：tags ="laptop" 和 tags ="desktoptops" 。單擊運(yùn)行，您將看到類似于下圖：


在Kibana中創(chuàng)建餅圖


確保在搜索欄中輸入包含已過濾的項(xiàng)目的搜索關(guān)鍵詞，并注意到可視化圖形如何變化。

Elasticsearch .Net API

在簡(jiǎn)要介紹Elasticsearch和Kibana之后，我們來看看我們?nèi)绾斡?.Net 應(yīng)用程序索引和查詢我們的文檔。
您可能想知道為什么要這樣做，而不是直接使用 HTTP API 。我可以提供幾個(gè)理由，我相信你可以自己找?guī)讉€(gè)：

  • 你不想直接暴露 Elasticsearch 集群

  • Elasticsearch 可能不是您的主數(shù)據(jù)庫(kù)，您可能需要結(jié)合來自主數(shù)據(jù)庫(kù)的結(jié)果。

  • 你希望包含來自存儲(chǔ)/生產(chǎn)服務(wù)器中的被索引文檔

首先需要注意的是打開 這個(gè)文檔 ,有兩個(gè)官方提供的 APIs : Elasticsearch.Net 和 NEST ，都支持 .Net Core 項(xiàng)目。

  • Elasticsearch.Net 提供了一個(gè)用于與 Elasticsearch連接的低級(jí)API，提供構(gòu)建/處理請(qǐng)求和響應(yīng)的功能。它是 .Net 瘦客戶端。

  • NEST 在 Elasticsearch.Net 之上，提供了更高級(jí)別的 API 。它可以將對(duì)象映射到請(qǐng)求/響應(yīng)中，提供強(qiáng)大查詢功能，將索引名稱、文檔類型、字段類型用于構(gòu)建與 HTTP REST API 的匹配查詢。


    Elasticsearch .Net API

由于我使用的是 NEST，所以第一步是創(chuàng)建一個(gè)新的 ASP .Net Core 應(yīng)用程序，并使用 Package Manager 安裝NEST。

使用Nest開始索引數(shù)據(jù)

我們將在新的 ASP.Net Core 應(yīng)用程序中完成之前手動(dòng)發(fā)送 HTTP 請(qǐng)求的一些步驟。如果需要，請(qǐng)重新啟Docker 容器，從而清理數(shù)據(jù)；或通過 HTTP API 和 Postman 手動(dòng)刪除文檔/索引。
我們首先為產(chǎn)品創(chuàng)建一個(gè)POCO模型：

public class Product
{    public Guid Id { get; set; }    public string Name { get; set; }    public string Description { get; set; }    public string[] Tags { get; set; }        
}

接下來，我們創(chuàng)建一個(gè)新的控制器 ProductController，它具有添加新的 "Product" 的方法和基于單個(gè)關(guān)鍵詞查找 "Product" 的方法：

[Route("api/[controller]")]
public class ProductController : Controller
{

    [HttpPost]
    public async Task< IActionResult > Create([FromBody]Product product)
    {
    }

    [HttpGet("find")]
    public async Task< IActionResult > Find(string term)
    {
    }
}

為了實(shí)現(xiàn)這些方法，我們需要先連接到 Elasticsearch。這里有一個(gè) ElasticClient 連接的正確示范。 由于該類是線程安全的，所以推薦的方法是在應(yīng)用程序中使用單例模式，而不是按請(qǐng)求創(chuàng)建新的連接。

為了簡(jiǎn)潔起見，我現(xiàn)在將使用帶有硬編碼設(shè)置的私有靜態(tài)變量。在 .Net Core 中使用依賴注入配置框架，或查看 Github中 的代碼。

可以想到的是，至少需要提供被連接的 Elasticsearch 集群的URL。當(dāng)然，還有其他可選參數(shù)，用于與您的群集進(jìn)行身份驗(yàn)證、設(shè)置超時(shí)、連接池等。

private static readonly ConnectionSettings connSettings =    new ConnectionSettings(new Uri("http://localhost:9200/"));        
private static readonly ElasticClient elasticClient = 
    new ElasticClient(connSettings);

建立連接后，索引文檔只是簡(jiǎn)單地使用 ElasticClient 的Index/IndexAsync 方法：

[Route("api/[controller]")]public class ProductController : Controller
{

    [HttpPost]    public async Task<IActionResult> Create([FromBody]Product product)
    {
    }

    [HttpGet("find")]    public async Task<IActionResult> Find(string term)
    {
    }
}

很簡(jiǎn)單，對(duì)吧？不幸的是，如果您向Postman發(fā)送以下請(qǐng)求，您將看到失敗。

POST http://localhost:65113/api/product
{ 
    "name": "Dell XPS 13",    "description": "Latest Dell XPS 13",    "tags": ["laptops", "windows"]
}

這是因?yàn)镹EST無(wú)法確定在索引文檔時(shí)使用哪個(gè)索引！如果您想起手動(dòng)使用 HTTP API 的做法，那么需要在URL指出文檔的索引、文檔的類型和ID，如 localhost:9200/default/product/1

NEST能夠推斷文檔的類型（使用類的名稱），還可以默認(rèn)對(duì)字段進(jìn)行索引（基于字段的類型），但需要一些索引名稱的幫助。您可以指定默認(rèn)的索引名稱，以及特定類型的特定索引名稱。

connSettings = new ConnectionSettings(new Uri("http://192.168.99.100:9200/"))
    .DefaultIndex("default")    //Optionally override the default index for specific types
    .MapDefaultTypeIndices(m => m
        .Add(typeof(Product), "default"));

進(jìn)行這些更改后再試一次。您將看到 NEST 創(chuàng)建索引(如果尚未存在)，并將文檔編入索引。如果你切換到 Kibana，你也可以看到該文檔。需要注意的是:

  • 從類的名稱推斷文檔類型，如 Product

  • 在類中將Id屬性推斷為標(biāo)識(shí)

  • 將所有公開的屬性發(fā)送到 Elasticsearch


使用NEST索引的文檔


在我們查詢數(shù)據(jù)之前，重新考慮創(chuàng)建索引的方式。
如何創(chuàng)建索引?
現(xiàn)在我們得到一個(gè)事實(shí)，即如果這個(gè)索引不存在，也會(huì)被創(chuàng)建。然而映射字段的索引方式很重要，并直接定義了 Elasticsearch 如何索引和分析這些字段。這對(duì)于字符串字段尤其明顯，因?yàn)樵?Elasticsearch v5 中提供了兩種不同字段類型的 "Text" 和 "Keyword"：

  • Text 類型的字段將會(huì)被分析和分解成單詞，以便用于更高級(jí)的 Elasticsearch 搜索功能

  • 另一方面，Keyword 字段將 "保持原樣" 而不進(jìn)行分析，只能通過其精確值進(jìn)行搜索。

您可以使用 NEST 索引映射屬性來生成POCO模型：

public class Product
{    public Guid Id { get; set; }
    [Text(Name="name")]    public string Name { get; set; }
    [Text(Name = "description")]    public string Description { get; set; }
    [Keyword(Name = "tag")]    public string[] Tags { get; set; }        
}

然而，我們需要先創(chuàng)建索引，必須使用 ElasticClient API 手動(dòng)創(chuàng)建和定義索引的映射。這是非常簡(jiǎn)單的，特別是如果我們只是使用屬性：

if (!elasticClient.IndexExists("default").Exists)
{
    elasticClient.CreateIndex("default", i => i
        .Mappings(m => m
            .Map<Product>(ms => ms.AutoMap())));
}

直接向Elasticsearch發(fā)送請(qǐng)求(GET localhost:92000/default)，并注意與我們想要的映射是否相同。


使用NEST創(chuàng)建索引映射

使用Nest查詢數(shù)據(jù)

現(xiàn)在，我們有一個(gè)使用 NEST 對(duì) "products" 進(jìn)行索引的 ProductController 控制器。是時(shí)候，為這個(gè)控制器添加 Find action，用于使用 NEST 向 Elasticsearch 查詢文檔。
我們只是用到一個(gè)字段來實(shí)現(xiàn)一個(gè)簡(jiǎn)單的搜索。您應(yīng)該觀察所有字段:

  • 映射為 "Text" 類型的字段可以被分析，您可以在 "name" / "description" 字段內(nèi)搜索特定的單詞

  • 映射為 "Keywords" 的字段是保持原樣的，未進(jìn)行分析。您只能在 "tags" 字段中完全匹配。

NEST 提供了一個(gè)查詢 Elasticsearch 的豐富 API，可以轉(zhuǎn)換成標(biāo)準(zhǔn)的 HTTP API 。實(shí)現(xiàn)上述查詢類型與使用Search/SearchAsync方法一樣簡(jiǎn)單，并構(gòu)建一個(gè) SimpleQueryString 作為參數(shù)。

[HttpGet("find")]
public async Task<IActionResult> Find(string term)
{
    var res = await elasticClient.SearchAsync<Product>(x => x
        .Query( q => q.
            SimpleQueryString(qs => qs.Query(term))));
    if (!res.IsValid)
    {
        throw new InvalidOperationException(res.DebugInformation);
    }

    return Json(res.Documents);
}

使用PostMan測(cè)試您的新操作：


使用nest查詢


正如您可能已經(jīng)意識(shí)到的那樣，我們的操作行為與手動(dòng)發(fā)送請(qǐng)求到 Elasticsearch 一樣：

GET http://localhost:9200/default/_search?q=*&

在 .Net Core 中創(chuàng)建一個(gè)Elasticsearch日志提供程序

現(xiàn)在我們了解了 NEST 的一些基礎(chǔ)知識(shí)，讓我們嘗試一些更有野心的事情。我們已經(jīng)創(chuàng)建了一個(gè) ASP.Net Core 的應(yīng)用程序，借助.NET Core的日志框架，實(shí)現(xiàn)我們的日志提供程序，并將信息發(fā)送到Elasticsearch。
新的日志 API 在日志 (logger) 和日志提供程序 (logger provider) 方面的區(qū)別：

  • 日志 (logger) 記錄信息和事件，如用于控制器中

  • 可以為應(yīng)用程序添加并啟用多個(gè)日志提供程序 (provider) ，并可以配置獨(dú)立的記錄級(jí)別和記錄相應(yīng)的信息/事件。

該日志框架內(nèi)置了一些對(duì)事件日志、Azure 等的日志提供程序 (provider)，但正如您將看到的，創(chuàng)建自己的并不復(fù)雜。有關(guān)詳細(xì)信息，請(qǐng)查閱.NET Core 關(guān)于日志的官方文檔。
在本文的最后部分，我們將為Elasticsearch創(chuàng)建一個(gè)新的日志提供程序，在我們的


本文采用 知識(shí)共享署名-非商業(yè)性使用-相同方式共享 3.0 中國(guó)大陸許可協(xié)議 轉(zhuǎn)載請(qǐng)注明：作者 張很水

標(biāo)簽: ElasticSearch, Kibana, ASP.NET Core, Docker

http://www.cnblogs.com/chenug/p/6681891.html