sakutarou’s blog

とりあえずWeb系技術をゆるく書いていく

Elasticsearch

filebeatで準備されてるダッシュボードを利用する

filebeatにはモジュールで利用可能なダッシュボードが準備されている 利用するモジュールを有効化する 利用可能なモジュール一覧 filebeat modules list モジュール有効化 filebeat modules enable apache2 設定ファイルはこんな感じ filebeat.modules: - mo…

Grokのdebug方法(Logstash)

Grok DebuggerがkibanaにあるのでGrokの正規表現を作るときに利用しましょう Sample Dataに入力したデータを書いて Grok Patternに正規表現を書いて Simulateを押す! Structured Dataに結果が出力される!

Logstashを試してみる(Docker)

今回はLogstashを使ってみます。 こちらも基本的には公式を参考で問題ありません。 Elasticsearch、kibanaの起動はこちらをどうぞ kozo.hatenablog.jp kozo.hatenablog.jp ElasticSearch公式 www.elastic.co とりあえずLogstash起動 イメージ取得 + イメージ…

やっとElasticsearchのクエリーでドキュメントの検索ができた

検索のやり方を備忘録として残しておく データにはElasticsearchのサンプルデータを利用しています。 www.elastic.co 全文検索クエリ:単語一致 単語単位で検索する場合 RDBのLIKEに近いけどあくまで単語単位での検索 例1) 住所に単語として Street が含まれ…

Elasticsearchのdate型でInvalid format言われた場合の対処方法

こんな感じのマッピングを作成して、 accesstime に 2018/08/16 19:00:00 のような日時を入れたら Invalid format 言われた場合 format を指定したら解決 elasticsearch的にこの方法がいいのかは検討する必要あるけど、とりあえず今はこれでOK 修正前 curl -…

kibanaを起動する(Docker)

今回はkibanaを起動してみます。 kibanaも基本的には公式を参考とすれば問題ありません。 Elasticsearchの起動はこちらをどうぞ kozo.hatenablog.jp www.elastic.co Dockerイメージを取得 docker pull docker.elastic.co/kibana/kibana:6.3.2 イメージ名を変…

Elasticsearchドキュメント操作の基本

ドキュメントの登録 PUT IDを指定して登録します。 IDに使える文字は半角英数っぽい API形式 http://ホスト:9200/インデックス名/ドキュメントタイプ名/ID 例) curl -XPUT http://localhost:9200/my_index/my_type/1 \ -H 'Content-Type: application/json' …

Elasticsearchの用語

自分の備忘録的に書いておきます 徐々に増やす予定 インデックス RDBでの DB に相当する。 ドキュメントタイプ RDBでの テーブル に相当する ドキュメントタイプの中に含まれるフィールドのデータ構造やデータ型を記述したものを マッピング と呼ぶ ドキュメ…

Elasticsearchの起動 (Docker)

Elasticsearchを今まで使ってこなかったのですが、必要に迫られて使うことに。 新しくて・基礎から丁寧に説明してある、いい書籍があったのでこれを読みながら頑張ってみます。 Elasticsearch実践ガイド impress top gearシリーズ作者: 惣道哲也出版社/メー…