Fluentd の使い方

Fluentd

参考：

Fluentd [Official]

fluent/fluentd: Fluentd: Unified Logging Layer (project under CNCF) – GitHub

ドキュメント

参考：

Introduction | Fluentd [Official]

概要

参考：

Fluentd とはどのようなソフトウェアなのか | たごもりすメモ

fluentd の基礎知識 | あらびき日記

Fluentd が流行る理由がいま分かる、10の実践逆引きユースケース集 | Y-Ken Studio

インストール

gem コマンドでインストールする。

$ gem install fluentd

参考：

Install by Ruby Gem | Fluentd [Official]

Download | Fluentd [Official]

導入

gem コマンドでインストールする。

$ gem install fluentd

conf ディレクトリに設定ファイルを作成する。

$ fluentd --setup conf

fluentd を起動する。

$ mkdir log
$ fluentd -c conf/fluent.conf -o log/fluentd.log &
[1] 12345

fluent-cat でメッセージを送る。

$ echo '{"json":"message"}' | fluent-cat debug.test

ログを確認する。

$ less +F log/fluentd.log

シグナル 15 (SIGTERM) を送って graceful stop させる。(シグナル 9 / SIGKILL を送った場合、正常な終了処理が行われず、worker を残して supervisor のみが終了される。)

$ kill -15 12345

参考：

fluentd 最低限のメモ – Qiita

いまさらだけど fluentd に入門した | えいのうにっき

fluentd でつくる監視系 – Qiita

fluentd でログ収集 – Qiita

fluentd によるログ収集システムの構築 基本編 | 情シスハック (success.tracpath.com)

fluentd と定番プラグインのインストール | ＠IT

fluentd の簡単な使い方、設定方法一覧 | Hive Color

初めまして fluentd！ | よこなのへたのよこずき

入門

参考：

柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ

Fluentd (v1.0) Quickstart Guide をやってみた | kmikmy’s blog

設定ファイルの書き方

参考：

Fluentd のインストールと config について – Qiita

fluentd (td-agent) のインストールと設定 | ネットワークチェンジニアとして (changineer.info)

Config File Syntax | Fluentd [Official]

ログの設定

参考：

Logging | Fluentd [Official]

起動・停止

参考：

fluentd のデーモンスクリプトを自分で用意する | KentaKomai Blog

tail / pos_file

参考：

fluentd の in_tail プラグインの動作について理解する | DEBUGLIFE

td-agent (fluentd) の pos ファイルの作成タイミングとかその他もろもろもメモ | tweeeety のぶろぐ的めも

fluentd tail プラグインの仕様について | oranie’s blog

tail | Fluentd [Official]

types

参考：

Fluentd の types オプションで型指定をする | 世界中の羊をかき集めて

out_file プラグイン

参考：

fluentd の out_file プラグインの仕様について | hack in 3 minutes

fluentd で複数箇所から同一のファイルに出力する | 酒日記 はてな支店

syslog フォーマット

参考：

/var/log/messages の内容を fluentd でやりとりする | ゴミ箱 (53ningen.com)

syslog | Fluentd [Official]

ログを転送する

参考：

Fluentd でそのままログ (生ログ) を転送する – Qiita

symlink_path

参考：

fluentd で out_file で出力されるファイルのパスを固定する方法 – Qiita

rsyslog を使う

参考：

CentOS 7 に flunted をインストールして rsyslog でログを転送する | 俺的備忘録 (orebibou.com)

rsyslog で取得したログを直接 fluentd に送る – Qiita

Fluentd で syslog 受信しようとしたらハマった | blog.youyo.info

rsyslog | 自分のためブログ (hanasinasi.hatenablog.com)

rsyslog で信頼性のあるログ転送について調べたメモ | hnakamur’s blog at github

ログ欠損の対策

参考：

fluentd でログが欠損する可能性を考える | sonots:blog

fluentd 1.0 でログの欠損を防ぐ | the world as code

ログの欠損をできるだけ避ける Fluentd の out_forward 設定サンプル – GitHub Gist

td-agent でログ欠損が発生した | :>/dev/null (ogugu.hateblo.jp)

require_ack_response

参考：

fluentd の require_ack_response 設定は、やっぱり必須設定だと再認識したときの検証メモ – Qiita

Fluentd v0.12 の At-least-once Semantics を試す | Tech Notes

バージョン

参考：

Fluentd v0.12 のリリース – Qiita

Fluentd UI

参考：

fluent/fluentd-ui: Web UI for Fluentd

fluent-plugin-s3

参考：

fluent/fluent-plugin-s3: Amazon S3 input and output plugin for Fluentd – GitHub

Fluentd で S3 にログを収集してみる | DevelopersIO

fluentd による syslog の受信と、さくらクラウドのオブジェクトストレージへの転送・保存 | Qiita

td-agent

参考：

fluentd (td-agent) の導入 | Raccoon Tech Blog

td-agent (Fluentd) を利用したログ収集 | ユニファ開発者ブログ

td-agent3 で Gemfile ベースのプラグイン管理 | ククログ

td-agent でつまずいた – Qiita

Fluentd (td-agent) で 「td-agent が停止していますが pid ファイルが残っています」のエラー | pospome のプログラミング日記

Overview of Server-Side Agent (td-agent) | Arm Treasure Data

Install by RPM Package (Redhat Linux) | Fluentd [Official]

Install by .dmg Package (MacOS X) | Fluentd [Official]

Install by .msi Installer (Windows) | Fluentd [Official]

Tips

参考：

Fluentd の知られていない6つのこと | Boost Your Programming!

Fluentd で集めたログを監視するときに気をつけたい Fluentd の設定 | DevelopersIO

Fluentd の個人的な Tips – Qiita