ライン

ポイント:*

ライン

 はじめに

fluentd+Kibana

 今回は、Apacheのログを fluentdから KibanaとElasticsearchに渡して眺められるようにした状態を見てみたいというだけなんです。

 しかしながら、ジャバジャバ(JAVA)した環境をFreeBSDでつくるのはとても面倒で、インストールしても以降にやめたくなる経験ばかりなので、Kibanaなサーバは、CentOSで作成して、グローバルからはリバプロ経由で眺めるような感じで作ってみることにしました。
 どんだけの動作環境を与えれば良いのか不明だけど。見てみたかっただけな環境づくりなので、やりながら試行錯誤です。
今年のメモ記事もこれが最終になるかな、と思います。

 Kibanaサーバの構築

 CentOSなら、Javaな環境も苦労しないので、VMware ESXiな環境に環境を用意します。
メモリー1GBで1コア程度あげておけば動くのかぁ。HDDは10GB程度しか空きがあげられない状況みたいなので、この環境でつくります。
(バックアップ用にどでかくとってあって整理していないままだったんだっけかな)
 Cent OS 6.6でインストールすることにします。

 結局待っていられず、CentOS-6.6-x86_64-minimal.isoを取得していれることにしてしまいました。
なんだろう。ネットワークでスタティックで設定するとIPアドレスが使われているって言い出すね。
まぁ、使っているわけないし無視だな。SELinuxの無効化を実施。ログインユーザの追加。
/etc/pam.d/suの設定変更。sshd_configにrootログインの禁止の追加。
その他、毎度のいろいろをつっこんでおきました。

 では、yumコマンドが使えるかをApache22で試します。

# yum install httpd
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.tsukuba.wide.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package httpd.x86_64 0:2.2.15-39.el6.centos will be インストール
--> 依存性の処理をしています: httpd-tools = 2.2.15-39.el6.centos のパッケージ: httpd-2.2.15-39.el6.centos.x86_64
--> 依存性の処理をしています: apr-util-ldap のパッケージ: httpd-2.2.15-39.el6.centos.x86_64
--> 依存性の処理をしています: /etc/mime.types のパッケージ: httpd-2.2.15-39.el6.centos.x86_64
--> 依存性の処理をしています: libaprutil-1.so.0()(64bit) のパッケージ: httpd-2.2.15-39.el6.centos.x86_64
--> 依存性の処理をしています: libapr-1.so.0()(64bit) のパッケージ: httpd-2.2.15-39.el6.centos.x86_64
--> トランザクションの確認を実行しています。
---> Package apr.x86_64 0:1.3.9-5.el6_2 will be インストール
---> Package apr-util.x86_64 0:1.3.9-3.el6_0.1 will be インストール
---> Package apr-util-ldap.x86_64 0:1.3.9-3.el6_0.1 will be インストール
---> Package httpd-tools.x86_64 0:2.2.15-39.el6.centos will be インストール
---> Package mailcap.noarch 0:2.1.31-2.el6 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================
 パッケージ          アーキテクチャ
                                  バージョン                   リポジトリー
                                                                           容量
================================================================================
インストールしています:
 httpd               x86_64       2.2.15-39.el6.centos         base       825 k
依存性関連でのインストールをします。:
 apr                 x86_64       1.3.9-5.el6_2                base       123 k
 apr-util            x86_64       1.3.9-3.el6_0.1              base        87 k
 apr-util-ldap       x86_64       1.3.9-3.el6_0.1              base        15 k
 httpd-tools         x86_64       2.2.15-39.el6.centos         base        75 k
 mailcap             noarch       2.1.31-2.el6                 base        27 k

トランザクションの要約
================================================================================
インストール         6 パッケージ

総ダウンロード容量: 1.1 M
インストール済み容量: 3.6 M
これでいいですか? [y/N]y
パッケージをダウンロードしています:
(1/6): apr-1.3.9-5.el6_2.x86_64.rpm                      | 123 kB     00:00
(2/6): apr-util-1.3.9-3.el6_0.1.x86_64.rpm               |  87 kB     00:00
(3/6): apr-util-ldap-1.3.9-3.el6_0.1.x86_64.rpm          |  15 kB     00:00
(4/6): httpd-2.2.15-39.el6.centos.x86_64.rpm             | 825 kB     00:00
(5/6): httpd-tools-2.2.15-39.el6.centos.x86_64.rpm       |  75 kB     00:00
(6/6): mailcap-2.1.31-2.el6.noarch.rpm                   |  27 kB     00:00
--------------------------------------------------------------------------------
合計                                            2.5 MB/s | 1.1 MB     00:00
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  インストールしています  : apr-1.3.9-5.el6_2.x86_64                        1/6
  インストールしています  : apr-util-1.3.9-3.el6_0.1.x86_64                 2/6
  インストールしています  : httpd-tools-2.2.15-39.el6.centos.x86_64         3/6
  インストールしています  : apr-util-ldap-1.3.9-3.el6_0.1.x86_64            4/6
  インストールしています  : mailcap-2.1.31-2.el6.noarch                     5/6
  インストールしています  : httpd-2.2.15-39.el6.centos.x86_64               6/6
  Verifying               : httpd-2.2.15-39.el6.centos.x86_64               1/6
  Verifying               : httpd-tools-2.2.15-39.el6.centos.x86_64         2/6
  Verifying               : apr-util-ldap-1.3.9-3.el6_0.1.x86_64            3/6
  Verifying               : apr-1.3.9-5.el6_2.x86_64                        4/6
  Verifying               : mailcap-2.1.31-2.el6.noarch                     5/6
  Verifying               : apr-util-1.3.9-3.el6_0.1.x86_64                 6/6

インストール:
  httpd.x86_64 0:2.2.15-39.el6.centos

依存性関連をインストールしました:
  apr.x86_64 0:1.3.9-5.el6_2
  apr-util.x86_64 0:1.3.9-3.el6_0.1
  apr-util-ldap.x86_64 0:1.3.9-3.el6_0.1
  httpd-tools.x86_64 0:2.2.15-39.el6.centos
  mailcap.noarch 0:2.1.31-2.el6

完了しました!

問題なさそうですね。

# chkconfig httpd on
# service httpd start
httpd を起動中: httpd: apr_sockaddr_info_get() failed for centos.fkimura.com
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [  OK  ]
# ps -ef|grep http
root      4775     1  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4777  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4778  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4779  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4780  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4781  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4782  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4783  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
apache    4784  4775  0 08:47 ?        00:00:00 /usr/sbin/httpd
root      4786  4662  0 08:48 pts/0    00:00:00 grep http

設定していませんが、動作できることを確認できました。

JAVA

 まずはこれから。

# yum install java-1.7.0-openjdk
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.tsukuba.wide.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package java-1.7.0-openjdk.x86_64 1:1.7.0.71-2.5.3.2.el6_6 will be インストール
--> 依存性の処理をしています: libjpeg = 6b のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: jpackage-utils >= 1.7.3-1jpp.2 のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: xorg-x11-fonts-Type1 のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: tzdata-java のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpulse.so.0(PULSE_0)(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpng12.so.0(PNG12_0)(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libjpeg.so.62(LIBJPEG_6.2)(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libasound.so.2(ALSA_0.9.0rc4)(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libasound.so.2(ALSA_0.9)(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: fontconfig のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpulse.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpng12.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpangoft2-1.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpangocairo-1.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libpango-1.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libjpeg.so.62()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libgtk-x11-2.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libgif.so.4()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libgdk_pixbuf-2.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libgdk-x11-2.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libfreetype.so.6()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libfontconfig.so.1()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libcups.so.2()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libcairo.so.2()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libatk-1.0.so.0()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libasound.so.2()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libXtst.so.6()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libXrender.so.1()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libXi.so.6()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libXext.so.6()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> 依存性の処理をしています: libX11.so.6()(64bit) のパッケージ: 1:java-1.7.0-openjdk-1.7.0.71-2.5.3.2.el6_6.x86_64
--> トランザクションの確認を実行しています。
---> Package alsa-lib.x86_64 0:1.0.22-3.el6 will be インストール
---> Package atk.x86_64 0:1.30.0-1.el6 will be インストール
---> Package cairo.x86_64 0:1.8.8-3.1.el6 will be インストール
--> 依存性の処理をしています: libpixman-1.so.0()(64bit) のパッケージ: cairo-1.8.8-3.1.el6.x86_64
---> Package cups-libs.x86_64 1:1.4.2-67.el6 will be インストール
--> 依存性の処理をしています: libgnutls.so.26(GNUTLS_1_4)(64bit) のパッケージ: 1:cups-libs-1.4.2-67.el6.x86_64
--> 依存性の処理をしています: libtiff.so.3()(64bit) のパッケージ: 1:cups-libs-1.4.2-67.el6.x86_64
--> 依存性の処理をしています: libgnutls.so.26()(64bit) のパッケージ: 1:cups-libs-1.4.2-67.el6.x86_64
--> 依存性の処理をしています: libavahi-common.so.3()(64bit) のパッケージ: 1:cups-libs-1.4.2-67.el6.x86_64
--> 依存性の処理をしています: libavahi-client.so.3()(64bit) のパッケージ: 1:cups-libs-1.4.2-67.el6.x86_64
---> Package fontconfig.x86_64 0:2.8.0-5.el6 will be インストール
---> Package freetype.x86_64 0:2.3.11-14.el6_3.1 will be インストール
---> Package gdk-pixbuf2.x86_64 0:2.24.1-5.el6 will be インストール
--> 依存性の処理をしています: libjasper.so.1()(64bit) のパッケージ: gdk-pixbuf2-2.24.1-5.el6.x86_64
---> Package giflib.x86_64 0:4.1.6-3.1.el6 will be インストール
--> 依存性の処理をしています: libSM.so.6()(64bit) のパッケージ: giflib-4.1.6-3.1.el6.x86_64
--> 依存性の処理をしています: libICE.so.6()(64bit) のパッケージ: giflib-4.1.6-3.1.el6.x86_64
---> Package gtk2.x86_64 0:2.24.23-6.el6 will be インストール
--> 依存性の処理をしています: libXrandr >= 1.2.99.4-2 のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: hicolor-icon-theme のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: libXrandr.so.2()(64bit) のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: libXinerama.so.1()(64bit) のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: libXfixes.so.3()(64bit) のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: libXdamage.so.1()(64bit) のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: libXcursor.so.1()(64bit) のパッケージ: gtk2-2.24.23-6.el6.x86_64
--> 依存性の処理をしています: libXcomposite.so.1()(64bit) のパッケージ: gtk2-2.24.23-6.el6.x86_64
---> Package jpackage-utils.noarch 0:1.7.5-3.12.el6 will be インストール
---> Package libX11.x86_64 0:1.6.0-2.2.el6 will be インストール
--> 依存性の処理をしています: libX11-common = 1.6.0-2.2.el6 のパッケージ: libX11-1.6.0-2.2.el6.x86_64
--> 依存性の処理をしています: libxcb.so.1()(64bit) のパッケージ: libX11-1.6.0-2.2.el6.x86_64
---> Package libXext.x86_64 0:1.3.2-2.1.el6 will be インストール
---> Package libXi.x86_64 0:1.7.2-2.2.el6 will be インストール
---> Package libXrender.x86_64 0:0.9.8-2.1.el6 will be インストール
---> Package libXtst.x86_64 0:1.2.2-2.1.el6 will be インストール
---> Package libjpeg-turbo.x86_64 0:1.2.1-3.el6_5 will be インストール
---> Package libpng.x86_64 2:1.2.49-1.el6_2 will be インストール
---> Package pango.x86_64 0:1.28.1-10.el6 will be インストール
--> 依存性の処理をしています: libthai >= 0.1.9 のパッケージ: pango-1.28.1-10.el6.x86_64
--> 依存性の処理をしています: libthai.so.0(LIBTHAI_0.1)(64bit) のパッケージ: pango-1.28.1-10.el6.x86_64
--> 依存性の処理をしています: libthai.so.0()(64bit) のパッケージ: pango-1.28.1-10.el6.x86_64
--> 依存性の処理をしています: libXft.so.2()(64bit) のパッケージ: pango-1.28.1-10.el6.x86_64
---> Package pulseaudio-libs.x86_64 0:0.9.21-17.el6 will be インストール
--> 依存性の処理をしています: libsndfile.so.1(libsndfile.so.1.0)(64bit) のパッケージ: pulseaudio-libs-0.9.21-17.el6.x86_64
--> 依存性の処理をしています: libsndfile.so.1()(64bit) のパッケージ: pulseaudio-libs-0.9.21-17.el6.x86_64
--> 依存性の処理をしています: libasyncns.so.0()(64bit) のパッケージ: pulseaudio-libs-0.9.21-17.el6.x86_64
---> Package tzdata-java.noarch 0:2014j-1.el6 will be インストール
---> Package xorg-x11-fonts-Type1.noarch 0:7.2-9.1.el6 will be インストール
--> 依存性の処理をしています: ttmkfdir のパッケージ: xorg-x11-fonts-Type1-7.2-9.1.el6.noarch
--> 依存性の処理をしています: ttmkfdir のパッケージ: xorg-x11-fonts-Type1-7.2-9.1.el6.noarch
--> 依存性の処理をしています: mkfontdir のパッケージ: xorg-x11-fonts-Type1-7.2-9.1.el6.noarch
--> 依存性の処理をしています: mkfontdir のパッケージ: xorg-x11-fonts-Type1-7.2-9.1.el6.noarch
--> トランザクションの確認を実行しています。
---> Package avahi-libs.x86_64 0:0.6.25-15.el6 will be インストール
---> Package gnutls.x86_64 0:2.8.5-14.el6_5 will be インストール
---> Package hicolor-icon-theme.noarch 0:0.11-1.1.el6 will be インストール
---> Package jasper-libs.x86_64 0:1.900.1-16.el6_6.2 will be インストール
---> Package libICE.x86_64 0:1.0.6-1.el6 will be インストール
---> Package libSM.x86_64 0:1.2.1-2.el6 will be インストール
---> Package libX11-common.noarch 0:1.6.0-2.2.el6 will be インストール
---> Package libXcomposite.x86_64 0:0.4.3-4.el6 will be インストール
---> Package libXcursor.x86_64 0:1.1.14-2.1.el6 will be インストール
---> Package libXdamage.x86_64 0:1.1.3-4.el6 will be インストール
---> Package libXfixes.x86_64 0:5.0.1-2.1.el6 will be インストール
---> Package libXft.x86_64 0:2.3.1-2.el6 will be インストール
---> Package libXinerama.x86_64 0:1.1.3-2.1.el6 will be インストール
---> Package libXrandr.x86_64 0:1.4.1-2.1.el6 will be インストール
---> Package libasyncns.x86_64 0:0.8-1.1.el6 will be インストール
---> Package libsndfile.x86_64 0:1.0.20-5.el6 will be インストール
--> 依存性の処理をしています: libvorbisenc.so.2()(64bit) のパッケージ: libsndfile-1.0.20-5.el6.x86_64
--> 依存性の処理をしています: libvorbis.so.0()(64bit) のパッケージ: libsndfile-1.0.20-5.el6.x86_64
--> 依存性の処理をしています: libogg.so.0()(64bit) のパッケージ: libsndfile-1.0.20-5.el6.x86_64
--> 依存性の処理をしています: libFLAC.so.8()(64bit) のパッケージ: libsndfile-1.0.20-5.el6.x86_64
---> Package libthai.x86_64 0:0.1.12-3.el6 will be インストール
---> Package libtiff.x86_64 0:3.9.4-10.el6_5 will be インストール
---> Package libxcb.x86_64 0:1.9.1-2.el6 will be インストール
--> 依存性の処理をしています: libXau.so.6()(64bit) のパッケージ: libxcb-1.9.1-2.el6.x86_64
---> Package pixman.x86_64 0:0.32.4-4.el6 will be インストール
---> Package ttmkfdir.x86_64 0:3.0.9-32.1.el6 will be インストール
---> Package xorg-x11-font-utils.x86_64 1:7.2-11.el6 will be インストール
--> 依存性の処理をしています: libfontenc.so.1()(64bit) のパッケージ: 1:xorg-x11-font-utils-7.2-11.el6.x86_64
--> 依存性の処理をしています: libXfont.so.1()(64bit) のパッケージ: 1:xorg-x11-font-utils-7.2-11.el6.x86_64
--> トランザクションの確認を実行しています。
---> Package flac.x86_64 0:1.2.1-6.1.el6 will be インストール
---> Package libXau.x86_64 0:1.0.6-4.el6 will be インストール
---> Package libXfont.x86_64 0:1.4.5-4.el6_6 will be インストール
---> Package libfontenc.x86_64 0:1.0.5-2.el6 will be インストール
---> Package libogg.x86_64 2:1.1.4-2.1.el6 will be インストール
---> Package libvorbis.x86_64 1:1.2.3-4.el6_2.1 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================
 パッケージ              アーキテクチャ
                                   バージョン                  リポジトリー
                                                                           容量
================================================================================
インストールしています:
 java-1.7.0-openjdk      x86_64    1:1.7.0.71-2.5.3.2.el6_6    updates     26 M
依存性関連でのインストールをします。:
 alsa-lib                x86_64    1.0.22-3.el6                base       370 k
 atk                     x86_64    1.30.0-1.el6                base       195 k
 avahi-libs              x86_64    0.6.25-15.el6               base        55 k
 cairo                   x86_64    1.8.8-3.1.el6               base       309 k
 cups-libs               x86_64    1:1.4.2-67.el6              base       320 k
 flac                    x86_64    1.2.1-6.1.el6               base       243 k
 fontconfig              x86_64    2.8.0-5.el6                 base       186 k
 freetype                x86_64    2.3.11-14.el6_3.1           base       359 k
 gdk-pixbuf2             x86_64    2.24.1-5.el6                base       501 k
 giflib                  x86_64    4.1.6-3.1.el6               base        37 k
 gnutls                  x86_64    2.8.5-14.el6_5              base       346 k
 gtk2                    x86_64    2.24.23-6.el6               base       3.2 M
 hicolor-icon-theme      noarch    0.11-1.1.el6                base        40 k
 jasper-libs             x86_64    1.900.1-16.el6_6.2          updates    137 k
 jpackage-utils          noarch    1.7.5-3.12.el6              base        59 k
 libICE                  x86_64    1.0.6-1.el6                 base        53 k
 libSM                   x86_64    1.2.1-2.el6                 base        37 k
 libX11                  x86_64    1.6.0-2.2.el6               base       586 k
 libX11-common           noarch    1.6.0-2.2.el6               base       192 k
 libXau                  x86_64    1.0.6-4.el6                 base        24 k
 libXcomposite           x86_64    0.4.3-4.el6                 base        20 k
 libXcursor              x86_64    1.1.14-2.1.el6              base        28 k
 libXdamage              x86_64    1.1.3-4.el6                 base        18 k
 libXext                 x86_64    1.3.2-2.1.el6               base        35 k
 libXfixes               x86_64    5.0.1-2.1.el6               base        17 k
 libXfont                x86_64    1.4.5-4.el6_6               updates    137 k
 libXft                  x86_64    2.3.1-2.el6                 base        55 k
 libXi                   x86_64    1.7.2-2.2.el6               base        37 k
 libXinerama             x86_64    1.1.3-2.1.el6               base        13 k
 libXrandr               x86_64    1.4.1-2.1.el6               base        23 k
 libXrender              x86_64    0.9.8-2.1.el6               base        24 k
 libXtst                 x86_64    1.2.2-2.1.el6               base        19 k
 libasyncns              x86_64    0.8-1.1.el6                 base        24 k
 libfontenc              x86_64    1.0.5-2.el6                 base        24 k
 libjpeg-turbo           x86_64    1.2.1-3.el6_5               base       174 k
 libogg                  x86_64    2:1.1.4-2.1.el6             base        21 k
 libpng                  x86_64    2:1.2.49-1.el6_2            base       182 k
 libsndfile              x86_64    1.0.20-5.el6                base       233 k
 libthai                 x86_64    0.1.12-3.el6                base       183 k
 libtiff                 x86_64    3.9.4-10.el6_5              base       343 k
 libvorbis               x86_64    1:1.2.3-4.el6_2.1           base       168 k
 libxcb                  x86_64    1.9.1-2.el6                 base       110 k
 pango                   x86_64    1.28.1-10.el6               base       351 k
 pixman                  x86_64    0.32.4-4.el6                base       243 k
 pulseaudio-libs         x86_64    0.9.21-17.el6               base       462 k
 ttmkfdir                x86_64    3.0.9-32.1.el6              base        43 k
 tzdata-java             noarch    2014j-1.el6                 updates    175 k
 xorg-x11-font-utils     x86_64    1:7.2-11.el6                base        75 k
 xorg-x11-fonts-Type1    noarch    7.2-9.1.el6                 base       520 k

トランザクションの要約
================================================================================
インストール        50 パッケージ

総ダウンロード容量: 37 M
インストール済み容量: 128 M
これでいいですか? [y/N]y
(..以下略..)
完了しました!

https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz
Elasticsearch

 個人的には、検索エンジンで試したいElasticsearchを導入します。

# yum install wget
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.tsukuba.wide.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package wget.x86_64 0:1.12-5.el6_6.1 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================
 パッケージ    アーキテクチャ  バージョン                リポジトリー      容量
================================================================================
インストールしています:
 wget          x86_64          1.12-5.el6_6.1            updates          483 k

トランザクションの要約
================================================================================
インストール         1 パッケージ

総ダウンロード容量: 483 k
インストール済み容量: 1.8 M
これでいいですか? [y/N]y
パッケージをダウンロードしています:
wget-1.12-5.el6_6.1.x86_64.rpm                           | 483 kB     00:00
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  インストールしています  : wget-1.12-5.el6_6.1.x86_64                      1/1
  Verifying               : wget-1.12-5.el6_6.1.x86_64                      1/1

インストール:
  wget.x86_64 0:1.12-5.el6_6.1

完了しました!
# cd /var/tmp
# wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.noarch.rpm
--2014-12-20 23:50:59--  https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.noarch.rpm
download.elasticsearch.org をDNSに問いあわせています... 54.243.77.158, 107.22.222.16, 54.225.133.195
download.elasticsearch.org|54.243.77.158|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 26318005 (25M) [application/x-redhat-package-manager]
`elasticsearch-1.4.2.noarch.rpm' に保存中

100%[======================================>] 26,318,005  6.98M/s 時間 4.4s

2014-12-20 23:51:04 (5.66 MB/s) - `elasticsearch-1.4.2.noarch.rpm' へ保存完了 [26318005/26318005]
# yum install elasticsearch-1.4.2.noarch.rpm
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
elasticsearch-1.4.2.noarch.rpm を調べています: elasticsearch-1.4.2-1.noarch
elasticsearch-1.4.2.noarch.rpm をインストール済みとして設定しています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.tsukuba.wide.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package elasticsearch.noarch 0:1.4.2-1 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================
 パッケージ        アーキテクチャ
                              バージョン  リポジトリー                     容量
================================================================================
インストールしています:
 elasticsearch     noarch     1.4.2-1     /elasticsearch-1.4.2.noarch      29 M

トランザクションの要約
================================================================================
インストール         1 パッケージ

合計容量: 29 M
インストール済み容量: 29 M
これでいいですか? [y/N]y
パッケージをダウンロードしています:
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  インストールしています  : elasticsearch-1.4.2-1.noarch                    1/1
### NOT starting on installation, please execute the following statements to configure elasticsearch to start automatically using chkconfig
 sudo /sbin/chkconfig --add elasticsearch
### You can start elasticsearch by executing
 sudo service elasticsearch start
  Verifying               : elasticsearch-1.4.2-1.noarch                    1/1

インストール:
  elasticsearch.noarch 0:1.4.2-1

完了しました!
# chkconfig elasticsearch on
# service elasticsearch start
elasticsearch を起動中:                                    [  OK  ]
# ps aux|grep elasticsearch|grep -v grep
498       1305  2.1 17.5 2035776 179448 ?      Sl   Dec20   0:15 /usr/bin/java -Xms256m -Xmx1g
 -Xss256k -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC
 -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly
 -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8
 -Delasticsearch -Des.pidfile=/var/run/elasticsearch/elasticsearch.pid -Des.path.home=/usr/share/elasticsearch
 -cp :/usr/share/elasticsearch/lib/elasticsearch-1.4.2.jar:/usr/share/elasticsearch/lib/*:/usr/share/elasticsearch/lib/sigar/*
 -Des.default.path.home=/usr/share/elasticsearch -Des.default.path.logs=/var/log/elasticsearch
 -Des.default.path.data=/var/lib/elasticsearch -Des.default.path.work=/tmp/elasticsearch
 -Des.default.path.conf=/etc/elasticsearch org.elasticsearch.bootstrap.Elasticsearch
# curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'
{
  "cluster_name" : "elasticsearch",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0
}
kibana

 次は、Kibanaです。これは、Apacheのドキュメントの以下に配置するだけです。

# cd /var/tmp
# wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz
--2014-12-21 11:13:12--  https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz
download.elasticsearch.org をDNSに問いあわせています... 107.22.222.16, 54.225.133.195, 54.243.77.158
download.elasticsearch.org|107.22.222.16|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 1074306 (1.0M) [application/octet-stream]
`kibana-3.1.2.tar.gz' に保存中

100%[==========================================================
==============================================================
=======================>] 1,074,306    576K/s 時間 1.8s

2014-12-21 11:13:15 (576 KB/s) - `kibana-3.1.2.tar.gz' へ保存完了 [1074306/1074306]
# tar pzxvf kibana-3.1.2.tar.gz
kibana-3.1.2/app/app.js
kibana-3.1.2/app/components/require.config.js
kibana-3.1.2/app/dashboards/blank.json
kibana-3.1.2/app/dashboards/default.json
kibana-3.1.2/app/dashboards/guided.json
kibana-3.1.2/app/dashboards/logstash.js
kibana-3.1.2/app/dashboards/logstash.json
kibana-3.1.2/app/dashboards/noted.json
kibana-3.1.2/app/factories/store.js
kibana-3.1.2/app/panels/bettermap/editor.html
kibana-3.1.2/app/panels/bettermap/leaflet/images/layers-2x.png
kibana-3.1.2/app/panels/bettermap/leaflet/images/layers.png
kibana-3.1.2/app/panels/bettermap/leaflet/images/marker-icon-2x.png
kibana-3.1.2/app/panels/bettermap/leaflet/images/marker-icon.png
kibana-3.1.2/app/panels/bettermap/leaflet/images/marker-shadow.png
kibana-3.1.2/app/panels/bettermap/leaflet/leaflet.css
kibana-3.1.2/app/panels/bettermap/leaflet/leaflet.ie.css
kibana-3.1.2/app/panels/bettermap/leaflet/leaflet.js
kibana-3.1.2/app/panels/bettermap/leaflet/plugins.css
kibana-3.1.2/app/panels/bettermap/leaflet/plugins.js
kibana-3.1.2/app/panels/bettermap/module.css
kibana-3.1.2/app/panels/bettermap/module.html
kibana-3.1.2/app/panels/bettermap/module.js
kibana-3.1.2/app/panels/column/editor.html
kibana-3.1.2/app/panels/column/module.html
kibana-3.1.2/app/panels/column/module.js
kibana-3.1.2/app/panels/column/panelgeneral.html
kibana-3.1.2/app/panels/dashcontrol/editor.html
kibana-3.1.2/app/panels/dashcontrol/module.html
kibana-3.1.2/app/panels/dashcontrol/module.js
kibana-3.1.2/app/panels/derivequeries/editor.html
kibana-3.1.2/app/panels/derivequeries/module.html
kibana-3.1.2/app/panels/derivequeries/module.js
kibana-3.1.2/app/panels/fields/editor.html
kibana-3.1.2/app/panels/fields/micropanel.html
kibana-3.1.2/app/panels/fields/module.html
kibana-3.1.2/app/panels/fields/module.js
kibana-3.1.2/app/panels/filtering/editor.html
kibana-3.1.2/app/panels/filtering/meta.html
kibana-3.1.2/app/panels/filtering/module.html
kibana-3.1.2/app/panels/filtering/module.js
kibana-3.1.2/app/panels/goal/editor.html
kibana-3.1.2/app/panels/goal/module.html
kibana-3.1.2/app/panels/goal/module.js
kibana-3.1.2/app/panels/histogram/editor.html
kibana-3.1.2/app/panels/histogram/module.html
kibana-3.1.2/app/panels/histogram/module.js
kibana-3.1.2/app/panels/histogram/queriesEditor.html
kibana-3.1.2/app/panels/histogram/styleEditor.html
kibana-3.1.2/app/panels/hits/editor.html
kibana-3.1.2/app/panels/hits/module.html
kibana-3.1.2/app/panels/hits/module.js
kibana-3.1.2/app/panels/map/editor.html
kibana-3.1.2/app/panels/map/lib/map.europe.js
kibana-3.1.2/app/panels/map/lib/map.usa.js
kibana-3.1.2/app/panels/map/lib/map.world.js
kibana-3.1.2/app/panels/map/module.html
kibana-3.1.2/app/panels/map/module.js
kibana-3.1.2/app/panels/query/editor.html
kibana-3.1.2/app/panels/query/editors/lucene.html
kibana-3.1.2/app/panels/query/editors/regex.html
kibana-3.1.2/app/panels/query/editors/topN.html
kibana-3.1.2/app/panels/query/help/lucene.html
kibana-3.1.2/app/panels/query/help/regex.html
kibana-3.1.2/app/panels/query/help/topN.html
kibana-3.1.2/app/panels/query/helpModal.html
kibana-3.1.2/app/panels/query/meta.html
kibana-3.1.2/app/panels/query/module.html
kibana-3.1.2/app/panels/query/module.js
kibana-3.1.2/app/panels/query/query.css
kibana-3.1.2/app/panels/sparklines/editor.html
kibana-3.1.2/app/panels/sparklines/module.html
kibana-3.1.2/app/panels/sparklines/module.js
kibana-3.1.2/app/panels/stats/editor.html
kibana-3.1.2/app/panels/stats/module.html
kibana-3.1.2/app/panels/stats/module.js
kibana-3.1.2/app/panels/table/editor.html
kibana-3.1.2/app/panels/table/micropanel.html
kibana-3.1.2/app/panels/table/modal.html
kibana-3.1.2/app/panels/table/module.html
kibana-3.1.2/app/panels/table/module.js
kibana-3.1.2/app/panels/table/pagination.html
kibana-3.1.2/app/panels/terms/editor.html
kibana-3.1.2/app/panels/terms/module.html
kibana-3.1.2/app/panels/terms/module.js
kibana-3.1.2/app/panels/text/editor.html
kibana-3.1.2/app/panels/text/module.html
kibana-3.1.2/app/panels/text/module.js
kibana-3.1.2/app/panels/timepicker/custom.html
kibana-3.1.2/app/panels/timepicker/editor.html
kibana-3.1.2/app/panels/timepicker/module.html
kibana-3.1.2/app/panels/timepicker/module.js
kibana-3.1.2/app/panels/timepicker/refreshctrl.html
kibana-3.1.2/app/panels/trends/editor.html
kibana-3.1.2/app/panels/trends/module.html
kibana-3.1.2/app/panels/trends/module.js
kibana-3.1.2/app/partials/connectionFailed.html
kibana-3.1.2/app/partials/dashLoader.html
kibana-3.1.2/app/partials/dashLoaderShare.html
kibana-3.1.2/app/partials/dashboard.html
kibana-3.1.2/app/partials/dasheditor.html
kibana-3.1.2/app/partials/inspector.html
kibana-3.1.2/app/partials/load.html
kibana-3.1.2/app/partials/modal.html
kibana-3.1.2/app/partials/paneladd.html
kibana-3.1.2/app/partials/paneleditor.html
kibana-3.1.2/app/partials/panelgeneral.html
kibana-3.1.2/app/partials/querySelect.html
kibana-3.1.2/app/partials/roweditor.html
kibana-3.1.2/build.txt
kibana-3.1.2/config.js
kibana-3.1.2/css/animate.min.css
kibana-3.1.2/css/bootstrap-responsive.min.css
kibana-3.1.2/css/bootstrap.dark.less
kibana-3.1.2/css/bootstrap.dark.min.css
kibana-3.1.2/css/bootstrap.light.less
kibana-3.1.2/css/bootstrap.light.min.css
kibana-3.1.2/css/font-awesome.min.css
kibana-3.1.2/css/normalize.min.css
kibana-3.1.2/css/timepicker.css
kibana-3.1.2/favicon.ico
kibana-3.1.2/font/FontAwesome.otf
kibana-3.1.2/font/fontawesome-webfont.eot
kibana-3.1.2/font/fontawesome-webfont.svg
kibana-3.1.2/font/fontawesome-webfont.ttf
kibana-3.1.2/font/fontawesome-webfont.woff
kibana-3.1.2/img/annotation-icon.png
kibana-3.1.2/img/cubes.png
kibana-3.1.2/img/glyphicons-halflings-white.png
kibana-3.1.2/img/glyphicons-halflings.png
kibana-3.1.2/img/kibana.png
kibana-3.1.2/img/light.png
kibana-3.1.2/img/load.gif
kibana-3.1.2/img/load_big.gif
kibana-3.1.2/img/small.png
kibana-3.1.2/index.html
kibana-3.1.2/vendor/LICENSE.json
kibana-3.1.2/vendor/bootstrap/less/tests/buttons.html
kibana-3.1.2/vendor/bootstrap/less/tests/css-tests.css
kibana-3.1.2/vendor/bootstrap/less/tests/css-tests.html
kibana-3.1.2/vendor/bootstrap/less/tests/forms-responsive.html
kibana-3.1.2/vendor/bootstrap/less/tests/forms.html
kibana-3.1.2/vendor/bootstrap/less/tests/navbar-fixed-top.html
kibana-3.1.2/vendor/bootstrap/less/tests/navbar-static-top.html
kibana-3.1.2/vendor/bootstrap/less/tests/navbar.html
kibana-3.1.2/vendor/require/css-build.js
kibana-3.1.2/vendor/require/require.js
kibana-3.1.2/vendor/require/tmpl.js
kibana-3.1.2/vendor/timezone.js
kibana-3.1.2/LICENSE.md
kibana-3.1.2/README.md
# mv kibana-3.1.2 /var/www/html/kibana

Apcheでアクセスしてみました。

接続エラーらしいです。ついでにIEだと見れない。
それ以前に、以下のように事前に、(後で設定を変えるつもりで)iptablesは停止して、確認しています。

# service iptables stop
iptables: チェインをポリシー ACCEPT へ設定中filter         [  OK  ]
iptables: ファイアウォールルールを消去中:                  [  OK  ]
iptables: モジュールを取り外し中:                          [  OK  ]

さて、上記のエラーを対応するために、lasticsearch.ymlに対応しないとダメっぽいですね。
/etc/elasticsearch/elasticsearch.ymlの最終行に「http.cors.enabled: true」を追加しました。

 サービスを再起動しておきます。

# service elasticsearch restart
elasticsearch を停止中:                                    [  OK  ]
elasticsearch を起動中:                                    [  OK  ]

 今度は表示されました。

Logstashを使うか使わないか。
検討して一般的な方法で。

Fluentd (td-agent)

 今度は表示されました。

# curl -L http://toolbelt.treasuredata.com/sh/install-redhat.sh | sh
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
107   645  107   645    0     0    810      0 --:--:-- --:--:-- --:--:--  1653
This script requires superuser access to install rpm packages.
You will be prompted for your password by sudo.
読み込んだプラグイン:fastestmirror
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.iij.ad.jp
treasuredata                                                                                        | 2.5 kB     00:00
treasuredata/primary_db                                                                             |  87 kB     00:00

curl.x86_64                                                     7.19.7-40.el6_6.3                                   updates
cyrus-sasl.x86_64                                               2.1.23-15.el6_6.1                                   updates
cyrus-sasl-lib.x86_64                                           2.1.23-15.el6_6.1                                   updates
device-mapper.x86_64                                            1.02.90-2.el6_6.1                                   updates
device-mapper-event.x86_64                                      1.02.90-2.el6_6.1                                   updates
device-mapper-event-libs.x86_64                                 1.02.90-2.el6_6.1                                   updates
device-mapper-libs.x86_64                                       1.02.90-2.el6_6.1                                   updates
device-mapper-multipath.x86_64                                  0.4.9-80.el6_6.1                                    updates
device-mapper-multipath-libs.x86_64                             0.4.9-80.el6_6.1                                    updates
initscripts.x86_64                                              9.03.46-1.el6.centos.1                              updates
iproute.x86_64                                                  2.6.32-33.el6_6                                     updates
kernel.x86_64                                                   2.6.32-504.3.3.el6                                  updates
kernel-firmware.noarch                                          2.6.32-504.3.3.el6                                  updates
kpartx.x86_64                                                   0.4.9-80.el6_6.1                                    updates
libcurl.x86_64                                                  7.19.7-40.el6_6.3                                   updates
libxml2.x86_64                                                  2.7.6-17.el6_6.1                                    updates
lvm2.x86_64                                                     2.02.111-2.el6_6.1                                  updates
lvm2-libs.x86_64                                                2.02.111-2.el6_6.1                                  updates
mdadm.x86_64                                                    3.3-6.el6_6.1                                       updates
nss.x86_64                                                      3.16.2.3-3.el6_6                                    updates
nss-softokn.x86_64                                              3.14.3-18.el6_6                                     updates
nss-softokn-freebl.x86_64                                       3.14.3-18.el6_6                                     updates
nss-sysinit.x86_64                                              3.16.2.3-3.el6_6                                    updates
nss-tools.x86_64                                                3.16.2.3-3.el6_6                                    updates
nss-util.x86_64                                                 3.16.2.3-2.el6_6                                    updates
openssh.x86_64                                                  5.3p1-104.el6_6.1                                   updates
openssh-clients.x86_64                                          5.3p1-104.el6_6.1                                   updates
openssh-server.x86_64                                           5.3p1-104.el6_6.1                                   updates
openssl.x86_64                                                  1.0.1e-30.el6_6.4                                   updates
policycoreutils.x86_64                                          2.0.83-19.47.el6_6.1                                updates
rpm.x86_64                                                      4.8.0-38.el6_6                                      updates
rpm-libs.x86_64                                                 4.8.0-38.el6_6                                      updates
rpm-python.x86_64                                               4.8.0-38.el6_6                                      updates
rsyslog.x86_64                                                  5.8.10-10.el6_6                                     updates
selinux-policy.noarch                                           3.7.19-260.el6_6.1                                  updates
selinux-policy-targeted.noarch                                  3.7.19-260.el6_6.1                                  updates
system-config-firewall-base.noarch                              1.2.27-7.2.el6_6                                    updates
tzdata.noarch                                                   2014j-1.el6                                         updates
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.iij.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package td-agent.x86_64 0:1.1.21-0 will be インストール
--> 依存性の処理をしています: td-libyaml のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libxslt のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libyaml-1024.so.4()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libxslt.so.1()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libtermcap.so.2()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libssl.so.6()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libreadline.so.5()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libexslt.so.0()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> 依存性の処理をしています: libcrypto.so.6()(64bit) のパッケージ: td-agent-1.1.21-0.x86_64
--> トランザクションの確認を実行しています。
---> Package compat-libtermcap.x86_64 0:2.0.8-49.el6 will be インストール
---> Package compat-readline5.x86_64 0:5.2-17.1.el6 will be インストール
---> Package libxslt.x86_64 0:1.1.26-2.el6_3.1 will be インストール
---> Package openssl098e.x86_64 0:0.9.8e-18.el6_5.2 will be インストール
---> Package td-libyaml.x86_64 0:0.1.4-1 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================
 パッケージ                       アーキテクチャ        バージョン                       リポジトリー                 容量
================================================================
インストールしています:
 td-agent                         x86_64                1.1.21-0                         treasuredata                 50 M
依存性関連でのインストールをします。:
 compat-libtermcap                x86_64                2.0.8-49.el6                     base                         16 k
 compat-readline5                 x86_64                5.2-17.1.el6                     base                        130 k
 libxslt                          x86_64                1.1.26-2.el6_3.1                 base                        452 k
 openssl098e                      x86_64                0.9.8e-18.el6_5.2                base                        761 k
 td-libyaml                       x86_64                0.1.4-1                          treasuredata                126 k

トランザクションの要約
================================================================
インストール         6 パッケージ

総ダウンロード容量: 51 M
インストール済み容量: 104 M
パッケージをダウンロードしています:
(1/6): compat-libtermcap-2.0.8-49.el6.x86_64.rpm                                                    |  16 kB     00:00
(2/6): compat-readline5-5.2-17.1.el6.x86_64.rpm                                                     | 130 kB     00:00
(3/6): libxslt-1.1.26-2.el6_3.1.x86_64.rpm                                                          | 452 kB     00:00
(4/6): openssl098e-0.9.8e-18.el6_5.2.x86_64.rpm                                                     | 761 kB     00:00
(5/6): td-agent-1.1.21-0.x86_64.rpm                                                                 |  50 MB     00:19
(6/6): td-libyaml-0.1.4-1.x86_64.rpm                                                                | 126 kB     00:00
---------------------------------------------------------------------------------------------------------------------------
合計                                                                                       2.5 MB/s |  51 MB     00:20
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  インストールしています  : compat-libtermcap-2.0.8-49.el6.x86_64                                                      1/6
  インストールしています  : libxslt-1.1.26-2.el6_3.1.x86_64                                                            2/6
  インストールしています  : td-libyaml-0.1.4-1.x86_64                                                                  3/6
  インストールしています  : openssl098e-0.9.8e-18.el6_5.2.x86_64                                                       4/6
  インストールしています  : compat-readline5-5.2-17.1.el6.x86_64                                                       5/6
  インストールしています  : td-agent-1.1.21-0.x86_64                                                                   6/6
adding 'td-agent' group...
adding 'td-agent' user...
Installing default conffile  ...
Configure td-agent to start, when booting up the OS...
  Verifying               : compat-readline5-5.2-17.1.el6.x86_64                                                       1/6
  Verifying               : openssl098e-0.9.8e-18.el6_5.2.x86_64                                                       2/6
  Verifying               : td-libyaml-0.1.4-1.x86_64                                                                  3/6
  Verifying               : libxslt-1.1.26-2.el6_3.1.x86_64                                                            4/6
  Verifying               : td-agent-1.1.21-0.x86_64                                                                   5/6
  Verifying               : compat-libtermcap-2.0.8-49.el6.x86_64                                                      6/6

インストール:
  td-agent.x86_64 0:1.1.21-0

依存性関連をインストールしました:
  compat-libtermcap.x86_64 0:2.0.8-49.el6    compat-readline5.x86_64 0:5.2-17.1.el6    libxslt.x86_64 0:1.1.26-2.el6_3.1
  openssl098e.x86_64 0:0.9.8e-18.el6_5.2     td-libyaml.x86_64 0:0.1.4-1

完了しました!

後処理。

# chmod 755 /var/log/httpd
# yum --disableexcludes=main install gcc
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.iij.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package gcc.x86_64 0:4.4.7-11.el6 will be インストール
--> 依存性の処理をしています: libgomp = 4.4.7-11.el6 のパッケージ: gcc-4.4.7-11.el6.x86_64
--> 依存性の処理をしています: cpp = 4.4.7-11.el6 のパッケージ: gcc-4.4.7-11.el6.x86_64
--> 依存性の処理をしています: glibc-devel >= 2.2.90-12 のパッケージ: gcc-4.4.7-11.el6.x86_64
--> 依存性の処理をしています: cloog-ppl >= 0.15 のパッケージ: gcc-4.4.7-11.el6.x86_64
--> 依存性の処理をしています: libgomp.so.1()(64bit) のパッケージ: gcc-4.4.7-11.el6.x86_64
--> トランザクションの確認を実行しています。
---> Package cloog-ppl.x86_64 0:0.15.7-1.2.el6 will be インストール
--> 依存性の処理をしています: libppl_c.so.2()(64bit) のパッケージ: cloog-ppl-0.15.7-1.2.el6.x86_64
--> 依存性の処理をしています: libppl.so.7()(64bit) のパッケージ: cloog-ppl-0.15.7-1.2.el6.x86_64
---> Package cpp.x86_64 0:4.4.7-11.el6 will be インストール
--> 依存性の処理をしています: libmpfr.so.1()(64bit) のパッケージ: cpp-4.4.7-11.el6.x86_64
---> Package glibc-devel.x86_64 0:2.12-1.149.el6 will be インストール
--> 依存性の処理をしています: glibc-headers = 2.12-1.149.el6 のパッケージ: glibc-devel-2.12-1.149.el6.x86_64
--> 依存性の処理をしています: glibc-headers のパッケージ: glibc-devel-2.12-1.149.el6.x86_64
---> Package libgomp.x86_64 0:4.4.7-11.el6 will be インストール
--> トランザクションの確認を実行しています。
---> Package glibc-headers.x86_64 0:2.12-1.149.el6 will be インストール
--> 依存性の処理をしています: kernel-headers >= 2.2.1 のパッケージ: glibc-headers-2.12-1.149.el6.x86_64
--> 依存性の処理をしています: kernel-headers のパッケージ: glibc-headers-2.12-1.149.el6.x86_64
---> Package mpfr.x86_64 0:2.4.1-6.el6 will be インストール
---> Package ppl.x86_64 0:0.10.2-11.el6 will be インストール
--> トランザクションの確認を実行しています。
---> Package kernel-headers.x86_64 0:2.6.32-504.3.3.el6 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================
 パッケージ                     アーキテクチャ         バージョン                            リポジトリー             容量
================================================================
インストールしています:
 gcc                            x86_64                 4.4.7-11.el6                          base                     10 M
依存性関連でのインストールをします。:
 cloog-ppl                      x86_64                 0.15.7-1.2.el6                        base                     93 k
 cpp                            x86_64                 4.4.7-11.el6                          base                    3.7 M
 glibc-devel                    x86_64                 2.12-1.149.el6                        base                    983 k
 glibc-headers                  x86_64                 2.12-1.149.el6                        base                    611 k
 kernel-headers                 x86_64                 2.6.32-504.3.3.el6                    updates                 3.3 M
 libgomp                        x86_64                 4.4.7-11.el6                          base                    133 k
 mpfr                           x86_64                 2.4.1-6.el6                           base                    157 k
 ppl                            x86_64                 0.10.2-11.el6                         base                    1.3 M

トランザクションの要約
================================================================
インストール         9 パッケージ

総ダウンロード容量: 20 M
インストール済み容量: 39 M
これでいいですか? [y/N]y
パッケージをダウンロードしています:
(1/9): cloog-ppl-0.15.7-1.2.el6.x86_64.rpm                                                          |  93 kB     00:00
(2/9): cpp-4.4.7-11.el6.x86_64.rpm                                                                  | 3.7 MB     00:00
(3/9): gcc-4.4.7-11.el6.x86_64.rpm                                                                  |  10 MB     00:00
(4/9): glibc-devel-2.12-1.149.el6.x86_64.rpm                                                        | 983 kB     00:00
(5/9): glibc-headers-2.12-1.149.el6.x86_64.rpm                                                      | 611 kB     00:00
(6/9): kernel-headers-2.6.32-504.3.3.el6.x86_64.rpm                                                 | 3.3 MB     00:00
(7/9): libgomp-4.4.7-11.el6.x86_64.rpm                                                              | 133 kB     00:00
(8/9): mpfr-2.4.1-6.el6.x86_64.rpm                                                                  | 157 kB     00:00
(9/9): ppl-0.10.2-11.el6.x86_64.rpm                                                                 | 1.3 MB     00:00
---------------------------------------------------------------------------------------------------------------------------
合計                                                                                        10 MB/s |  20 MB     00:01
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  インストールしています  : ppl-0.10.2-11.el6.x86_64                                                                   1/9
  インストールしています  : cloog-ppl-0.15.7-1.2.el6.x86_64                                                            2/9
  インストールしています  : kernel-headers-2.6.32-504.3.3.el6.x86_64                                                   3/9
  インストールしています  : glibc-headers-2.12-1.149.el6.x86_64                                                        4/9
  インストールしています  : glibc-devel-2.12-1.149.el6.x86_64                                                          5/9
  インストールしています  : libgomp-4.4.7-11.el6.x86_64                                                                6/9
  インストールしています  : mpfr-2.4.1-6.el6.x86_64                                                                    7/9
  インストールしています  : cpp-4.4.7-11.el6.x86_64                                                                    8/9
  インストールしています  : gcc-4.4.7-11.el6.x86_64                                                                    9/9
  Verifying               : gcc-4.4.7-11.el6.x86_64                                                                    1/9
  Verifying               : glibc-headers-2.12-1.149.el6.x86_64                                                        2/9
  Verifying               : glibc-devel-2.12-1.149.el6.x86_64                                                          3/9
  Verifying               : mpfr-2.4.1-6.el6.x86_64                                                                    4/9
  Verifying               : libgomp-4.4.7-11.el6.x86_64                                                                5/9
  Verifying               : kernel-headers-2.6.32-504.3.3.el6.x86_64                                                   6/9
  Verifying               : cpp-4.4.7-11.el6.x86_64                                                                    7/9
  Verifying               : ppl-0.10.2-11.el6.x86_64                                                                   8/9
  Verifying               : cloog-ppl-0.15.7-1.2.el6.x86_64                                                            9/9

インストール:
  gcc.x86_64 0:4.4.7-11.el6

依存性関連をインストールしました:
  cloog-ppl.x86_64 0:0.15.7-1.2.el6      cpp.x86_64 0:4.4.7-11.el6                   glibc-devel.x86_64 0:2.12-1.149.el6
  glibc-headers.x86_64 0:2.12-1.149.el6  kernel-headers.x86_64 0:2.6.32-504.3.3.el6  libgomp.x86_64 0:4.4.7-11.el6
  mpfr.x86_64 0:2.4.1-6.el6              ppl.x86_64 0:0.10.2-11.el6

完了しました!
# /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch
Building native extensions.  This could take a while...
ERROR:  Error installing fluent-plugin-elasticsearch:
        ERROR: Failed to build gem native extension.

        /usr/lib64/fluent/ruby/bin/ruby extconf.rb
checking for curl-config... no
checking for main() in -lcurl... no
*** extconf.rb failed ***
Could not create Makefile due to some reason, probably lack of
necessary libraries and/or headers.  Check the mkmf.log file for more
details.  You may need configuration options.

Provided configuration options:
        --with-opt-dir
        --without-opt-dir
        --with-opt-include
        --without-opt-include=${opt-dir}/include
        --with-opt-lib
        --without-opt-lib=${opt-dir}/lib
        --with-make-prog
        --without-make-prog
        --srcdir=.
        --curdir
        --ruby=/usr/lib64/fluent/ruby/bin/ruby
        --with-curl-dir
        --without-curl-dir
        --with-curl-include
        --without-curl-include=${curl-dir}/include
        --with-curl-lib
        --without-curl-lib=${curl-dir}/lib
        --with-curllib
        --without-curllib
extconf.rb:39:in `<main>':   Can't find libcurl or curl/curl.h (RuntimeError)

  Try passing --with-curl-dir or --with-curl-lib and --with-curl-include
  options to extconf.


Gem files will remain installed in /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/patron-0.4.18 for inspection.
Results logged to /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/patron-0.4.18/ext/patron/gem_make.out

良くウェブ検索で見かける結果に到着。
更新すればいいんだよね。

# yum install libcurl-devel
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
Loading mirror speeds from cached hostfile
 * base: ftp.iij.ad.jp
 * extras: ftp.iij.ad.jp
 * updates: ftp.iij.ad.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package libcurl-devel.x86_64 0:7.19.7-40.el6_6.3 will be インストール
--> 依存性の処理をしています: libcurl = 7.19.7-40.el6_6.3 のパッケージ: libcurl-devel-7.19.7-40.el6_6.3.x86_64
--> 依存性の処理をしています: libidn-devel のパッケージ: libcurl-devel-7.19.7-40.el6_6.3.x86_64
--> 依存性の処理をしています: automake のパッケージ: libcurl-devel-7.19.7-40.el6_6.3.x86_64
--> トランザクションの確認を実行しています。
---> Package automake.noarch 0:1.11.1-4.el6 will be インストール
--> 依存性の処理をしています: autoconf >= 2.62 のパッケージ: automake-1.11.1-4.el6.noarch
---> Package libcurl.x86_64 0:7.19.7-37.el6_5.3 will be 更新
--> 依存性の処理をしています: libcurl = 7.19.7-37.el6_5.3 のパッケージ: curl-7.19.7-37.el6_5.3.x86_64
---> Package libcurl.x86_64 0:7.19.7-40.el6_6.3 will be an update
---> Package libidn-devel.x86_64 0:1.18-2.el6 will be インストール
--> トランザクションの確認を実行しています。
---> Package autoconf.noarch 0:2.63-5.1.el6 will be インストール
---> Package curl.x86_64 0:7.19.7-37.el6_5.3 will be 更新
---> Package curl.x86_64 0:7.19.7-40.el6_6.3 will be an update
--> 依存性解決を終了しました。

依存性を解決しました

================================================================
 パッケージ                     アーキテクチャ          バージョン                          リポジトリー              容量
================================================================
インストールしています:
 libcurl-devel                  x86_64                  7.19.7-40.el6_6.3                   updates                  245 k
依存性関連でのインストールをします。:
 autoconf                       noarch                  2.63-5.1.el6                        base                     781 k
 automake                       noarch                  1.11.1-4.el6                        base                     550 k
 libidn-devel                   x86_64                  1.18-2.el6                          base                     137 k
依存性関連での更新をします。:
 curl                           x86_64                  7.19.7-40.el6_6.3                   updates                  194 k
 libcurl                        x86_64                  7.19.7-40.el6_6.3                   updates                  166 k

トランザクションの要約
================================================================
インストール         4 パッケージ
アップグレード       2 パッケージ

総ダウンロード容量: 2.0 M
これでいいですか? [y/N]y
パッケージをダウンロードしています:
(1/6): autoconf-2.63-5.1.el6.noarch.rpm                                                             | 781 kB     00:00
(2/6): automake-1.11.1-4.el6.noarch.rpm                                                             | 550 kB     00:00
(3/6): curl-7.19.7-40.el6_6.3.x86_64.rpm                                                            | 194 kB     00:00
(4/6): libcurl-7.19.7-40.el6_6.3.x86_64.rpm                                                         | 166 kB     00:00
(5/6): libcurl-devel-7.19.7-40.el6_6.3.x86_64.rpm                                                   | 245 kB     00:00
(6/6): libidn-devel-1.18-2.el6.x86_64.rpm                                                           | 137 kB     00:00
---------------------------------------------------------------------------------------------------------------------------
合計                                                                                       2.5 MB/s | 2.0 MB     00:00
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  更新                    : libcurl-7.19.7-40.el6_6.3.x86_64                                                           1/8
  インストールしています  : autoconf-2.63-5.1.el6.noarch                                                               2/8
  インストールしています  : automake-1.11.1-4.el6.noarch                                                               3/8
  インストールしています  : libidn-devel-1.18-2.el6.x86_64                                                             4/8
  インストールしています  : libcurl-devel-7.19.7-40.el6_6.3.x86_64                                                     5/8
  更新                    : curl-7.19.7-40.el6_6.3.x86_64                                                              6/8
  整理中                  : curl-7.19.7-37.el6_5.3.x86_64                                                              7/8
  整理中                  : libcurl-7.19.7-37.el6_5.3.x86_64                                                           8/8
  Verifying               : curl-7.19.7-40.el6_6.3.x86_64                                                              1/8
  Verifying               : libcurl-devel-7.19.7-40.el6_6.3.x86_64                                                     2/8
  Verifying               : libidn-devel-1.18-2.el6.x86_64                                                             3/8
  Verifying               : autoconf-2.63-5.1.el6.noarch                                                               4/8
  Verifying               : libcurl-7.19.7-40.el6_6.3.x86_64                                                           5/8
  Verifying               : automake-1.11.1-4.el6.noarch                                                               6/8
  Verifying               : curl-7.19.7-37.el6_5.3.x86_64                                                              7/8
  Verifying               : libcurl-7.19.7-37.el6_5.3.x86_64                                                           8/8

インストール:
  libcurl-devel.x86_64 0:7.19.7-40.el6_6.3

依存性関連をインストールしました:
  autoconf.noarch 0:2.63-5.1.el6          automake.noarch 0:1.11.1-4.el6          libidn-devel.x86_64 0:1.18-2.el6

依存性を更新しました:
  curl.x86_64 0:7.19.7-40.el6_6.3                            libcurl.x86_64 0:7.19.7-40.el6_6.3

完了しました!
[root@centos log]# /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch
Building native extensions.  This could take a while...
Fetching: multi_json-1.10.1.gem (100%)
Fetching: multipart-post-2.0.0.gem (100%)
Fetching: faraday-0.9.0.gem (100%)
Fetching: elasticsearch-transport-1.0.6.gem (100%)
Fetching: elasticsearch-api-1.0.6.gem (100%)
Fetching: elasticsearch-1.0.6.gem (100%)
Fetching: fluent-plugin-elasticsearch-0.6.1.gem (100%)
Fetching: msgpack-0.5.9.gem (100%)
Building native extensions.  This could take a while...
Fetching: cool.io-1.2.4.gem (100%)
Building native extensions.  This could take a while...
Fetching: thread_safe-0.3.4.gem (100%)
Fetching: tzinfo-1.2.2.gem (100%)
Fetching: tzinfo-data-1.2014.10.gem (100%)
Successfully installed patron-0.4.18
Successfully installed multi_json-1.10.1
Successfully installed multipart-post-2.0.0
Successfully installed faraday-0.9.0
Successfully installed elasticsearch-transport-1.0.6
Successfully installed elasticsearch-api-1.0.6
Successfully installed elasticsearch-1.0.6
Successfully installed fluent-plugin-elasticsearch-0.6.1
Successfully installed msgpack-0.5.9
Successfully installed cool.io-1.2.4
Successfully installed thread_safe-0.3.4
Successfully installed tzinfo-1.2.2
Successfully installed tzinfo-data-1.2014.10
13 gems installed
Installing ri documentation for patron-0.4.18...
Installing ri documentation for multi_json-1.10.1...
Installing ri documentation for multipart-post-2.0.0...
Installing ri documentation for faraday-0.9.0...
Installing ri documentation for elasticsearch-transport-1.0.6...
Installing ri documentation for elasticsearch-api-1.0.6...
Installing ri documentation for elasticsearch-1.0.6...
Installing ri documentation for fluent-plugin-elasticsearch-0.6.1...
Installing ri documentation for msgpack-0.5.9...
Installing ri documentation for cool.io-1.2.4...
Installing ri documentation for thread_safe-0.3.4...
Installing ri documentation for tzinfo-1.2.2...
Installing ri documentation for tzinfo-data-1.2014.10...
Installing RDoc documentation for patron-0.4.18...
Installing RDoc documentation for multi_json-1.10.1...
Installing RDoc documentation for multipart-post-2.0.0...
Installing RDoc documentation for faraday-0.9.0...
Installing RDoc documentation for elasticsearch-transport-1.0.6...
Installing RDoc documentation for elasticsearch-api-1.0.6...
Installing RDoc documentation for elasticsearch-1.0.6...
Installing RDoc documentation for fluent-plugin-elasticsearch-0.6.1...
Installing RDoc documentation for msgpack-0.5.9...
Installing RDoc documentation for cool.io-1.2.4...
Installing RDoc documentation for thread_safe-0.3.4...
Installing RDoc documentation for tzinfo-1.2.2...
Installing RDoc documentation for tzinfo-data-1.2014.10...

…という感じで更新しておかないと入らない。

 設定

ログ収集側(Linuxの設定)

 引き続きの作業です。
/etc/td-agent/td-agent.confには、初期以下のようになっていました。

####
## Output descriptions:
##

# Treasure Data (http://www.treasure-data.com/) provides cloud based data
# analytics platform, which easily stores and processes data from td-agent.
# FREE plan is also provided.
# @see http://docs.fluentd.org/articles/http-to-td
#
# This section matches events whose tag is td.DATABASE.TABLE
<match td.*.*>
  type tdlog
  apikey YOUR_API_KEY

  auto_create_table
  buffer_type file
  buffer_path /var/log/td-agent/buffer/td
</match>

## match tag=debug.** and dump to console
<match debug.**>
  type stdout
</match>

####
## Source descriptions:
##

## built-in TCP input
## @see http://docs.fluentd.org/articles/in_forward
<source>
  type forward
</source>

## built-in UNIX socket input
#<source>
#  type unix
#</source>

# HTTP input
# POST http://localhost:8888/<tag>?json=<json>
# POST http://localhost:8888/td.myapp.login?json={"user"%3A"me"}
# @see http://docs.fluentd.org/articles/in_http
<source>
  type http
  port 8888
</source>

## live debugging agent
<source>
  type debug_agent
  bind 127.0.0.1
  port 24230
</source>

####
## Examples:
##

## File input
## read apache logs continuously and tags td.apache.access
#<source>
#  type tail
#  format apache
#  path /var/log/httpd-access.log
#  tag td.apache.access
#</source>

## File output
## match tag=local.** and write to file
#<match local.**>
#  type file
#  path /var/log/td-agent/access
#</match>

## Forwarding
## match tag=system.** and forward to another td-agent server
#<match system.**>
#  type forward
#  host 192.168.0.11
#  # secondary host is optional
#  <secondary>
#    host 192.168.0.12
#  </secondary>
#</match>

## Multiple output
## match tag=td.*.* and output to Treasure Data AND file
#<match td.*.*>
#  type copy
#  <store>
#    type tdlog
#    apikey API_KEY
#    auto_create_table
#    buffer_type file
#    buffer_path /var/log/td-agent/buffer/td
#  </store>
#  <store>
#    type file
#    path /var/log/td-agent/td-%Y-%m-%d/%H.log
#  </store>
#</match>

yk5656 diaryを参考に、以下のようにしてみました。

# http://d.hatena.ne.jp/yk5656/20140516/1401636399 を参照
<source>
  type tail
  path /var/log/httpd/access_log
  pos_file /var/log/td-agent/access_log.pos
  format apache2
  tag apache.access
</source>

<match apache.access>
  type elasticsearch
  host localhost
  port 9200
  type_name access_log
  logstash_format true
  flush_interval 3s
</match>

これでまずはデーモンをあげてみる。

# chkconfig td-agent on
# service td-agent start
Starting td-agent:                                         [  OK  ]

では、まず今の状態で眺めてみることにしました。
http://HOST/kibana/index.html#/dashboard/file/guided.json

なんかグラフが出てくるようになりました。

ログ送信側(FreeBSDの設定)

 やっと、FreeBSDのサーバの話になりました。
FreeBSD 9.3-RELEASEのサーバでApache24が動作しているものを転送してここで参照するようにします。

# pkg install rubygem-fluentd
Updating FreeBSD repository catalogue...
FreeBSD repository is up-to-date.
Updating us-west repository catalogue...
us-west repository is up-to-date.
All repositories are up-to-date.
pkg: ruby19-bdb has a missing dependency: db41
The following 9 packages will be affected (of 0 checked):

New packages to be INSTALLED:
        rubygem-fluentd: 0.10.53 [FreeBSD]
        rubygem-http_parser.rb: 0.6.0 [FreeBSD]
        ruby20-gems: 1.8.29 [FreeBSD]
        rubygem-yajl-ruby: 1.2.1 [FreeBSD]
        rubygem-sigdump: 0.2.2 [FreeBSD]
        rubygem-msgpack: 0.5.5 [FreeBSD]
        rubygem-json: 1.8.1 [FreeBSD]
        rubygem-cool.io: 1.2.4 [FreeBSD]
        rubygem-iobuffer: 1.1.2 [FreeBSD]

The process will require 23 MB more space.
3 MB to be downloaded.

Proceed with this action? [y/N]y
Fetching rubygem-fluentd-0.10.53.txz: 100%  369 kB 378.4k/s    00:01
Fetching rubygem-http_parser.rb-0.6.0.txz: 100%  366 kB 375.6k/s    00:01
Fetching ruby20-gems-1.8.29.txz: 100%  501 kB 513.9k/s    00:01
Fetching rubygem-yajl-ruby-1.2.1.txz: 100%    1 MB 521.5k/s    00:02
Fetching rubygem-sigdump-0.2.2.txz: 100%   65 kB  67.2k/s    00:01
Fetching rubygem-msgpack-0.5.5.txz: 100%  215 kB 220.3k/s    00:01
Fetching rubygem-json-1.8.1.txz: 100%  363 kB 372.1k/s    00:01
Fetching rubygem-cool.io-1.2.4.txz: 100%  334 kB 342.4k/s    00:01
Fetching rubygem-iobuffer-1.1.2.txz: 100%   76 kB  78.8k/s    00:01
Checking integrity... done (1 conflicting)
Checking integrity...pkg: cannot load files from rubygem-addressable to check integrity
pkg: cannot load files from rubygem-fastimage to check integrity
pkg: cannot load files from rubygem-rack to check integrity
pkg: cannot load files from rubygem-multi_json to check integrity
pkg: cannot load files from rubygem-json_pure to check integrity
 done (0 conflicting)
Conflicts with the existing packages have been found.
One more solver iteration is needed to resolve them.
The following 17 packages will be affected (of 0 checked):

Installed packages to be REMOVED:
        rubygem-rake-10.3.2
        rubygem-hoe-3.10.0
        ruby19-gems-1.8.29

New packages to be INSTALLED:
        ruby20-gems: 1.8.29 [FreeBSD]
        rubygem-iobuffer: 1.1.2 [FreeBSD]
        rubygem-http_parser.rb: 0.6.0 [FreeBSD]
        rubygem-yajl-ruby: 1.2.1 [FreeBSD]
        rubygem-sigdump: 0.2.2 [FreeBSD]
        rubygem-msgpack: 0.5.5 [FreeBSD]
        rubygem-json: 1.8.1 [FreeBSD]
        rubygem-cool.io: 1.2.4 [FreeBSD]
        rubygem-fluentd: 0.10.53 [FreeBSD]

Installed packages to be UPGRADED:
        rubygem-addressable: 2.3.5 -> 2.3.6 [FreeBSD]
        rubygem-fastimage: 1.6.1 -> 1.6.3 [FreeBSD]
        rubygem-multi_json: 1.9.2 -> 1.10.1 [FreeBSD]

Installed packages to be REINSTALLED:
        rubygem-json_pure-1.8.1 [FreeBSD] (direct dependency changed)
        rubygem-rack-1.4.5,3 [FreeBSD] (direct dependency changed)

The process will require 11 MB more space.
4 MB to be downloaded.

Proceed with this action? [y/N]: y
Fetching rubygem-addressable-2.3.6.txz: 100%  245 kB 250.8k/s    00:01
Fetching rubygem-json_pure-1.8.1.txz: 100%  329 kB 337.0k/s    00:01
Fetching rubygem-fastimage-1.6.3.txz: 100%    3 MB 550.0k/s    00:06
Fetching rubygem-rack-1.4.5,3.txz: 100%  495 kB 507.5k/s    00:01
Fetching rubygem-multi_json-1.10.1.txz: 100%  110 kB 113.2k/s    00:01
[1/17] Deinstalling rubygem-rake-10.3.2...
[1/17] Deleting files for rubygem-rake-10.3.2: 100%
[2/17] Deinstalling rubygem-hoe-3.10.0...
[2/17] Deleting files for rubygem-hoe-3.10.0: 100%
[3/17] Deinstalling ruby19-gems-1.8.29...
[3/17] Deleting files for ruby19-gems-1.8.29: 100%
[4/17] Installing ruby20-gems-1.8.29...
[4/17] Extracting ruby20-gems-1.8.29: 100%
[5/17] Installing rubygem-iobuffer-1.1.2...
[5/17] Extracting rubygem-iobuffer-1.1.2: 100%
[6/17] Installing rubygem-http_parser.rb-0.6.0...
[6/17] Extracting rubygem-http_parser.rb-0.6.0: 100%
[7/17] Upgrading rubygem-addressable from 2.3.5 to 2.3.6...
[7/17] Extracting rubygem-addressable-2.3.6: 100%
[8/17] Reinstalling rubygem-json_pure-1.8.1...
[8/17] Extracting rubygem-json_pure-1.8.1: 100%
[9/17] Installing rubygem-yajl-ruby-1.2.1...
[9/17] Extracting rubygem-yajl-ruby-1.2.1: 100%
[10/17] Installing rubygem-sigdump-0.2.2...
[10/17] Extracting rubygem-sigdump-0.2.2: 100%
[11/17] Installing rubygem-msgpack-0.5.5...
[11/17] Extracting rubygem-msgpack-0.5.5: 100%
[12/17] Installing rubygem-json-1.8.1...
[12/17] Extracting rubygem-json-1.8.1: 100%
[13/17] Installing rubygem-cool.io-1.2.4...
[13/17] Extracting rubygem-cool.io-1.2.4: 100%
[14/17] Installing rubygem-fluentd-0.10.53...
===> Creating users and/or groups.
Creating group 'fluentd' with gid '963'.
Creating user 'fluentd' with uid '963'.
[14/17] Extracting rubygem-fluentd-0.10.53: 100%
[15/17] Upgrading rubygem-fastimage from 1.6.1 to 1.6.3...
[15/17] Extracting rubygem-fastimage-1.6.3: 100%
[16/17] Reinstalling rubygem-rack-1.4.5,3...
[16/17] Extracting rubygem-rack-1.4.5,3: 100%
[17/17] Upgrading rubygem-multi_json from 1.9.2 to 1.10.1...
[17/17] Extracting rubygem-multi_json-1.10.1: 100%

 既に入っていたものもあるので、上記表示もろもろですが導入ができました。
これは、同様にデーモンを動かしておく必要があるみたいなので、/etc/rc.confに必要な情報を加えます。
今回は珍しくコマンドで入れてみます。

# sysrc fluentd_enable="YES"
fluentd_enable:  -> YES

設定ファイルは、rc.dのファイルにあるように、

: ${fluentd_enable:="NO"}
: ${fluentd_config="/usr/local/etc/fluentd/fluent.conf"}
: ${fluentd_dir="/usr/local/etc/fluentd"}
: ${fluentd_user="fluentd"}
: ${fluentd_group="fluentd"}
: ${fluentd_flags:=""}

という位置に作成されていました。

# cd /usr/local/etc/fluentd
# ll
total 12
-rw-r--r--  1 root  wheel  1735 Nov 20 01:42 fluent.conf
-rw-r--r--  1 root  wheel  1735 Nov 20 01:42 fluent.conf.sample
drwxr-xr-x  2 root  wheel   512 Nov 20 01:42 plugin/

こんな感じ。設定は、先ほど作成したcentOS側に転送するので、内容を書き換えます。

<source>
  type          forward
</source>

<source>
  type          tail
  format        apache2
  path          /var/log/http-fkimura.com-access.log
  pos_file      /var/log/td-agent/http-fkimura.com-apache.pos
  tag           http-fkimura.com-apache.access
</source>

<match **>
  type          forward
<server>
  host          192.168.0.241
</server>
</match>

 では、デーモンをあげてみます。

# chown fluentd:fluentd /var/log/td-agent/
# service fluentd start
Starting fluentd.
/usr/local/bin/fluentd: not found
/usr/local/etc/rc.d/fluentd: WARNING: failed to start fluentd
# ll /usr/local/bin/fluentd
-rwxr-xr-x  1 root  wheel  466 Nov 20 01:41 /usr/local/bin/fluentd*

 失敗してしまいました。
これはファイルの中身のスクリプトが怪しいね。

# cat /usr/local/bin/fluentd
#!/usr/local/bin/ruby20
#
# This file was generated by RubyGems.
#
# The application 'fluentd' is installed as part of a gem, and
# this file is here to facilitate running it.
#

require 'rubygems'

version = ">= 0"

if ARGV.first
  str = ARGV.first
  str = str.dup.force_encoding("BINARY") if str.respond_to? :force_encoding
  if str =~ /\A_(.*)_\z/
    version = $1
    ARGV.shift
  end
end

gem 'fluentd', version
load Gem.bin_path('fluentd', 'fluentd', version)

/usr/local/bin/ruby20はないなぁ。うちは、ruby19だし。これruby20前提なものなんかな。

# ln -s /usr/local/bin/ruby /usr/local/bin/ruby20

…というだまし入れてみたけどありなのだろうか。

# service fluentd start
Starting fluentd.
/usr/local/lib/ruby/1.9/rubygems/dependency.rb:247:in `to_specs': Could not find fluentd (>= 0) amongst [hikidoc-0.0.6] (Gem::LoadError)
        from /usr/local/lib/ruby/1.9/rubygems/dependency.rb:256:in `to_spec'
        from /usr/local/lib/ruby/1.9/rubygems.rb:1231:in `gem'
        from /usr/local/bin/fluentd:22:in `<main>'
/usr/local/etc/rc.d/fluentd: WARNING: failed to start fluentd

うは…エラー。

# pkg info | grep ruby
ruby-1.9.3.484_2,1             Object-oriented interpreted scripting language
ruby19-bdb-0.6.6_3             Ruby interface to Oracle Berkeley DB revision 2 or later
ruby19-hikidoc-0.0.6           A text-to-HTML conversion tool for web writers
ruby20-gems-1.8.29             Package management framework for the Ruby language
rubygem-addressable-2.3.6      Replacement for the URI implementation
rubygem-cool.io-1.2.4          Gems for cool.io
rubygem-fastimage-1.6.3        FastImage finds the size or type of an image
rubygem-fluentd-0.10.53        Fluent event collector
rubygem-http_parser.rb-0.6.0   Simple callback-based HTTP request/response parser
rubygem-iobuffer-1.1.2         Gems for iobuffer
rubygem-json-1.8.1             Parse JSON texts and generate them from ruby data structures
rubygem-json_pure-1.8.1        Parse JSON texts and generate them from ruby data structures in Ruby
rubygem-msgpack-0.5.5          Gems for MessagePack
rubygem-multi_json-1.10.1      Ruby library provide swappable JSON backends
rubygem-rack-1.4.5,3           Rack, a Ruby Webserver Interface
rubygem-sigdump-0.2.2          Setup signal handler which dumps backtrace of running threads
rubygem-yajl-ruby-1.2.1        Streaming JSON parsing and encoding library for Ruby

もう、ruby20に変えようということだよねぇ。さっきのインストールで結構書き換わっていたし。
一度、関連するruby19関連を削除する。どうせ過去にいれたtDiaryだけしか、このマシンでは使っていないはず。
tDiaryは、後で考えよう。totaさんがメンテしていてくれるはずだし。入れ直しでそのまま動くかは不明だけど。
# うわ。文字化けになっちゃった。UTF-8に移行が必要なんだろうなぁ。もういいや。

# pkg install rubygem-fluentd
Updating FreeBSD repository catalogue...
FreeBSD repository is up-to-date.
Updating us-west repository catalogue...
us-west repository is up-to-date.
All repositories are up-to-date.
The following 12 packages will be affected (of 0 checked):

New packages to be INSTALLED:
        rubygem-fluentd: 0.10.53 [FreeBSD]
        rubygem-http_parser.rb: 0.6.0 [FreeBSD]
        ruby: 2.0.0.598,1 [FreeBSD]
        readline: 6.3.8 [FreeBSD]
        indexinfo: 0.2 [FreeBSD]
        ruby20-gems: 1.8.29 [FreeBSD]
        rubygem-yajl-ruby: 1.2.1 [FreeBSD]
        rubygem-sigdump: 0.2.2 [FreeBSD]
        rubygem-msgpack: 0.5.5 [FreeBSD]
        rubygem-json: 1.8.1 [FreeBSD]
        rubygem-cool.io: 1.2.4 [FreeBSD]
        rubygem-iobuffer: 1.1.2 [FreeBSD]

The process will require 60 MB more space.
7 MB to be downloaded.

Proceed with this action? [y/N]: y
Fetching ruby-2.0.0.598,1.txz: 100%    6 MB   1.8M/s    00:04
Fetching readline-6.3.8.txz: 100%  308 kB 315.5k/s    00:01
Checking integrity... done (0 conflicting)
[1/12] Installing indexinfo-0.2...
[1/12] Extracting indexinfo-0.2: 100%
[2/12] Installing readline-6.3.8...
[2/12] Extracting readline-6.3.8: 100%
[3/12] Installing ruby-2.0.0.598,1...
[3/12] Extracting ruby-2.0.0.598,1: 100%
[4/12] Installing ruby20-gems-1.8.29...
[4/12] Extracting ruby20-gems-1.8.29: 100%
[5/12] Installing rubygem-iobuffer-1.1.2...
[5/12] Extracting rubygem-iobuffer-1.1.2: 100%
[6/12] Installing rubygem-http_parser.rb-0.6.0...
[6/12] Extracting rubygem-http_parser.rb-0.6.0: 100%
[7/12] Installing rubygem-yajl-ruby-1.2.1...
[7/12] Extracting rubygem-yajl-ruby-1.2.1: 100%
[8/12] Installing rubygem-sigdump-0.2.2...
[8/12] Extracting rubygem-sigdump-0.2.2: 100%
[9/12] Installing rubygem-msgpack-0.5.5...
[9/12] Extracting rubygem-msgpack-0.5.5: 100%
[10/12] Installing rubygem-json-1.8.1...
[10/12] Extracting rubygem-json-1.8.1: 100%
[11/12] Installing rubygem-cool.io-1.2.4...
[11/12] Extracting rubygem-cool.io-1.2.4: 100%
[12/12] Installing rubygem-fluentd-0.10.53...
===> Creating users and/or groups.
Using existing group 'fluentd'.
Using existing user 'fluentd'.
[12/12] Extracting rubygem-fluentd-0.10.53: 100%
Message for ruby-2.0.0.598,1:
 ====
Some of the standard commands are provided as separate ports for ease
of upgrading:

        devel/ruby-gems:        gem - RubyGems package manager
        devel/rubygem-rake:     rake - Ruby Make

And some of the standard libraries are provided as separate ports
since they require extra dependencies:

        databases/ruby-gdbm:    GDBM module
        x11-toolkits/ruby-tk:   Tcl/Tk modules
        japanese/ruby-tk:       Tcl/Tk modules for Japanized Tcl/Tk

Install them as occasion demands.
====

話を戻して、起動する部分からやり直しました。

# service fluentd start
Starting fluentd.
2014-12-21 17:08:26 +0900 [info]: starting fluentd-0.10.53
2014-12-21 17:08:26 +0900 [info]: reading config file path="/usr/local/etc/fluentd/fluent.conf"
2014-12-21 17:08:26 +0900 [info]: gem 'fluentd' version '0.10.53'
2014-12-21 17:08:26 +0900 [info]: using configuration file: <ROOT>
...
  </match>
</ROOT>
2014-12-21 17:08:26 +0900 [info]: adding source type="forward"
2014-12-21 17:08:26 +0900 [info]: adding source type="tail"
2014-12-21 17:08:26 +0900 [info]: adding match pattern="**" type="forward"
2014-12-21 17:08:26 +0900 [info]: adding forwarding server '192.168.0.241:24224' host="192.168.0.241" port=24224 weight=60

これで向かっているのだろうか。
パケットキャプチャーで眺めたらちゃんと向かっていました。

CentOS側の受け入れ

 転送されたログを受け入れるようにしないと反映されないので、修正しました。

<source>
  type forward
  port 24224
  bind 0.0.0.0
</source>

<source>
  type tail
  path /var/log/httpd/access_log
  pos_file /var/log/td-agent/access_log.pos
  format apache2
  tag local-apache.access
</source>

<match **apache.access>
  type elasticsearch
  port 9200
  type_name access_log
  logstash_format true
  flush_interval 3s
</match>

 よくわからないものの、こんなにすれば読み込むはず。

 来ました。Googleのクローラが来たタイミングみたいです。

 リバースプロキシ

Apacheで特定の先に見せるページにする

 FreeBSDのサーバを経由して、社内LANにあるマシンのページをグローバルからも参照できるようにしました。
ただし、誰にでも見せるわけではないので、限定した先に参照可能としました。

 まず、リバプロはSSL通信にしてセキュリティを高めます。
しかしながら、自分用にワイルドカードのSSL証明書は買って無いので、自己認証で構築しちゃいます。

# cd /usr/local/etc/apache22
# openssl genrsa -out ./rproxy-server.key 2048
Generating RSA private key, 2048 bit long modulus
...........+++
.........................................+++
e is 65537 (0x10001)
# openssl req -new -days 3650 -key ./rproxy-server.key -out ./rproxy-server.csr
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:JP
State or Province Name (full name) [Some-State]:Tokyo
Locality Name (eg, city) []:Shinjuku
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Web Service
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:*.example.com
Email Address []:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:
# openssl x509 -in ./rproxy-server.csr -out ./rproxy-server.crt \
? -req -signkey ./rproxy-server.key -days 3650
Signature ok
subject=....
Getting Private key
# openssl x509 -inform pem -in ./rproxy-server.crt -outform der -out ./rproxy-server.der
# chmod 400 rproxy-server*

 まぁ、毎度ですがこんな感じで、ワイルドカードな自己認証鍵系はできあがり。

 次は、これらを含む設定ファイルを作成します。
/usr/local/etc/apache22/extra/httpd-revproxy.conf という感じにしました。

Listen XXX.YYY.ZZZ.aaa:8433
<VirtualHost Listen XXX.YYY.ZZZ.aaa:8433>
        ServerAdmin     foo@example.com
        ServerName      view.example.com
        ErrorLog        /var/log/httpd-view-error_log
        CustomLog        /var/log/httpd-view-access.log common
        <IfModule mod_ssl.c>
                SSLEngine       on
                SSLProtocol -ALL -SSLv2 -SSLv3 +TLSv1
                Header always set Strict-Transport-Security "max-age=315360000; includeSubDomains"
                SSLCertificateFile "/usr/local/etc/apache22/rproxy-server.crt"
                SSLCertificateKeyFile "/usr/local/etc/apache22/rproxy-server.key"
        </IfModule>
        <IfModule mod_proxy.c>
                ProxyRequests   Off
                ProxyPass       /       http://192.168.0.241/
                ProxyPassReverse        /       http://192.168.0.241/
                ProxyVia        On
        </IfModule>
        <Proxy>
                Order deny,allow
                Deny from all
                Allow from 192.168.0.0/24 .example.com
        </Proxy>
</VirtualHost>

として、httpd.confに

# Reverse Proxy
Include etc/apache22/extra/httpd-revproxy.conf

を追加しました。
 また、モジュールも加えておかないといけないので、

# ll /usr/local/libexec/apache22/mod_proxy*
-rwxr-xr-x  1 root  wheel  82960 Dec 22 22:49 /usr/local/libexec/apache22/mod_proxy.so
-rwxr-xr-x  1 root  wheel  33192 Dec 22 22:49 /usr/local/libexec/apache22/mod_proxy_http.so

に該当する内容を加えました。

# 2014-12-23 added by fkimura
LoadModule proxy_module         libexec/apache22/mod_proxy.so
LoadModule proxy_http_module    libexec/apache22/mod_proxy_http.so

のようなイメージで。
とりあえず、認証とかは後で加えることにして、先に進む。

# service apache22 configtest
Performing sanity check on apache22 configuration:
Syntax OK
# service apache22 restart

あれ?画面は見えたけど、思うように表示がされないな。
相対パスで見えていない部分は、設定に加えたけれど…。
Elasticsearchの部分も対応する必要があるのかな。
また宿題になってしまいました。

 まとめ

※まだ作業の途中ですので、暫定な文章が入っています※

 まだ動作させて10分ですが、流石にJava動かしていますし、1GBのメモリは不足気味です。
すでにSWAP使って動いていますね。
※その後、メモリーは1.5GB(1536MB)に割り当てを変更してスワップを使わずに利用できる範囲に落ち着きました


【改訂履歴】作成:2014/12/20 更新:2014/12/23


【参照ページ】

 
Copyright © 1996,1997-2006,2007- by F.Kimura,