ライン

ポイント:*

ライン

 はじめに

Zabbix

 個人的には、HinemosやNagiosを試す…を試そうと思っていましたが、結果 Zabbixになりました。
Hinemosは、最近のバージョンの5がCenoOS7系が動作環境であること、があって今回パス。
Nagiosは、FreeBSDで実装しようとしたものの、portsの作りが残念過ぎて依存関係がひどくて実施する気になれなかったことでパス。
 では、これまでの続きで、DRBDで冗長なZabbixを準備するでいいんじゃない、という結論になりました。

 動作環境は、これまでの継続でVMware 5.5の無料版にCentOS 6.7を2台準備して作成することにします。
 なお、深い意味はありませんが、最新のバージョンを見てみたかったというだけで、3.2の版で入れています。
実際に運用で使用する場合には、現状はサポートが長い3.0系にするのが適切と思います。

 インストール

 まず1台目を準備します。
ベースは、これまで準備したCactiをクローニングして、Pacemaker + Heartbeatで構成して、DRBDととCactはを削除する形から開始しました。
一から構築したかった方が、参考にしにくいメモで申し訳ないですが、そんな構築準備となりました。

 順番に導入を進めます。

Zabbixレポジトリ

最初にレポジトリの中身だけ見ていたので、まずはこれを加えました。
パッケージは、後半で記述します。

# yum install https://repo.zabbix.com/zabbix/3.2/rhel/6/x86_64/zabbix-release-3.2-1.el6.noarch.rpm
...
依存性を解決しました

==================================================================================
 パッケージ        アーキテクチャ
                             バージョン    リポジトリー                         容量
==================================================================================
インストールしています:
 zabbix-release    noarch    3.2-1.el6     /zabbix-release-3.2-1.el6.noarch     22 k

トランザクションの要約
==================================================================================
インストール         1 パッケージ

合計容量: 22 k
インストール済み容量: 22 k
これでいいですか? [y/N]

まずは完了。

PHP 5.6

 今更気付いたのですが、PHPのバージョンがこれまで残念なほど古いので、動作環境として、5.6系にするようにしました。
※パッケージとしては、PHP 5.4以降ということのようです

# yum install http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
依存性を解決しました

==================================================================================
 パッケージ         アーキテクチャ
                                 バージョン              リポジトリー           容量
==================================================================================
インストールしています:
 remi-release       noarch       6.8-1.el6.remi          /remi-release-6       6.3 k

トランザクションの要約
==================================================================================
インストール         1 パッケージ

合計容量: 6.3 k
インストール済み容量: 6.3 k
これでいいですか? [y/N]

確認します。

# cd /etc/yum.repos.d
# ll
合計 56
-rw-r--r--. 1 root root 1991  8月  4 01:13 2015 CentOS-Base.repo
-rw-r--r--. 1 root root  647  8月  4 01:13 2015 CentOS-Debuginfo.repo
-rw-r--r--. 1 root root  644  2月  7 05:57 2016 CentOS-Media.repo
-rw-r--r--. 1 root root 6259  8月  4 01:13 2015 CentOS-Vault.repo
-rw-r--r--. 1 root root  289  8月  4 01:13 2015 CentOS-fasttrack.repo
-rw-r--r--  1 root root 2150  1月 22 09:50 2017 elrepo.repo
-rw-r--r--  1 root root 1056 11月  5 12:52 2012 epel-testing.repo
-rw-r--r--  1 root root  957 11月  5 12:52 2012 epel.repo
-rw-r--r--  1 root root 1177  6月 30 21:25 2016 remi-php70.repo
-rw-r--r--  1 root root 1177  6月 30 21:25 2016 remi-php71.repo
-rw-r--r--  1 root root  449  6月 30 21:25 2016 remi-safe.repo
-rw-r--r--  1 root root 2340  6月 30 21:25 2016 remi.repo
-rw-r--r--  1 root root  636  9月 14 20:59 2016 zabbix.repo

PHP関連を入れます。

# yum install --enablerepo=remi --enablerepo=remi-php56 php php-opcache php-devel php-mbstring php-mcrypt \
  php-mysqlnd php-phpunit-PHPUnit php-pecl-xdebug php-pecl-xhprof
依存性を解決しました

==================================================================================
 パッケージ                            アーキテクチャ
                                              バージョン            リポジトリー
                                                                                容量
==================================================================================
インストールしています:
 php                                   x86_64 5.6.30-1.el6.remi     remi-php56 2.7 M
 php-devel                             x86_64 5.6.30-1.el6.remi     remi-php56 1.2 M
 php-mbstring                          x86_64 5.6.30-1.el6.remi     remi-php56 969 k
 php-mcrypt                            x86_64 5.6.30-1.el6.remi     remi-php56  49 k
 php-mysqlnd                           x86_64 5.6.30-1.el6.remi     remi-php56 276 k
 php-opcache                           x86_64 5.6.30-1.el6.remi     remi-php56 125 k
 php-pecl-xdebug                       x86_64 2.5.0-1.el6.remi.5.6  remi-php56 188 k
 php-pecl-xhprof                       x86_64 0.9.4-4.el6.remi.5.6  remi-php56  27 k
 php-phpunit-PHPUnit                   noarch 5.7.9-1.el6.remi      remi       147 k
依存性関連でのインストールをします。:
 autoconf                              noarch 2.63-5.1.el6          base       781 k
 automake                              noarch 1.11.1-4.el6          base       550 k
 git                                   x86_64 1.7.1-4.el6_7.1       base       4.6 M
 libmcrypt                             x86_64 2.5.8-9.el6           epel        96 k
 libzip-last                           x86_64 1.1.3-1.el6.remi      remi        42 k
 perl-Error                            noarch 1:0.17015-4.el6       base        29 k
 perl-Git                              noarch 1.7.1-4.el6_7.1       base        28 k
 php-cli                               x86_64 5.6.30-1.el6.remi     remi-php56 4.0 M
 php-common                            x86_64 5.6.30-1.el6.remi     remi-php56 1.1 M
 php-doctrine-instantiator             noarch 1.0.5-1.el6.remi      remi        10 k
 php-fedora-autoloader                 noarch 0.2.1-2.el6.remi      remi       8.2 k
 php-myclabs-deep-copy                 noarch 1.6.0-1.el6.remi      remi        15 k
 php-pdo                               x86_64 5.6.30-1.el6.remi     remi-php56 119 k
 php-pear                              noarch 1:1.10.1-8.el6.remi   remi       364 k
 php-pecl-jsonc                        x86_64 1.3.10-2.el6.remi.5.6 remi-php56  52 k
 php-pecl-jsonc-devel                  x86_64 1.3.10-2.el6.remi.5.6 remi-php56  31 k
 php-pecl-zip                          x86_64 1.13.5-1.el6.remi.5.6 remi-php56  52 k
 php-phpdocumentor-reflection-docblock noarch 2.0.4-1.el6.remi      remi        24 k
 php-phpspec-prophecy                  noarch 1.6.2-1.el6.remi      remi        52 k
 php-phpunit-File-Iterator             noarch 1.4.2-1.el6.remi      remi        11 k
 php-phpunit-PHP-CodeCoverage          noarch 4.0.5-2.el6.remi      remi       321 k
 php-phpunit-PHP-Invoker               noarch 1.1.4-1.el6.remi      remi       7.7 k
 php-phpunit-PHP-Timer                 noarch 1.0.8-1.el6.remi      remi       7.4 k
 php-phpunit-PHP-TokenStream           noarch 1.4.9-1.el6.remi      remi        16 k
 php-phpunit-PHPUnit-MockObject        noarch 3.4.3-1.el6.remi      remi        40 k
 php-phpunit-Text-Template             noarch 1.2.1-1.el6.remi      remi       7.8 k
 php-phpunit-Version                   noarch 2.0.1-1.el6.remi      remi       7.6 k
 php-phpunit-comparator                noarch 1.2.2-1.el6.remi      remi        13 k
 php-phpunit-diff                      noarch 1.4.1-1.el6.remi      remi        12 k
 php-phpunit-environment               noarch 2.0.0-1.el6.remi      remi       9.1 k
 php-phpunit-exporter                  noarch 2.0.0-1.el6.remi      remi       9.5 k
 php-process                           x86_64 5.6.30-1.el6.remi     remi-php56  63 k
 php-sebastian-code-unit-reverse-lookup
                                       noarch 1.0.0-2.el6.remi      remi       6.5 k
 php-sebastian-global-state            noarch 1.1.1-1.el6.remi      remi       9.3 k
 php-sebastian-object-enumerator       noarch 2.0.0-1.el6.remi      remi       6.7 k
 php-sebastian-recursion-context       noarch 2.0.0-1.el6.remi      remi       7.2 k
 php-sebastian-resource-operations     noarch 1.0.0-2.el6.remi      remi       9.1 k
 php-soap                              x86_64 5.6.30-1.el6.remi     remi-php56 228 k
 php-symfony-class-loader              noarch 2.8.16-1.el6.remi     remi        25 k
 php-symfony-common                    noarch 2.8.16-1.el6.remi     remi       128 k
 php-symfony-yaml                      noarch 2.8.16-1.el6.remi     remi        28 k
 php-xml                               x86_64 5.6.30-1.el6.remi     remi-php56 220 k
 rsync                                 x86_64 3.0.6-12.el6          base       335 k

トランザクションの要約
==================================================================================
インストール        52 パッケージ

総ダウンロード容量: 19 M
インストール済み容量: 69 M
これでいいですか? [y/N]

なにげにいろんなものをつっこむことになりました。

MySQL Client

さて、MySQLですが、既存のサーバを使おうと思います。
良く考えると、CactiのMySQLクライアントは、RHELのレポジトリのものを使ったので、5.7系ではなく、5.1系のもののままでした。
Zabbix側は一応揃えておこうと思います。

# yum remove mysql-libs-5.1.73-7.el6.x86_64 mysql-5.1.73-7.el6.x86_64
...
依存性を解決しました

==================================================================================
 パッケージ    アーキテクチャ
                      バージョン      リポジトリー                              容量
==================================================================================
削除:
 mysql         x86_64 5.1.73-7.el6    @base                                    2.4 M
 mysql-libs    x86_64 5.1.73-7.el6    @base                                    4.0 M
依存性関連での削除をします。:
 cronie        x86_64 1.4.4-15.el6    @anaconda-CentOS-201508042137.x86_64/6.7 174 k
 cronie-anacron
               x86_64 1.4.4-15.el6    @anaconda-CentOS-201508042137.x86_64/6.7  43 k
 crontabs      noarch 1.10-33.el6     @anaconda-CentOS-201508042137.x86_64/6.7 2.4 k
 postfix       x86_64 2:2.6.6-6.el6_5 @anaconda-CentOS-201508042137.x86_64/6.7 9.7 M

トランザクションの要約
==================================================================================
削除                 6 パッケージ

インストール済み容量: 16 M
これでいいですか? [y/N]

余計に消えてしまいましたが後でリカバ予定。

# yum install http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm
...
依存性を解決しました

==================================================================================
 パッケージ               アーキテクチャ
                                 バージョン
                                       リポジトリー                             容量
==================================================================================
インストールしています:
 mysql57-community-release
                          noarch el6-7 /mysql57-community-release-el6-7.noarch 7.8 k

トランザクションの要約
==================================================================================
インストール         1 パッケージ

合計容量: 7.8 k
インストール済み容量: 7.8 k
これでいいですか? [y/N]
...
#  yum --enablerepo='mysql57-community*' install mysql-community-client
...
依存性を解決しました

==================================================================================
 パッケージ                 アーキテクチャ
                                       バージョン        リポジトリー           容量
==================================================================================
インストールしています:
 mysql-community-client     x86_64     5.7.17-1.el6      mysql57-community      23 M
依存性関連でのインストールをします。:
 mysql-community-common     x86_64     5.7.17-1.el6      mysql57-community     328 k
 mysql-community-libs       x86_64     5.7.17-1.el6      mysql57-community     2.1 M

トランザクションの要約
==================================================================================
インストール         3 パッケージ

総ダウンロード容量: 25 M
インストール済み容量: 111 M
これでいいですか? [y/N]

これで導入完了。

# yum install numactl postfix
...
依存性を解決しました

==================================================================================
 パッケージ                   アーキテクチャ
                                      バージョン            リポジトリー        容量
==================================================================================
インストールしています:
 numactl                      x86_64  2.0.9-2.el6           base                74 k
 postfix                      x86_64  2:2.6.6-6.el6_7.1     base               2.0 M
依存性関連でのインストールをします。:
 mysql-community-libs-compat  x86_64  5.7.17-1.el6          mysql57-community  1.6 M

トランザクションの要約
==================================================================================
インストール         3 パッケージ

総ダウンロード容量: 3.8 M
インストール済み容量: 15 M
これでいいですか? [y/N]

リカバリも完了。
SQLサーバへの接続確認もできました。※記述は省略

Zabbix

まずは、エージェント系をいれてみます。

# yum --disablerepo=\* --enablerepo=zabbix install zabbix-agent zabbix-get
...
依存性を解決しました

==================================================================================
 パッケージ            アーキテクチャ  バージョン              リポジトリー     容量
==================================================================================
インストールしています:
 zabbix-agent          x86_64          3.2.3-1.el6             zabbix          334 k
 zabbix-get            x86_64          3.2.3-1.el6             zabbix          233 k

トランザクションの要約
==================================================================================
インストール         2 パッケージ

総ダウンロード容量: 567 k
インストール済み容量: 2.0 M
これでいいですか? [y/N]

すんなりです。
さて、サーバ系は、同様ではいらないみたいだ。
https://repo.zabbix.com/zabbix/3.2/rhel/6/x86_64/deprecated/
には存在するみたい。

# yum --enablerepo=zabbix-deprecated install zabbix-server-mysql zabbix-web-mysql zabbix-web-japanese
...
依存性を解決しました

==================================================================================
 パッケージ              アーキテクチャ
                                    バージョン        リポジトリー              容量
==================================================================================
インストールしています:
 zabbix-server-mysql     x86_64     3.2.3-1.el6       zabbix-deprecated        1.8 M
 zabbix-web-japanese     noarch     3.2.3-1.el6       zabbix-deprecated        5.7 k
 zabbix-web-mysql        noarch     3.2.3-1.el6       zabbix-deprecated        5.3 k
依存性関連でのインストールをします。:
 dejavu-sans-fonts       noarch     2.33-1.el6        base                     2.2 M
 fping                   x86_64     2.4b2-16.el6      zabbix-non-supported      31 k
 iksemel                 x86_64     1.4-2.el6         epel                      48 k
 unixODBC                x86_64     2.2.14-14.el6     base                     378 k
 zabbix-web              noarch     3.2.3-1.el6       zabbix-deprecated        5.2 M

トランザクションの要約
==================================================================================
インストール         8 パッケージ

総ダウンロード容量: 9.5 M
インストール済み容量: 42 M
これでいいですか? [y/N]

こんな感じ。

DBの方を進めます。

# mysql -h 192.168.1.232 -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 5
Server version: 5.7.17 MySQL Community Server (GPL)

Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database zabbix character set utf8 collate utf8_bin;
Query OK, 1 row affected (0.02 sec)

mysql> grant all on zabbix.* to zabbix@localhost identified by 'PASSWORD';
Query OK, 0 rows affected, 1 warning (0.01 sec)

mysql> quit
Bye

続きです。

# cd /usr/share/doc/zabbix-server-mysql-3.2.3/
# zcat create.sql.gz | mysql -h 192.168.1.232 -u root -p zabbix
Enter password:

これでできあがり。
接続して確認してみます。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| cacti              |
| mysql              |
| performance_schema |
| sys                |
| zabbix             |
+--------------------+
6 rows in set (0.06 sec)

mysql> use zabbix;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+----------------------------+
| Tables_in_zabbix           |
+----------------------------+
| acknowledges               |
| actions                    |
| alerts                     |
| application_discovery      |
| application_prototype      |
| application_template       |
| applications               |
| auditlog                   |
| auditlog_details           |
| autoreg_host               |
| conditions                 |
| config                     |
| corr_condition             |
| corr_condition_group       |
| corr_condition_tag         |
| corr_condition_tagpair     |
| corr_condition_tagvalue    |
| corr_operation             |
| correlation                |
| dbversion                  |
| dchecks                    |
| dhosts                     |
| drules                     |
| dservices                  |
| escalations                |
| event_recovery             |
| event_tag                  |
| events                     |
| expressions                |
| functions                  |
| globalmacro                |
| globalvars                 |
| graph_discovery            |
| graph_theme                |
| graphs                     |
| graphs_items               |
| group_discovery            |
| group_prototype            |
| groups                     |
| history                    |
| history_log                |
| history_str                |
| history_text               |
| history_uint               |
| host_discovery             |
| host_inventory             |
| hostmacro                  |
| hosts                      |
| hosts_groups               |
| hosts_templates            |
| housekeeper                |
| httpstep                   |
| httpstepitem               |
| httptest                   |
| httptestitem               |
| icon_map                   |
| icon_mapping               |
| ids                        |
| images                     |
| interface                  |
| interface_discovery        |
| item_application_prototype |
| item_condition             |
| item_discovery             |
| items                      |
| items_applications         |
| maintenances               |
| maintenances_groups        |
| maintenances_hosts         |
| maintenances_windows       |
| mappings                   |
| media                      |
| media_type                 |
| opcommand                  |
| opcommand_grp              |
| opcommand_hst              |
| opconditions               |
| operations                 |
| opgroup                    |
| opinventory                |
| opmessage                  |
| opmessage_grp              |
| opmessage_usr              |
| optemplate                 |
| problem                    |
| problem_tag                |
| profiles                   |
| proxy_autoreg_host         |
| proxy_dhistory             |
| proxy_history              |
| regexps                    |
| rights                     |
| screen_user                |
| screen_usrgrp              |
| screens                    |
| screens_items              |
| scripts                    |
| service_alarms             |
| services                   |
| services_links             |
| services_times             |
| sessions                   |
| slides                     |
| slideshow_user             |
| slideshow_usrgrp           |
| slideshows                 |
| sysmap_element_url         |
| sysmap_url                 |
| sysmap_user                |
| sysmap_usrgrp              |
| sysmaps                    |
| sysmaps_elements           |
| sysmaps_link_triggers      |
| sysmaps_links              |
| task                       |
| task_close_problem         |
| timeperiods                |
| trends                     |
| trends_uint                |
| trigger_depends            |
| trigger_discovery          |
| trigger_tag                |
| triggers                   |
| users                      |
| users_groups               |
| usrgrp                     |
| valuemaps                  |
+----------------------------+
127 rows in set (0.00 sec)

いろいろ加わりました。

# cd /etc/zabbix/
# ll
合計 36
drwxr-x--- 2 apache apache  4096  1月 29 18:52 2017 web
-rw-r--r-- 1 root   root   10347 12月 21 22:30 2016 zabbix_agentd.conf
drwxr-xr-x 2 root   root    4096  1月 29 18:34 2017 zabbix_agentd.d
-rw-r----- 1 root   zabbix 14876 12月 21 22:30 2016 zabbix_server.conf

こんな感じで準備されていました。

# cp -p zabbix_server.conf zabbix_server.conf_orig
# vi  zabbix_server.conf
# diff -urN zabbix_server.conf_orig  zabbix_server.conf
--- zabbix_server.conf_orig     2016-12-21 22:30:56.000000000 +0900
+++ zabbix_server.conf  2017-01-29 19:09:53.939544254 +0900
@@ -79,6 +79,8 @@
 # Mandatory: no
 # Default:
 # DBHost=localhost
+# @@@@@ #
+DBHost=192.168.1.232

 ### Option: DBName
 #      Database name.
@@ -113,6 +115,8 @@
 # Mandatory: no
 # Default:
 # DBPassword=
+# @@@@@ #
+DBPassword=PASSWORD

 ### Option: DBSocket
 #      Path to MySQL socket.

 さて、Apache用の設定ができているかなと思いきや、

# ll /etc/httpd/conf.d/
合計 20
-rw-r--r-- 1 root root  392  1月 13 02:10 2017 README
-rw-r--r-- 1 root root 1484  1月 19 16:12 2017 php.conf
-rw-r--r-- 1 root root  299 12月 13 18:27 2016 welcome.conf

となっていて、zabbix.confが見当たらない。

# cp -p /usr/share/doc/zabbix-web-3.2.3/httpd22-example.conf ./zabbix.conf

できたファイルにphp_value date.timezone Asia/Tokyoを加えて完了。

# /etc/init.d/httpd start
httpd を起動中:                                            [  OK  ]
# /etc/init.d/zabbix-server start
Starting Zabbix server:                                    [  OK  ]

 ウェブにアクセスして設定を入れていきます。

 

足りていなかったみたいです。

# yum --enablerepo=remi-php56 install php-bcmath
...
依存性を解決しました

=====================================================================================
 パッケージ        アーキテクチャ
                                 バージョン                  リポジトリー       容量
=====================================================================================
インストールしています:
 php-bcmath        x86_64        5.6.30-1.el6.remi           remi-php56         57 k

トランザクションの要約
=====================================================================================
インストール         1 パッケージ

総ダウンロード容量: 57 k
インストール済み容量: 84 k
これでいいですか? [y/N]
...
# yum --enablerepo=remi-php56 install php-gd
依存性を解決しました

=====================================================================================
 パッケージ           アーキテクチャ
                                    バージョン               リポジトリー       容量
=====================================================================================
インストールしています:
 php-gd               x86_64        5.6.30-1.el6.remi        remi-php56         78 k
依存性関連でのインストールをします。:
 gd-last              x86_64        2.2.4-1.el6.remi         remi-safe         126 k
 libXpm               x86_64        3.5.10-2.el6             base               51 k
 libjpeg-turbo        x86_64        1.2.1-3.el6_5            base              174 k
 libtiff              x86_64        3.9.4-18.el6_8           updates           345 k
 libwebp              x86_64        0.4.3-3.el6              epel              210 k
 t1lib                x86_64        5.1.2-6.el6_2.1          base              160 k

トランザクションの要約
=====================================================================================
インストール         7 パッケージ

総ダウンロード容量: 1.1 M
インストール済み容量: 3.1 M
これでいいですか? [y/N]

再度実施。

 
 
 

ふむ。ネットワークに対して、zabbixユーザのアクセスを許可していないからですね。

grant all privileges on zabbix.* to zabbix@'192.168.1.%' identified by 'PASSWORD';
flush privileges;
select Host, User from mysql.user;
+---------------+--------+
| Host          | User   |
+---------------+--------+
...
| 192.168.1.% | zabbix |
...
+---------------+--------+
6 rows in set (0.00 sec)

こんなにしました。

 
 
 

Admin/zabbixでログインします。

これは、まだPacemaker等で冗長していないので、このVIPが付いていないので発生しているだけ。

# ip addr add 192.168.1.195/24 dev eth0

のようにとりあえず付けておきました。
これでオレンジの警告は出なくなりました。
管理者のアカウントは、日本語で表示して欲しいので、日本語に変更します。
また、パスワードもこのタイミングで変更することにします。

ひとまず、ここまで動作すれば、2台目にクローニングして Pacemaker+Heartbeatで動作開始できると思います。
実際には、VIPとhttpd(Apache)とzabbix-serverのサービスをグループとして移動できるようにすればいいと考えています。

Zabbix agentは、個別のサーバの動作なので、これはサービスを開始してしまって良いと思いますので、コピー前にこれを加えようと思います。

さて、Zabbix用のRAスクリプトは、resource-agents-3.9.5のパッケージに入っていたはずですが、見つけることができませんでした。
どこの導入手順で漏れているのだろう。

# rpm -ql resource-agents |grep "/usr/lib/ocf/resource.d/"|grep zabbix

なんと!表示されない。1つ前の版にはあるのに、削除されているもの??
https://github.com/ClusterLabs/resource-agents/tree/master/heartbeat
を参照すると存在はしているようだ。

# wget https://raw.githubusercontent.com/ClusterLabs/resource-agents/master/heartbeat/zabbixserver
# mv zabbixserver /usr/lib/ocf/resource.d/heartbeat/

一応、手元には持ってきた。
# 皆が、こんなことをして導入しているとは思えないんだけどな
まずは、今日は続きをするだけの時間的な余裕がないので、ここまで。

この後は作業後にページを更新する予定です

(更新をお待ちください)

*


【改訂履歴】作成:2017/01/29 更新:2017/02/04


【参照ページ】

***後日まとめて更新予定です***

 
Copyright © 1996,1997-2006,2007- by F.Kimura,