CMX Direct Elasticsearch Connector

I recently had the chance to become one of the first people outside of Cisco to setup and configure the CMX to Elasticsearch Connector. Being one of the first meant that the install instructions were not the best, in fact some steps didn’t work at all.
The real benefit of being able to automatically have CMX data collected exported to Elasticsearch for analytical processing, the benefit of using elasticsearch over CMX’s built in reports is the ability to bring in other data sources to cross reference wireless data fields such as username.
Cisco released both a direct connector to elasticsearch and also splunk, I choose to test out the elasticsearch one first.
Below are the steps that I followed to get the Connector passing data from CMX to an Elasticsearch server.

Deploy Linux system (RHEL6/7 or Centos 6), I used a RHEL7 deployment.

Deployment environment setup on Linux Environment

Run Command:

$curl --silent --location https://rpm.nodesource.com/setup | bash -

if not logged in as root then:

$curl --silent --location https://rpm.nodesource.com/setup | sudo bash -

Following the Cisco Documentation displays a Deprecation Warning:

[hand0001@corp-cmx02-v20 ~]$ curl –silent –location https://rpm.nodesource.com/setup | bash –
================================================================================
================================================================================
                           SCRIPT DEPRECATION WARNING
  This script, located at https://rpm.nodesource.com/setup, used to
  install Node.js v0.10, is being deprecated and will eventually be made
  inactive.
  You should use the script that corresponds to the version of Node.js you
  wish to install. e.g.
   * https://rpm.nodesource.com/setup_4.x — Node.js v4 LTS “Argon” (recommended)
   * https://rpm.nodesource.com/setup_6.x — Node.js v6 Current
  Please see https://github.com/nodejs/LTS/ for details about which version
  may be appropriate for you.
  The NodeSource Node.js Linux distributions GitHub repository contains
  information about which versions of Node.js and which Linux distributions
  are supported and how to use the install scripts.
================================================================================
================================================================================
Continuing in 10 seconds (press Ctrl-C to abort) …
## Installing the NodeSource Node.js v0.10 repo…
## Inspecting system…
+ rpm -q –whatprovides redhat-release || rpm -q –whatprovides centos-release || rpm -q –whatprovides cloudlinux-release || rpm -q –whatprovides sl-release
+ uname -m
## Confirming “el7-x86_64” is supported…
## Downloading release setup RPM…
+ mktemp
## Installing release setup RPM…
+ rpm -i –nosignature –force ‘/tmp/tmp.iriTjFATQh’
error: can’t create transaction lock on /var/lib/rpm/.rpm.lock (Permission denied)
Error executing command, exiting

The install command below didn’t work on the deprecated version so I downloaded it using the following command

$curl --silent --location https://rpm.nodesource.com/setup_6.x | sudo bash -
[hand0001@corp-cmx02-v20 ~]$ curl –silent –location https://rpm.nodesource.com/setup_6.x | bash –
## Installing the NodeSource Node.js 6.x repo…
## Inspecting system…
+ rpm -q –whatprovides redhat-release || rpm -q –whatprovides centos-release || rpm -q –whatprovides cloudlinux-release || rpm -q –whatprovides sl-release
+ uname -m
## Confirming “el7-x86_64” is supported…
## Downloading release setup RPM…
+ mktemp
## Installing release setup RPM…
+ rpm -i –nosignature –force ‘/tmp/tmp.3jY16oTmG8’
error: can’t create transaction lock on /var/lib/rpm/.rpm.lock (Permission denied)
Error executing command, exiting

The command  cisco provided didnt work so I used the following

$sudo yum install -y gcc-c++ make
$curl -sL https://rpm.nodesource.com/setup_6.x | sudo -E bash -
================================================================================
ADD NODE.JS YUM REPOSITORY
================================================================================
[hand0001@corp-cmx02-v20 ~]$ sudo yum install -y gcc-c++ make
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
Monash_University_Sudosh_sudosh_repository                                                                                                        | 2.1 kB  00:00:00
nodesource                                                                                                                                        | 2.5 kB  00:00:00
rhel-7-server-extras-rpms                                                                                                                         | 1.8 kB  00:00:00
rhel-7-server-optional-rpms                                                                                                                       | 1.8 kB  00:00:00
rhel-7-server-rh-common-rpms                                                                                                                      | 2.1 kB  00:00:00
rhel-7-server-rhn-tools-rpms                                                                                                                      | 1.8 kB  00:00:00
rhel-7-server-rpms                                                                                                                                | 2.0 kB  00:00:00
rhel-7-server-supplementary-rpms                                                                                                                  | 2.0 kB  00:00:00
rhel-7-server-thirdparty-oracle-java-rpms                                                                                                         | 2.0 kB  00:00:00
rhel-server-rhscl-7-rpms                                                                                                                          | 2.0 kB  00:00:00
nodesource/x86_64/primary_db                                                                                                                      |  21 kB  00:00:00
Package 1:make-3.82-21.el7.x86_64 already installed and latest version
Resolving Dependencies
–> Running transaction check
—> Package gcc-c++.x86_64 0:4.8.5-4.el7 will be installed
–> Processing Dependency: libstdc++-devel = 4.8.5-4.el7 for package: gcc-c++-4.8.5-4.el7.x86_64
–> Processing Dependency: gcc = 4.8.5-4.el7 for package: gcc-c++-4.8.5-4.el7.x86_64
–> Processing Dependency: libmpfr.so.4()(64bit) for package: gcc-c++-4.8.5-4.el7.x86_64
–> Processing Dependency: libmpc.so.3()(64bit) for package: gcc-c++-4.8.5-4.el7.x86_64
–> Running transaction check
—> Package gcc.x86_64 0:4.8.5-4.el7 will be installed
–> Processing Dependency: cpp = 4.8.5-4.el7 for package: gcc-4.8.5-4.el7.x86_64
–> Processing Dependency: glibc-devel >= 2.2.90-12 for package: gcc-4.8.5-4.el7.x86_64
—> Package libmpc.x86_64 0:1.0.1-3.el7 will be installed
—> Package libstdc++-devel.x86_64 0:4.8.5-4.el7 will be installed
—> Package mpfr.x86_64 0:3.1.1-4.el7 will be installed
–> Running transaction check
—> Package cpp.x86_64 0:4.8.5-4.el7 will be installed
—> Package glibc-devel.x86_64 0:2.17-106.el7_2.8 will be installed
–> Processing Dependency: glibc-headers = 2.17-106.el7_2.8 for package: glibc-devel-2.17-106.el7_2.8.x86_64
–> Processing Dependency: glibc = 2.17-106.el7_2.8 for package: glibc-devel-2.17-106.el7_2.8.x86_64
–> Processing Dependency: glibc-headers for package: glibc-devel-2.17-106.el7_2.8.x86_64
–> Running transaction check
—> Package glibc.x86_64 0:2.17-106.el7_2.4 will be updated
–> Processing Dependency: glibc = 2.17-106.el7_2.4 for package: glibc-common-2.17-106.el7_2.4.x86_64
—> Package glibc.x86_64 0:2.17-106.el7_2.8 will be an update
—> Package glibc-headers.x86_64 0:2.17-106.el7_2.8 will be installed
–> Processing Dependency: kernel-headers >= 2.2.1 for package: glibc-headers-2.17-106.el7_2.8.x86_64
–> Processing Dependency: kernel-headers for package: glibc-headers-2.17-106.el7_2.8.x86_64
–> Running transaction check
—> Package glibc-common.x86_64 0:2.17-106.el7_2.4 will be updated
—> Package glibc-common.x86_64 0:2.17-106.el7_2.8 will be an update
—> Package glibc-headers.x86_64 0:2.17-106.el7_2.8 will be installed
–> Processing Dependency: kernel-headers >= 2.2.1 for package: glibc-headers-2.17-106.el7_2.8.x86_64
–> Processing Dependency: kernel-headers for package: glibc-headers-2.17-106.el7_2.8.x86_64
–> Finished Dependency Resolution
Error: Package: glibc-headers-2.17-106.el7_2.8.x86_64 (rhel-7-server-rpms)
           Requires: kernel-headers >= 2.2.1
Error: Package: glibc-headers-2.17-106.el7_2.8.x86_64 (rhel-7-server-rpms)
           Requires: kernel-headers
 You could try using –skip-broken to work around the problem
 You could try running: rpm -Va –nofiles —nodigest
[hand0001@corp-cmx02-v20 ~]$ curl -sL https://rpm.nodesource.com/setup_6.x | sudo -E bash –
## Installing the NodeSource Node.js 6.x repo…
## Inspecting system…
+ rpm -q –whatprovides redhat-release || rpm -q –whatprovides centos-release || rpm -q –whatprovides cloudlinux-release || rpm -q –whatprovides sl-release
+ uname -m
## Confirming “el7-x86_64” is supported…
## Downloading release setup RPM…
+ mktemp
## Installing release setup RPM…
+ rpm -i –nosignature –force ‘/tmp/tmp.YyGih2Mny4’
## Cleaning up…
+ rm -f ‘/tmp/tmp.YyGih2Mny4’
## Checking for existing installations…
+ rpm -qa ‘node|npm’ | grep -v nodesource
## Run `yum install -y nodejs` (as root) to install Node.js 6.x and npm.
## You may also need development tools to build native addons:
##   `yum install -y gcc-c++ make`

Install nodejs and npm

$sudo yum –y install nodejs
[hand0001@corp-cmx02-v20 ~]$ sudo yum –y install nodejs
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
[hand0001@corp-cmx02-v20 ~]$ node -v
-bash: node: command not found
[hand0001@corp-cmx02-v20 ~]$ yum install nodejs
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
Repo rhel-7-server-rh-common-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo rhel-7-server-optional-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo rhel-server-rhscl-7-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo rhel-7-server-extras-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo Monash_University_Sudosh_sudosh_repository forced skip_if_unavailable=True due to: /etc/pki/entitlement/972077924157785883-key.pem
Repo rhel-7-server-rhn-tools-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo rhel-7-server-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo rhel-7-server-supplementary-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
Repo rhel-7-server-thirdparty-oracle-java-rpms forced skip_if_unavailable=True due to: /etc/pki/entitlement/6583908126157741194-key.pem
You need to be root to perform this command.
[hand0001@corp-cmx02-v20 ~]$ sudo yum install nodejs
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
Monash_University_Sudosh_sudosh_repository                                                                                                        | 2.1 kB  00:00:00
rhel-7-server-extras-rpms                                                                                                                         | 1.8 kB  00:00:00
rhel-7-server-optional-rpms                                                                                                                       | 1.8 kB  00:00:00
rhel-7-server-rh-common-rpms                                                                                                                      | 2.1 kB  00:00:00
rhel-7-server-rhn-tools-rpms                                                                                                                      | 1.8 kB  00:00:00
rhel-7-server-rpms                                                                                                                                | 2.0 kB  00:00:00
rhel-7-server-supplementary-rpms                                                                                                                  | 2.0 kB  00:00:00
rhel-7-server-thirdparty-oracle-java-rpms                                                                                                         | 2.0 kB  00:00:00
rhel-server-rhscl-7-rpms                                                                                                                          | 2.0 kB  00:00:00
Resolving Dependencies
–> Running transaction check
—> Package nodejs.x86_64 1:6.7.0-1nodesource.el7.centos will be installed
–> Finished Dependency Resolution
Dependencies Resolved
============================================================
 Package                          Arch                             Version                                                    Repository                            Size
============================================================
Installing:
 nodejs                           x86_64                           1:6.7.0-1nodesource.el7.centos                             nodesource                           9.6 M
Transaction Summary
============================================================
Install  1 Package
Total download size: 9.6 M
Installed size: 34 M
Is this ok [y/d/N]: y
Downloading packages:
warning: /var/cache/yum/x86_64/7Server/nodesource/packages/nodejs-6.7.0-1nodesource.el7.centos.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 34fa74dd: NOKEY–:– ETA
Public key for nodejs-6.7.0-1nodesource.el7.centos.x86_64.rpm is not installed
nodejs-6.7.0-1nodesource.el7.centos.x86_64.rpm                                                                                                    | 9.6 MB  00:00:00
Importing GPG key 0x34FA74DD:
 Userid     : “NodeSource <gpg-rpm@nodesource.com>”
 Fingerprint: 2e55 207a 95d9 944b 0cc9 3261 5ddb e8d4 34fa 74dd
 Package    : nodesource-release-el7-1.noarch (installed)
 From       : /etc/pki/rpm-gpg/NODESOURCE-GPG-SIGNING-KEY-EL
Is this ok [y/N]: y
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Warning: RPMDB altered outside of yum.
  Installing : 1:nodejs-6.7.0-1nodesource.el7.centos.x86_64                                                                                                          1/1
Uploading Package Profile
  Verifying  : 1:nodejs-6.7.0-1nodesource.el7.centos.x86_64                                                                                                          1/1
Installed:
  nodejs.x86_64 1:6.7.0-1nodesource.el7.centos
Complete!

Verify nodejs and npm are installed by running the following command

$ node –v
$ npm –v

I returned

================================================================================
VERIFY NODE AND NPM INSTALLED AND THEIR VERSIONS
================================================================================
 
[hand0001@corp-cmx02-v20 ~]$ node -v
v6.7.0
[hand0001@corp-cmx02-v20 ~]$ npm -v
3.10.3
[hand0001@corp-cmx02-v20 ~]$

Downloading and installing Elasticsearch

Now install Java:

$sudo yum install java-1.8.0-openjdk.x86_64
================================================================================
INSTALL JAVA
================================================================================
 
[hand0001@corp-cmx02-v20 ~]$ sudo yum install java-1.8.0-openjdk.x86_64
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
Monash_University_Sudosh_sudosh_repository                                                                                                        | 2.1 kB  00:00:00
rhel-7-server-extras-rpms                                                                                                                         | 1.8 kB  00:00:00
rhel-7-server-optional-rpms                                                                                                                       | 1.8 kB  00:00:00
rhel-7-server-rh-common-rpms                                                                                                                      | 2.1 kB  00:00:00
rhel-7-server-rhn-tools-rpms                                                                                                                      | 1.8 kB  00:00:00
rhel-7-server-rpms                                                                                                                                | 2.0 kB  00:00:00
rhel-7-server-supplementary-rpms                                                                                                                  | 2.0 kB  00:00:00
rhel-7-server-thirdparty-oracle-java-rpms                                                                                                         | 2.0 kB  00:00:00
rhel-server-rhscl-7-rpms                                                                                                                          | 2.0 kB  00:00:00
Resolving Dependencies
–> Running transaction check
—> Package java-1.8.0-openjdk.x86_64 1:1.8.0.102-1.b14.el7_2 will be installed
–> Processing Dependency: java-1.8.0-openjdk-headless = 1:1.8.0.102-1.b14.el7_2 for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: xorg-x11-fonts-Type1 for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libpng15.so.15(PNG15_0)(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjvm.so(SUNWprivate_1.1)(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjpeg.so.62(LIBJPEG_6.2)(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjli.so(SUNWprivate_1.1)(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjava.so(SUNWprivate_1.1)(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: fontconfig for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libpng15.so.15()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjvm.so()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjpeg.so.62()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjli.so()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libjava.so()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libgif.so.4()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libawt.so()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libXtst.so.6()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libXrender.so.1()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libXi.so.6()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libXext.so.6()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: libX11.so.6()(64bit) for package: 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64
–> Running transaction check
—> Package fontconfig.x86_64 0:2.10.95-7.el7 will be installed
–> Processing Dependency: fontpackages-filesystem for package: fontconfig-2.10.95-7.el7.x86_64
—> Package giflib.x86_64 0:4.1.6-9.el7 will be installed
–> Processing Dependency: libSM.so.6()(64bit) for package: giflib-4.1.6-9.el7.x86_64
–> Processing Dependency: libICE.so.6()(64bit) for package: giflib-4.1.6-9.el7.x86_64
—> Package java-1.8.0-openjdk-headless.x86_64 1:1.8.0.102-1.b14.el7_2 will be installed
–> Processing Dependency: tzdata-java >= 2015d for package: 1:java-1.8.0-openjdk-headless-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: lksctp-tools for package: 1:java-1.8.0-openjdk-headless-1.8.0.102-1.b14.el7_2.x86_64
–> Processing Dependency: jpackage-utils for package: 1:java-1.8.0-openjdk-headless-1.8.0.102-1.b14.el7_2.x86_64
—> Package libX11.x86_64 0:1.6.3-2.el7 will be installed
–> Processing Dependency: libX11-common >= 1.6.3-2.el7 for package: libX11-1.6.3-2.el7.x86_64
–> Processing Dependency: libxcb.so.1()(64bit) for package: libX11-1.6.3-2.el7.x86_64
—> Package libXext.x86_64 0:1.3.3-3.el7 will be installed
—> Package libXi.x86_64 0:1.7.4-2.el7 will be installed
—> Package libXrender.x86_64 0:0.9.8-2.1.el7 will be installed
—> Package libXtst.x86_64 0:1.2.2-2.1.el7 will be installed
—> Package libjpeg-turbo.x86_64 0:1.2.90-5.el7 will be installed
—> Package libpng.x86_64 2:1.5.13-7.el7_2 will be installed
—> Package xorg-x11-fonts-Type1.noarch 0:7.5-9.el7 will be installed
–> Processing Dependency: ttmkfdir for package: xorg-x11-fonts-Type1-7.5-9.el7.noarch
–> Processing Dependency: ttmkfdir for package: xorg-x11-fonts-Type1-7.5-9.el7.noarch
–> Processing Dependency: mkfontdir for package: xorg-x11-fonts-Type1-7.5-9.el7.noarch
–> Processing Dependency: mkfontdir for package: xorg-x11-fonts-Type1-7.5-9.el7.noarch
–> Running transaction check
—> Package fontpackages-filesystem.noarch 0:1.44-8.el7 will be installed
—> Package javapackages-tools.noarch 0:3.4.1-11.el7 will be installed
–> Processing Dependency: python-javapackages = 3.4.1-11.el7 for package: javapackages-tools-3.4.1-11.el7.noarch
—> Package libICE.x86_64 0:1.0.9-2.el7 will be installed
—> Package libSM.x86_64 0:1.2.2-2.el7 will be installed
—> Package libX11-common.noarch 0:1.6.3-2.el7 will be installed
—> Package libxcb.x86_64 0:1.11-4.el7 will be installed
–> Processing Dependency: libXau.so.6()(64bit) for package: libxcb-1.11-4.el7.x86_64
—> Package lksctp-tools.x86_64 0:1.0.13-3.el7 will be installed
—> Package ttmkfdir.x86_64 0:3.0.9-42.el7 will be installed
—> Package tzdata-java.noarch 0:2016g-2.el7 will be installed
—> Package xorg-x11-font-utils.x86_64 1:7.5-20.el7 will be installed
–> Processing Dependency: libfontenc.so.1()(64bit) for package: 1:xorg-x11-font-utils-7.5-20.el7.x86_64
–> Processing Dependency: libXfont.so.1()(64bit) for package: 1:xorg-x11-font-utils-7.5-20.el7.x86_64
–> Running transaction check
—> Package libXau.x86_64 0:1.0.8-2.1.el7 will be installed
—> Package libXfont.x86_64 0:1.5.1-2.el7 will be installed
—> Package libfontenc.x86_64 0:1.1.2-3.el7 will be installed
—> Package python-javapackages.noarch 0:3.4.1-11.el7 will be installed
–> Finished Dependency Resolution
Dependencies Resolved
============================================================
 Package                                          Arch                        Version                                      Repository                               Size
============================================================
Installing:
 java-1.8.0-openjdk                               x86_64                      1:1.8.0.102-1.b14.el7_2                      rhel-7-server-rpms                      222 k
Installing for dependencies:
 fontconfig                                       x86_64                      2.10.95-7.el7                                rhel-7-server-rpms                      228 k
 fontpackages-filesystem                          noarch                      1.44-8.el7                                   rhel-7-server-rpms                      9.9 k
 giflib                                           x86_64                      4.1.6-9.el7                                  rhel-7-server-rpms                       40 k
 java-1.8.0-openjdk-headless                      x86_64                      1:1.8.0.102-1.b14.el7_2                      rhel-7-server-rpms                       31 M
 javapackages-tools                               noarch                      3.4.1-11.el7                                 rhel-7-server-rpms                       73 k
 libICE                                           x86_64                      1.0.9-2.el7                                  rhel-7-server-rpms                       65 k
 libSM                                            x86_64                      1.2.2-2.el7                                  rhel-7-server-rpms                       39 k
 libX11                                           x86_64                      1.6.3-2.el7                                  rhel-7-server-rpms                      606 k
 libX11-common                                    noarch                      1.6.3-2.el7                                  rhel-7-server-rpms                      162 k
 libXau                                           x86_64                      1.0.8-2.1.el7                                rhel-7-server-rpms                       29 k
 libXext                                          x86_64                      1.3.3-3.el7                                  rhel-7-server-rpms                       39 k
 libXfont                                         x86_64                      1.5.1-2.el7                                  rhel-7-server-rpms                      150 k
 libXi                                            x86_64                      1.7.4-2.el7                                  rhel-7-server-rpms                       40 k
 libXrender                                       x86_64                      0.9.8-2.1.el7                                rhel-7-server-rpms                       26 k
 libXtst                                          x86_64                      1.2.2-2.1.el7                                rhel-7-server-rpms                       20 k
 libfontenc                                       x86_64                      1.1.2-3.el7                                  rhel-7-server-rpms                       30 k
 libjpeg-turbo                                    x86_64                      1.2.90-5.el7                                 rhel-7-server-rpms                      134 k
 libpng                                           x86_64                      2:1.5.13-7.el7_2                             rhel-7-server-rpms                      213 k
 libxcb                                           x86_64                      1.11-4.el7                                   rhel-7-server-rpms                      189 k
 lksctp-tools                                     x86_64                      1.0.13-3.el7                                 rhel-7-server-rpms                       87 k
 python-javapackages                              noarch                      3.4.1-11.el7                                 rhel-7-server-rpms                       31 k
 ttmkfdir                                         x86_64                      3.0.9-42.el7                                 rhel-7-server-rpms                       48 k
 tzdata-java                                      noarch                      2016g-2.el7                                  rhel-7-server-rpms                      180 k
 xorg-x11-font-utils                              x86_64                      1:7.5-20.el7                                 rhel-7-server-rpms                       87 k
 xorg-x11-fonts-Type1                             noarch                      7.5-9.el7                                    rhel-7-server-rpms                      521 k
Transaction Summary
============================================================
Install  1 Package (+25 Dependent packages)
Total download size: 35 M
Installed size: 111 M
Is this ok [y/d/N]: y
Downloading packages:
(1/26): fontpackages-filesystem-1.44-8.el7.noarch.rpm                                                                                             | 9.9 kB  00:00:00
(2/26): fontconfig-2.10.95-7.el7.x86_64.rpm                                                                                                       | 228 kB  00:00:00
(3/26): giflib-4.1.6-9.el7.x86_64.rpm                                                                                                             |  40 kB  00:00:00
(4/26): java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64.rpm                                                                                       | 222 kB  00:00:00
(5/26): javapackages-tools-3.4.1-11.el7.noarch.rpm                                                                                                |  73 kB  00:00:00
(6/26): libICE-1.0.9-2.el7.x86_64.rpm                                                                                                             |  65 kB  00:00:00
(7/26): java-1.8.0-openjdk-headless-1.8.0.102-1.b14.el7_2.x86_64.rpm                                                                              |  31 MB  00:00:00
(8/26): libSM-1.2.2-2.el7.x86_64.rpm                                                                                                              |  39 kB  00:00:00
(9/26): libX11-1.6.3-2.el7.x86_64.rpm                                                                                                             | 606 kB  00:00:00
(10/26): libX11-common-1.6.3-2.el7.noarch.rpm                                                                                                     | 162 kB  00:00:00
(11/26): libXau-1.0.8-2.1.el7.x86_64.rpm                                                                                                          |  29 kB  00:00:00
(12/26): libXext-1.3.3-3.el7.x86_64.rpm                                                                                                           |  39 kB  00:00:00
(13/26): libXi-1.7.4-2.el7.x86_64.rpm                                                                                                             |  40 kB  00:00:00
(14/26): libXfont-1.5.1-2.el7.x86_64.rpm                                                                                                          | 150 kB  00:00:00
(15/26): libXtst-1.2.2-2.1.el7.x86_64.rpm                                                                                                         |  20 kB  00:00:00
(16/26): libXrender-0.9.8-2.1.el7.x86_64.rpm                                                                                                      |  26 kB  00:00:00
(17/26): libfontenc-1.1.2-3.el7.x86_64.rpm                                                                                                        |  30 kB  00:00:00
(18/26): libjpeg-turbo-1.2.90-5.el7.x86_64.rpm                                                                                                    | 134 kB  00:00:00
(19/26): libxcb-1.11-4.el7.x86_64.rpm                                                                                                             | 189 kB  00:00:00
(20/26): libpng-1.5.13-7.el7_2.x86_64.rpm                                                                                                         | 213 kB  00:00:00
(21/26): lksctp-tools-1.0.13-3.el7.x86_64.rpm                                                                                                     |  87 kB  00:00:00
(22/26): python-javapackages-3.4.1-11.el7.noarch.rpm                                                                                              |  31 kB  00:00:00
(23/26): ttmkfdir-3.0.9-42.el7.x86_64.rpm                                                                                                         |  48 kB  00:00:00
(24/26): tzdata-java-2016g-2.el7.noarch.rpm                                                                                                       | 180 kB  00:00:00
(25/26): xorg-x11-font-utils-7.5-20.el7.x86_64.rpm                                                                                                |  87 kB  00:00:00
(26/26): xorg-x11-fonts-Type1-7.5-9.el7.noarch.rpm                                                                                                | 521 kB  00:00:00
——————————————————————————–
Total                                                                                                                                    7.7 MB/s |  35 MB  00:00:04
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : libfontenc-1.1.2-3.el7.x86_64                                                                                                                        1/26
  Installing : libICE-1.0.9-2.el7.x86_64                                                                                                                            2/26
  Installing : libjpeg-turbo-1.2.90-5.el7.x86_64                                                                                                                    3/26
  Installing : libSM-1.2.2-2.el7.x86_64                                                                                                                             4/26
  Installing : libXfont-1.5.1-2.el7.x86_64                                                                                                                          5/26
  Installing : 1:xorg-x11-font-utils-7.5-20.el7.x86_64                                                                                                              6/26
  Installing : lksctp-tools-1.0.13-3.el7.x86_64                                                                                                                     7/26
  Installing : libXau-1.0.8-2.1.el7.x86_64                                                                                                                          8/26
  Installing : libxcb-1.11-4.el7.x86_64                                                                                                                             9/26
  Installing : tzdata-java-2016g-2.el7.noarch                                                                                                                      10/26
  Installing : libX11-common-1.6.3-2.el7.noarch                                                                                                                    11/26
  Installing : libX11-1.6.3-2.el7.x86_64                                                                                                                           12/26
  Installing : libXext-1.3.3-3.el7.x86_64                                                                                                                          13/26
  Installing : libXi-1.7.4-2.el7.x86_64                                                                                                                            14/26
  Installing : libXtst-1.2.2-2.1.el7.x86_64                                                                                                                        15/26
  Installing : giflib-4.1.6-9.el7.x86_64                                                                                                                           16/26
  Installing : libXrender-0.9.8-2.1.el7.x86_64                                                                                                                     17/26
  Installing : python-javapackages-3.4.1-11.el7.noarch                                                                                                             18/26
  Installing : javapackages-tools-3.4.1-11.el7.noarch                                                                                                              19/26
  Installing : 1:java-1.8.0-openjdk-headless-1.8.0.102-1.b14.el7_2.x86_64                                                                                          20/26
  Installing : ttmkfdir-3.0.9-42.el7.x86_64                                                                                                                        21/26
  Installing : fontpackages-filesystem-1.44-8.el7.noarch                                                                                                           22/26
  Installing : fontconfig-2.10.95-7.el7.x86_64                                                                                                                     23/26
  Installing : xorg-x11-fonts-Type1-7.5-9.el7.noarch                                                                                                               24/26
  Installing : 2:libpng-1.5.13-7.el7_2.x86_64                                                                                                                      25/26
  Installing : 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64                                                                                                   26/26
Uploading Package Profile
  Verifying  : libXext-1.3.3-3.el7.x86_64                                                                                                                           1/26
  Verifying  : giflib-4.1.6-9.el7.x86_64                                                                                                                            2/26
  Verifying  : libjpeg-turbo-1.2.90-5.el7.x86_64                                                                                                                    3/26
  Verifying  : libXtst-1.2.2-2.1.el7.x86_64                                                                                                                         4/26
  Verifying  : libxcb-1.11-4.el7.x86_64                                                                                                                             5/26
  Verifying  : 2:libpng-1.5.13-7.el7_2.x86_64                                                                                                                       6/26
  Verifying  : fontpackages-filesystem-1.44-8.el7.noarch                                                                                                            7/26
  Verifying  : ttmkfdir-3.0.9-42.el7.x86_64                                                                                                                         8/26
  Verifying  : libX11-1.6.3-2.el7.x86_64                                                                                                                            9/26
  Verifying  : python-javapackages-3.4.1-11.el7.noarch                                                                                                             10/26
  Verifying  : 1:java-1.8.0-openjdk-1.8.0.102-1.b14.el7_2.x86_64                                                                                                   11/26
  Verifying  : libXrender-0.9.8-2.1.el7.x86_64                                                                                                                     12/26
  Verifying  : libX11-common-1.6.3-2.el7.noarch                                                                                                                    13/26
  Verifying  : xorg-x11-fonts-Type1-7.5-9.el7.noarch                                                                                                               14/26
  Verifying  : libXfont-1.5.1-2.el7.x86_64                                                                                                                         15/26
  Verifying  : libICE-1.0.9-2.el7.x86_64                                                                                                                           16/26
  Verifying  : javapackages-tools-3.4.1-11.el7.noarch                                                                                                              17/26
  Verifying  : tzdata-java-2016g-2.el7.noarch                                                                                                                      18/26
  Verifying  : libXi-1.7.4-2.el7.x86_64                                                                                                                            19/26
  Verifying  : libXau-1.0.8-2.1.el7.x86_64                                                                                                                         20/26
  Verifying  : libSM-1.2.2-2.el7.x86_64                                                                                                                            21/26
  Verifying  : libfontenc-1.1.2-3.el7.x86_64                                                                                                                       22/26
  Verifying  : fontconfig-2.10.95-7.el7.x86_64                                                                                                                     23/26
  Verifying  : 1:java-1.8.0-openjdk-headless-1.8.0.102-1.b14.el7_2.x86_64                                                                                          24/26
  Verifying  : lksctp-tools-1.0.13-3.el7.x86_64                                                                                                                    25/26
  Verifying  : 1:xorg-x11-font-utils-7.5-20.el7.x86_64                                                                                                             26/26
Installed:
  java-1.8.0-openjdk.x86_64 1:1.8.0.102-1.b14.el7_2
Dependency Installed:
  fontconfig.x86_64 0:2.10.95-7.el7                                 fontpackages-filesystem.noarch 0:1.44-8.el7        giflib.x86_64 0:4.1.6-9.el7
  java-1.8.0-openjdk-headless.x86_64 1:1.8.0.102-1.b14.el7_2        javapackages-tools.noarch 0:3.4.1-11.el7           libICE.x86_64 0:1.0.9-2.el7
  libSM.x86_64 0:1.2.2-2.el7                                        libX11.x86_64 0:1.6.3-2.el7                        libX11-common.noarch 0:1.6.3-2.el7
  libXau.x86_64 0:1.0.8-2.1.el7                                     libXext.x86_64 0:1.3.3-3.el7                       libXfont.x86_64 0:1.5.1-2.el7
  libXi.x86_64 0:1.7.4-2.el7                                        libXrender.x86_64 0:0.9.8-2.1.el7                  libXtst.x86_64 0:1.2.2-2.1.el7
  libfontenc.x86_64 0:1.1.2-3.el7                                   libjpeg-turbo.x86_64 0:1.2.90-5.el7                libpng.x86_64 2:1.5.13-7.el7_2
  libxcb.x86_64 0:1.11-4.el7                                        lksctp-tools.x86_64 0:1.0.13-3.el7                 python-javapackages.noarch 0:3.4.1-11.el7
  ttmkfdir.x86_64 0:3.0.9-42.el7                                    tzdata-java.noarch 0:2016g-2.el7                   xorg-x11-font-utils.x86_64 1:7.5-20.el7
  xorg-x11-fonts-Type1.noarch 0:7.5-9.el7
Complete!

Confirm Java Version:

================================================================================
VERIFY JAVA INSTALLED
================================================================================
[hand0001@corp-cmx02-v20 ~]$ java -version
openjdk version “1.8.0_102”
OpenJDK Runtime Environment (build 1.8.0_102-b14)
OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)
[hand0001@corp-cmx02-v20 ~]$

Install elasticsearch. Use the following URL to install the latest version.

https://www.elastic.co/downloads/elasticsearch

Copy link address of the TAR file as shown below. This link address is copied in “sudo wget” command next.

ElasticSearch.png

sudo wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.1/elasticsearch-2.4.1.tar.gz
================================================================================
INSTALL ELASTICSEARCH
================================================================================
[sudo] password for hand0001:
Resolving download.elastic.co (download.elastic.co)… 107.22.240.120, 107.22.244.203, 184.73.218.216, …
Connecting to download.elastic.co (download.elastic.co)|107.22.240.120|:443… connected.
HTTP request sent, awaiting response… 200 OK
Length: 27364109 (26M) [application/gzip]
Saving to: ‘elasticsearch-2.4.1.tar.gz’
100%[=====================================>] 27,364,109  4.30MB/s   in 8.9s
2016-10-13 09:47:31 (2.92 MB/s) – ‘elasticsearch-2.4.1.tar.gz’ saved [27364109/27364109]
tar xvzf elasticsearch-2.4.1.tar.gz
================================================================================
EXTRACT ELASTICSEARCH TAR FILE
================================================================================
[hand0001@corp-cmx02-v20 ~]$ ls
elasticsearch-2.4.1.tar.gz
[hand0001@corp-cmx02-v20 ~]$ tar xvzf elasticsearch-2.4.1.tar.gz
elasticsearch-2.4.1/README.textile
elasticsearch-2.4.1/LICENSE.txt
elasticsearch-2.4.1/NOTICE.txt
elasticsearch-2.4.1/modules/
elasticsearch-2.4.1/modules/lang-groovy/
elasticsearch-2.4.1/modules/reindex/
elasticsearch-2.4.1/modules/lang-expression/
elasticsearch-2.4.1/modules/lang-groovy/plugin-security.policy
elasticsearch-2.4.1/modules/lang-groovy/plugin-descriptor.properties
elasticsearch-2.4.1/modules/lang-groovy/groovy-2.4.6-indy.jar
elasticsearch-2.4.1/modules/lang-groovy/lang-groovy-2.4.1.jar
elasticsearch-2.4.1/modules/reindex/plugin-descriptor.properties
elasticsearch-2.4.1/modules/reindex/reindex-2.4.1.jar
elasticsearch-2.4.1/modules/lang-expression/lang-expression-2.4.1.jar
elasticsearch-2.4.1/modules/lang-expression/plugin-security.policy
elasticsearch-2.4.1/modules/lang-expression/plugin-descriptor.properties
elasticsearch-2.4.1/modules/lang-expression/asm-commons-5.0.4.jar
elasticsearch-2.4.1/modules/lang-expression/antlr4-runtime-4.5.1-1.jar
elasticsearch-2.4.1/modules/lang-expression/lucene-expressions-5.5.2.jar
elasticsearch-2.4.1/modules/lang-expression/asm-5.0.4.jar
elasticsearch-2.4.1/config/elasticsearch.yml
elasticsearch-2.4.1/config/logging.yml
elasticsearch-2.4.1/bin/plugin.bat
elasticsearch-2.4.1/bin/elasticsearch.in.bat
elasticsearch-2.4.1/bin/service.bat
elasticsearch-2.4.1/bin/elasticsearch.bat
elasticsearch-2.4.1/bin/elasticsearch-service-mgr.exe
elasticsearch-2.4.1/bin/elasticsearch-service-x64.exe
elasticsearch-2.4.1/bin/elasticsearch-service-x86.exe
elasticsearch-2.4.1/bin/elasticsearch.in.sh
elasticsearch-2.4.1/bin/elasticsearch
elasticsearch-2.4.1/bin/plugin
elasticsearch-2.4.1/lib/lucene-core-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-backward-codecs-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-analyzers-common-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-queries-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-memory-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-highlighter-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-join-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-queryparser-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-sandbox-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-suggest-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-misc-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-grouping-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-spatial-5.5.2.jar
elasticsearch-2.4.1/lib/lucene-spatial3d-5.5.2.jar
elasticsearch-2.4.1/lib/spatial4j-0.5.jar
elasticsearch-2.4.1/lib/guava-18.0.jar
elasticsearch-2.4.1/lib/securesm-1.0.jar
elasticsearch-2.4.1/lib/hppc-0.7.1.jar
elasticsearch-2.4.1/lib/joda-time-2.9.4.jar
elasticsearch-2.4.1/lib/joda-convert-1.2.jar
elasticsearch-2.4.1/lib/jackson-core-2.8.1.jar
elasticsearch-2.4.1/lib/jackson-dataformat-smile-2.8.1.jar
elasticsearch-2.4.1/lib/jackson-dataformat-yaml-2.8.1.jar
elasticsearch-2.4.1/lib/snakeyaml-1.15.jar
elasticsearch-2.4.1/lib/jackson-dataformat-cbor-2.8.1.jar
elasticsearch-2.4.1/lib/netty-3.10.6.Final.jar
elasticsearch-2.4.1/lib/compress-lzf-1.0.2.jar
elasticsearch-2.4.1/lib/t-digest-3.0.jar
elasticsearch-2.4.1/lib/HdrHistogram-2.1.6.jar
elasticsearch-2.4.1/lib/commons-cli-1.3.1.jar
elasticsearch-2.4.1/lib/jsr166e-1.1.0.jar
elasticsearch-2.4.1/lib/elasticsearch-2.4.1.jar
elasticsearch-2.4.1/lib/jts-1.13.jar
elasticsearch-2.4.1/lib/compiler-0.8.13.jar
elasticsearch-2.4.1/lib/log4j-1.2.17.jar
elasticsearch-2.4.1/lib/apache-log4j-extras-1.2.17.jar
elasticsearch-2.4.1/lib/jna-4.1.0.jar
cd elasticsearch-2.4.1
================================================================================
CHANGE DIRECTORY TO THE ELASTICSEARCH DIR
================================================================================
[hand0001@corp-cmx02-v20 ~]$ cd elasticsearch-2.4.1

Start elasticsearch. (do not use root permission)

$ nohup ./bin/elasticsearch &
================================================================================
START ELASTICSEARCH
================================================================================
[hand0001@corp-cmx02-v20 elasticsearch-2.4.1]$ nohup ./bin/elasticsearch &
[1] 15482
[hand0001@corp-cmx02-v20 elasticsearch-2.4.1]$ nohup: ignoring input and appending output to ‘nohup.out’

Installing Kibana (optional but required if you want visual)

Create and edit a new yum repository file for Kibana:

$ sudo vi /etc/yum.repos.d/kibana.repo
================================================================================
CREATE AND EDIT A NEW YUM REPOSITORY FILE FOR KIBANA
================================================================================
[hand0001@corp-cmx02-v20 elasticsearch-2.4.1]$ sudo vi /etc/yum.repos.d/kibana.repo

Us vi commands to insert and save following:

[kibana-4.4]
name=Kibana repository for 4.4.x packages
baseurl=http://packages.elastic.co/kibana/4.4/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

Install Kibana:

$ sudo yum -y install kibana
================================================================================
INSTALL KIBANA
================================================================================
[hand0001@corp-cmx02-v20 elasticsearch-2.4.1]$ sudo yum -y install kibana
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
Monash_University_Sudosh_sudosh_repository                                                                                                        | 2.1 kB  00:00:00
kibana-4.4                                                                                                                                        | 2.9 kB  00:00:00
rhel-7-server-extras-rpms                                                                                                                         | 1.8 kB  00:00:00
rhel-7-server-optional-rpms                                                                                                                       | 1.8 kB  00:00:00
rhel-7-server-rh-common-rpms                                                                                                                      | 2.1 kB  00:00:00
rhel-7-server-rhn-tools-rpms                                                                                                                      | 1.8 kB  00:00:00
rhel-7-server-rpms                                                                                                                                | 2.0 kB  00:00:00
rhel-7-server-supplementary-rpms                                                                                                                  | 2.0 kB  00:00:00
rhel-7-server-thirdparty-oracle-java-rpms                                                                                                         | 2.0 kB  00:00:00
rhel-server-rhscl-7-rpms                                                                                                                          | 2.0 kB  00:00:00
kibana-4.4/primary_db                                                                                                                             |  18 kB  00:00:00
Resolving Dependencies
–> Running transaction check
—> Package kibana.x86_64 0:4.4.2-1 will be installed
–> Finished Dependency Resolution
Dependencies Resolved
============================================================
 Package                                Arch                                   Version                                  Repository                                  Size
============================================================
Installing:
 kibana                                 x86_64                                 4.4.2-1                                  kibana-4.4                                  32 M
Transaction Summary
============================================================
Install  1 Package
Total download size: 32 M
Installed size: 32 M
Downloading packages:
warning: /var/cache/yum/x86_64/7Server/kibana-4.4/packages/kibana-4.4.2-1.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID d88e42b4: NOKEY.1 MB/s |  32 MB  00:00:00 ETA
Public key for kibana-4.4.2-1.x86_64.rpm is not installed
kibana-4.4.2-1.x86_64.rpm                                                                                                                         |  32 MB  00:00:10
Importing GPG key 0xD88E42B4:
 Userid     : “Elasticsearch (Elasticsearch Signing Key) <dev_ops@elasticsearch.org>”
 Fingerprint: 4609 5acc 8548 582c 1a26 99a9 d27d 666c d88e 42b4
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : kibana-4.4.2-1.x86_64                                                                                                                                 1/1
Uploading Package Profile
  Verifying  : kibana-4.4.2-1.x86_64                                                                                                                                 1/1
Installed:
  kibana.x86_64 0:4.4.2-1
Complete!

Start Kibana

$ cd /opt/kibana
$ nohup ./bin/kibana &
================================================================================
START KIBANA
================================================================================
[hand0001@corp-cmx02-v20 kibana]$ sudo nohup ./bin/kibana &
[2] 16682
[hand0001@corp-cmx02-v20 kibana]$ nohup: ignoring input and appending output to ‘nohup.out’

Refer this URL for more details: https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearchlogstash-and-kibana-elk-stack-on-centos-7

Installing CMX Collector

Download cmx-monitor-master.zip (zip file / tar file) from the link provided (Currently not released to public)

SCP the file to the Elasticsearch box:

$scp cmx-monitor-master.zip hand0001@corp-cmx02-v20.ocio.monash.edu:cmx.zip
================================================================================
SCP THE CMX-MONITOR-MASTER.ZIP TO THE BOX FROM MAC (FROM WINDOWS USE WINSCP)
================================================================================
dyn-49-127-10-73:Downloads hand0001$ scp cmx-monitor-master.zip hand0001@corp-cmx02-v20.ocio.monash.edu:cmx.zip
This system is restricted to Monash University authorized users.
Unauthorized or improper use of this system may result in administrative
disciplinary action and civil and criminal penalties.
Use of this system constitutes consent to security monitoring and testing.
cmx-monitor-master.zip

Install unzip (if required)

$sudo yum install unzip
================================================================================
INSTALL UNZIP
================================================================================
[hand0001@corp-cmx02-v20 ~]$ sudo yum install unzip
Loaded plugins: package_upload, product-id, search-disabled-repos, subscription-manager
Monash_University_Sudosh_sudosh_repository                                                                                                        | 2.1 kB  00:00:00
rhel-7-server-extras-rpms                                                                                                                         | 1.8 kB  00:00:00
rhel-7-server-optional-rpms                                                                                                                       | 1.8 kB  00:00:00
rhel-7-server-rh-common-rpms                                                                                                                      | 2.1 kB  00:00:00
rhel-7-server-rhn-tools-rpms                                                                                                                      | 1.8 kB  00:00:00
rhel-7-server-rpms                                                                                                                                | 2.0 kB  00:00:00
rhel-7-server-supplementary-rpms                                                                                                                  | 2.0 kB  00:00:00
rhel-7-server-thirdparty-oracle-java-rpms                                                                                                         | 2.0 kB  00:00:00
rhel-server-rhscl-7-rpms                                                                                                                          | 2.0 kB  00:00:00
Resolving Dependencies
–> Running transaction check
—> Package unzip.x86_64 0:6.0-15.el7 will be installed
–> Finished Dependency Resolution
Dependencies Resolved
============================================================
 Package                            Arch                                Version                                    Repository                                       Size
============================================================
Installing:
 unzip                              x86_64                              6.0-15.el7                                 rhel-7-server-rpms                              166 k
Transaction Summary
============================================================
Install  1 Package
Total download size: 166 k
Installed size: 357 k
Is this ok [y/d/N]: y
Downloading packages:
unzip-6.0-15.el7.x86_64.rpm                                                                                                                       | 166 kB  00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : unzip-6.0-15.el7.x86_64                                                                                                                               1/1
Uploading Package Profile
  Verifying  : unzip-6.0-15.el7.x86_64                                                                                                                               1/1
Installed:
  unzip.x86_64 0:6.0-15.el7
Complete!

Untar/unzip the “cmx-monitor-master”

$ unzip cmx.zip
================================================================================
UNZIP THE CMX-MONITOR-MASTER FILE
================================================================================
[hand0001@corp-cmx02-v20 ~]$ unzip cmx.zip
Archive:  cmx.zip
5d75573c91d18d6fd8b0ba73714f21a44ec33bc7
   creating: cmx-monitor-master/
  inflating: cmx-monitor-master/.gitattributes
  inflating: cmx-monitor-master/.gitignore
  inflating: cmx-monitor-master/README.md
   creating: cmx-monitor-master/cmx/
  inflating: cmx-monitor-master/cmx/analyticdata.js
  inflating: cmx-monitor-master/cmx/clientdata.js
  inflating: cmx-monitor-master/cmx/cmxToken.js
  inflating: cmx-monitor-master/cmx/cmxUtil.js
  inflating: cmx-monitor-master/cmx/config.js
  inflating: cmx-monitor-master/cmx/credentials.json
   creating: cmx-monitor-master/cmx/docs/
  inflating: cmx-monitor-master/cmx/docs/CMX ES connector High Level Design draftv.10.docx
  inflating: cmx-monitor-master/cmx/docs/CMX_ElasticSearch_Connector_and_NodeJS_install_guideV1.2.docx
  inflating: cmx-monitor-master/cmx/docs/CMX_ElasticSearch_Connector_and_NodeJS_install_guideV1.2.pdf
  inflating: cmx-monitor-master/cmx/flatten.js
  inflating: cmx-monitor-master/cmx/loglevel.json
  inflating: cmx-monitor-master/cmx/main.js
  inflating: cmx-monitor-master/cmx/mapdata.js
  inflating: cmx-monitor-master/cmx/notificationdata.js

Create a project directory “cmx” and move the files appropriately to this project directory.

Make sure following files are extracted from above zip/tar file and copied into project directory (“cmx”)

  • Main.js
  • analyticdata.js
  • clientdata.js
  • mapdata.js
  • notificationdata.js
  • config.js
  • cmxToken.js
  • cmxUtil.js
  • credentials.json
  • loglevel.json
$cd cmx-monitor-master/
$mv cmx ..
$ls
$cd cmx
$ls
================================================================================
MOVE THE CMX DIRECTORY TO THE HOME DIRECTORY
================================================================================
[hand0001@corp-cmx02-v20 ~]$ cd cmx-monitor-master/
[hand0001@corp-cmx02-v20 cmx-monitor-master]$ ls
cmx  README.md
[hand0001@corp-cmx02-v20 cmx-monitor-master]$ mv cmx ..
[hand0001@corp-cmx02-v20 cmx-monitor-master]$ cd ..
[hand0001@corp-cmx02-v20 ~]$ ls
cmx  cmx-monitor-master  cmx.zip  elasticsearch-2.4.1  elasticsearch-2.4.1.tar.gz  nohup.out
[hand0001@corp-cmx02-v20 ~]$ cd cmx
[hand0001@corp-cmx02-v20 cmx]$ ls
analyticdata.js  clientdata.js  cmxToken.js  cmxUtil.js  config.js  credentials.json  docs  flatten.js  loglevel.json  main.js  mapdata.js  notificationdata.js

Install npm.

$ npm install elasticsearch
$ npm install express
$ npm install request
$ npm install body-parser
$ npm install log4js
$ npm install q
================================================================================
INSTALL NPM
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ npm install elasticsearch
/srv/home/hand0001/cmx
└─┬ elasticsearch@11.0.1 
  ├─┬ chalk@1.1.3 
  │ ├── ansi-styles@2.2.1 
  │ ├── escape-string-regexp@1.0.5 
  │ ├─┬ has-ansi@2.0.0 
  │ │ └── ansi-regex@2.0.0 
  │ ├── strip-ansi@3.0.1 
  │ └── supports-color@2.0.0 
  ├── forever-agent@0.6.1 
  ├── lodash@3.10.1 
  ├── lodash-compat@3.10.2 
  └─┬ promise@7.1.1 
    └── asap@2.0.5 
npm WARN enoent ENOENT: no such file or directory, open ‘/srv/home/hand0001/cmx/package.json’
npm WARN cmx No description
npm WARN cmx No repository field.
npm WARN cmx No README data
npm WARN cmx No license field.
[hand0001@corp-cmx02-v20 cmx]$ npm install express
/srv/home/hand0001/cmx
└─┬ express@4.14.0 
  ├─┬ accepts@1.3.3 
  │ ├─┬ mime-types@2.1.12 
  │ │ └── mime-db@1.24.0 
  │ └── negotiator@0.6.1 
  ├── array-flatten@1.1.1 
  ├── content-disposition@0.5.1 
  ├── content-type@1.0.2 
  ├── cookie@0.3.1 
  ├── cookie-signature@1.0.6 
  ├─┬ debug@2.2.0 
  │ └── ms@0.7.1
  ├── depd@1.1.0 
  ├── encodeurl@1.0.1 
  ├── escape-html@1.0.3 
  ├── etag@1.7.0 
  ├─┬ finalhandler@0.5.0 
  │ ├── statuses@1.3.0 
  │ └── unpipe@1.0.0 
  ├── fresh@0.3.0 
  ├── merge-descriptors@1.0.1 
  ├── methods@1.1.2 
  ├─┬ on-finished@2.3.0 
  │ └── ee-first@1.1.1 
  ├── parseurl@1.3.1 
  ├── path-to-regexp@0.1.7 
  ├─┬ proxy-addr@1.1.2 
  │ ├── forwarded@0.1.0 
  │ └── ipaddr.js@1.1.1 
  ├── qs@6.2.0 
  ├── range-parser@1.2.0 
  ├─┬ send@0.14.1 
  │ ├── destroy@1.0.4 
  │ ├─┬ http-errors@1.5.0 
  │ │ ├── inherits@2.0.1 
  │ │ └── setprototypeof@1.0.1 
  │ └── mime@1.3.4 
  ├── serve-static@1.11.1 
  ├─┬ type-is@1.6.13 
  │ └── media-typer@0.3.0 
  ├── utils-merge@1.0.0 
  └── vary@1.1.0 
npm WARN enoent ENOENT: no such file or directory, open ‘/srv/home/hand0001/cmx/package.json’
npm WARN cmx No description
npm WARN cmx No repository field.
npm WARN cmx No README data
npm WARN cmx No license field.
[hand0001@corp-cmx02-v20 cmx]$ npm install request
/srv/home/hand0001/cmx
└─┬ request@2.75.0 
  ├── aws-sign2@0.6.0 
  ├── aws4@1.5.0 
  ├─┬ bl@1.1.2 
  │ └─┬ readable-stream@2.0.6 
  │   ├── core-util-is@1.0.2 
  │   ├── isarray@1.0.0 
  │   ├── process-nextick-args@1.0.7 
  │   ├── string_decoder@0.10.31 
  │   └── util-deprecate@1.0.2 
  ├── caseless@0.11.0 
  ├─┬ combined-stream@1.0.5 
  │ └── delayed-stream@1.0.0 
  ├── extend@3.0.0 
  ├─┬ form-data@2.0.0 
  │ └── asynckit@0.4.0 
  ├─┬ har-validator@2.0.6 
  │ ├─┬ commander@2.9.0 
  │ │ └── graceful-readlink@1.0.1 
  │ ├─┬ is-my-json-valid@2.15.0 
  │ │ ├── generate-function@2.0.0 
  │ │ ├─┬ generate-object-property@1.2.0 
  │ │ │ └── is-property@1.0.2 
  │ │ ├── jsonpointer@4.0.0 
  │ │ └── xtend@4.0.1
  │ └─┬ pinkie-promise@2.0.1 
  │   └── pinkie@2.0.4 
  ├─┬ hawk@3.1.3 
  │ ├── boom@2.10.1 
  │ ├── cryptiles@2.0.5 
  │ ├── hoek@2.16.3 
  │ └── sntp@1.0.9 
  ├─┬ http-signature@1.1.1 
  │ ├── assert-plus@0.2.0 
  │ ├─┬ jsprim@1.3.1 
  │ │ ├── extsprintf@1.0.2 
  │ │ ├── json-schema@0.2.3 
  │ │ └── verror@1.3.6 
  │ └─┬ sshpk@1.10.1 
  │   ├── asn1@0.2.3
  │   ├── assert-plus@1.0.0 
  │   ├── bcrypt-pbkdf@1.0.0 
  │   ├─┬ dashdash@1.14.0 
  │   │ └── assert-plus@1.0.0 
  │   ├── ecc-jsbn@0.1.1 
  │   ├─┬ getpass@0.1.6 
  │   │ └── assert-plus@1.0.0 
  │   ├── jodid25519@1.0.2 
  │   ├── jsbn@0.1.0
  │   └── tweetnacl@0.14.3 
  ├── is-typedarray@1.0.0 
  ├── isstream@0.1.2 
  ├── json-stringify-safe@5.0.1 
  ├── node-uuid@1.4.7 
  ├── oauth-sign@0.8.2 
  ├── stringstream@0.0.5 
  ├── tough-cookie@2.3.1 
  └── tunnel-agent@0.4.3 
npm WARN enoent ENOENT: no such file or directory, open ‘/srv/home/hand0001/cmx/package.json’
npm WARN cmx No description
npm WARN cmx No repository field.
npm WARN cmx No README data
npm WARN cmx No license field.
[hand0001@corp-cmx02-v20 cmx]$ npm install body-parser
/srv/home/hand0001/cmx
└─┬ body-parser@1.15.2 
  ├── bytes@2.4.0 
  ├── iconv-lite@0.4.13 
  └── raw-body@2.1.7 
npm WARN enoent ENOENT: no such file or directory, open ‘/srv/home/hand0001/cmx/package.json’
npm WARN cmx No description
npm WARN cmx No repository field.
npm WARN cmx No README data
npm WARN cmx No license field.
[hand0001@corp-cmx02-v20 cmx]$ npm install log4js
/srv/home/hand0001/cmx
└─┬ log4js@0.6.38 
  ├─┬ readable-stream@1.0.34 
  │ └── isarray@0.0.1 
  └── semver@4.3.6 
npm WARN enoent ENOENT: no such file or directory, open ‘/srv/home/hand0001/cmx/package.json’
npm WARN cmx No description
npm WARN cmx No repository field.
npm WARN cmx No README data
npm WARN cmx No license field.
[hand0001@corp-cmx02-v20 cmx]$ npm install q
/srv/home/hand0001/cmx
└── q@1.4.1 
npm WARN enoent ENOENT: no such file or directory, open ‘/srv/home/hand0001/cmx/package.json’
npm WARN cmx No description
npm WARN cmx No repository field.
npm WARN cmx No README data
npm WARN cmx No license field.

Verify that “cmx” directory has a new folder “node_modules”.

$ls
[hand0001@corp-cmx02-v20 cmx]$ ls
analyticdata.js  cmxToken.js  config.js         docs        loglevel.json  mapdata.js    notificationdata.js
clientdata.js    cmxUtil.js   credentials.json  flatten.js  main.js        node_modules
 

CMX-Elastic connector application will be started to run in the background as a “forever” service.

Install forever command to run application continuously (in the background) from project directory “cmx”.

$ sudo npm install forever –g
================================================================================
INSTALL FOREVER
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ sudo npm install forever -g
npm WARN deprecated minimatch@2.0.10: Please update to minimatch 3.0.2 or higher to avoid a RegExp DoS issue
/usr/bin/forever -> /usr/lib/node_modules/forever/bin/forever
/usr/lib
└─┬ forever@0.15.2 
  ├─┬ cliff@0.1.10 
  │ ├── colors@1.0.3 
  │ └── eyes@0.1.8 
  ├── clone@1.0.2 
  ├── colors@0.6.2 
  ├─┬ flatiron@0.4.3 
  │ ├─┬ broadway@0.3.6 
  │ │ ├── cliff@0.1.9
  │ │ └── winston@0.8.0 
  │ ├── director@1.2.7 
  │ ├── optimist@0.6.0 
  │ └─┬ prompt@0.2.14 
  │   ├─┬ read@1.0.7
  │   │ └── mute-stream@0.0.6 
  │   └── revalidator@0.1.8 
  ├─┬ forever-monitor@1.6.0 
  │ ├─┬ chokidar@1.6.0 
  │ │ ├─┬ anymatch@1.3.0 
  │ │ │ ├── arrify@1.0.1
  │ │ │ └─┬ micromatch@2.3.11 
  │ │ │   ├─┬ arr-diff@2.0.0
  │ │ │   │ └── arr-flatten@1.0.1
  │ │ │   ├── array-unique@0.2.1 
  │ │ │   ├─┬ braces@1.8.5
  │ │ │   │ ├─┬ expand-range@1.8.2 
  │ │ │   │ │ └─┬ fill-range@2.2.3
  │ │ │   │ │   ├── is-number@2.1.0
  │ │ │   │ │   ├── isobject@2.1.0
  │ │ │   │ │   ├── randomatic@1.1.5
  │ │ │   │ │   └── repeat-string@1.5.4
  │ │ │   │ ├── preserve@0.2.0
  │ │ │   │ └── repeat-element@1.1.2 
  │ │ │   ├─┬ expand-brackets@0.1.5 
  │ │ │   │ └── is-posix-bracket@0.1.1 
  │ │ │   ├── extglob@0.3.2
  │ │ │   ├── filename-regex@2.0.0 
  │ │ │   ├─┬ kind-of@3.0.4
  │ │ │   │ └── is-buffer@1.1.4
  │ │ │   ├── normalize-path@2.0.1 
  │ │ │   ├─┬ object.omit@2.0.0 
  │ │ │   │ ├─┬ for-own@0.1.4
  │ │ │   │ │ └── for-in@0.1.6
  │ │ │   │ └── is-extendable@0.1.1 
  │ │ │   ├─┬ parse-glob@3.0.4 
  │ │ │   │ ├── glob-base@0.3.0
  │ │ │   │ └── is-dotfile@1.0.2
  │ │ │   └─┬ regex-cache@0.4.3 
  │ │ │     ├── is-equal-shallow@0.1.3 
  │ │ │     └── is-primitive@2.0.0 
  │ │ ├── async-each@1.0.1 
  │ │ ├── glob-parent@2.0.0 
  │ │ ├── inherits@2.0.3 
  │ │ ├─┬ is-binary-path@1.0.1 
  │ │ │ └── binary-extensions@1.7.0 
  │ │ ├─┬ is-glob@2.0.1 
  │ │ │ └── is-extglob@1.0.0 
  │ │ └─┬ readdirp@2.1.0 
  │ │   ├── graceful-fs@4.1.9 
  │ │   ├── minimatch@3.0.3 
  │ │   ├─┬ readable-stream@2.1.5 
  │ │   │ ├── buffer-shims@1.0.0 
  │ │   │ ├── core-util-is@1.0.2 
  │ │   │ ├── isarray@1.0.0
  │ │   │ ├── process-nextick-args@1.0.7 
  │ │   │ ├── string_decoder@0.10.31 
  │ │   │ └── util-deprecate@1.0.2 
  │ │   └── set-immediate-shim@1.0.1 
  │ ├─┬ minimatch@2.0.10 
  │ │ └─┬ brace-expansion@1.1.6 
  │ │   ├── balanced-match@0.4.2 
  │ │   └── concat-map@0.0.1 
  │ └─┬ ps-tree@0.0.3 
  │   └─┬ event-stream@0.5.3 
  │     └── optimist@0.2.8 
  ├─┬ nconf@0.6.9 
  │ ├── async@0.2.9 
  │ ├── ini@1.3.4
  │ └── optimist@0.6.0 
  ├─┬ nssocket@0.5.3 
  │ ├── eventemitter2@0.4.14 
  │ └── lazy@1.0.11 
  ├── object-assign@3.0.0 
  ├─┬ optimist@0.6.1 
  │ ├── minimist@0.0.10 
  │ └── wordwrap@0.0.3 
  ├── path-is-absolute@1.0.1 
  ├─┬ prettyjson@1.1.3 
  │ ├── colors@1.1.2 
  │ └── minimist@1.2.0 
  ├─┬ shush@1.0.0 
  │ ├─┬ caller@0.0.1 
  │ │ └─┬ tape@2.3.3
  │ │   ├── deep-equal@0.1.2 
  │ │   ├── defined@0.0.0
  │ │   ├── jsonify@0.0.0
  │ │   ├── resumer@0.0.0
  │ │   └── through@2.3.8
  │ └── strip-json-comments@0.1.3 
  ├── timespan@2.3.0 
  ├─┬ utile@0.2.1 
  │ ├── async@0.2.10 
  │ ├── deep-equal@1.0.1 
  │ ├── i@0.3.5
  │ ├─┬ mkdirp@0.5.1 
  │ │ └── minimist@0.0.8 
  │ ├── ncp@0.4.2
  │ └─┬ rimraf@2.5.4 
  │   └─┬ glob@7.1.1
  │     ├── fs.realpath@1.0.0 
  │     ├─┬ inflight@1.0.5 
  │     │ └── wrappy@1.0.2
  │     └── once@1.4.0
  └─┬ winston@0.8.3 
    ├── cycle@1.0.3 
    ├── isstream@0.1.2 
    ├── pkginfo@0.3.1 
    └── stack-trace@0.0.9 
npm WARN optional Skipping failed optional dependency /forever/chokidar/fsevents:
npm WARN notsup Not compatible with your operating system or architecture: fsevents@1.0.14

Refer to the link to view more details on “forever” https://www.npmjs.com/package/forever

Configuring CMX Collector settings

Edit the config.js file (To be updated with working file)

$ vi config.js
================================================================================
EDIT THE CONFIG.JS FILE
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ vi config.js 
 
================================================================================
VIEW THE CONFIG.JS FILE
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ cat config.js 
/* CMX connector version */
module.exports.CMX_CONNECTOR_APP_MAJOR_VERSION = “1”;
module.exports.CMX_CONNECTOR_APP_MINOR_VERSION = “1”;
/* CMX Server IP Address */
var CMX_IP_ADDRESS = “X.X.X.X“;
/* IP address where elasticsearch is running */
module.exports.elasticSearchHostIP = “127.0.0.1:9200“;
/* CMX Notification data port number */
module.exports.NOTIFICATIONS_DATA_PORT = 8280;
/* Durations of polling of data in minutes */
module.exports.analyticsDuration = 15;
module.exports.clientsDuration = 9;
module.exports.mapDuration = (23*60);
/* Elasticsearch Index names */
module.exports.mapDataIndex = “mapdata_index”;
module.exports.analyticsDataIndex = “analyticsdata_index”;
module.exports.activeClientDataIndex = “activeclientdata_index”;
module.exports.northBoundNotificationsDataIndex = “northboundnotification_index”;
/* Elasticsearch Document Type */
module.exports.mapDataDocType = “mapdata_type”;
module.exports.analyticsDataDocType = “analyticsdata_type”;
module.exports.activeClientDataDocType = “activeclientdata_type”;
module.exports.northBoundNotificationsDataDocType = “northboundnotification_type”;
/* CMX Server API/URL */
module.exports.mapDataURL = “http://&#8221; + CMX_IP_ADDRESS + “/api/config/v1/maps”;
module.exports.analyticsDataURL = “http://&#8221; + CMX_IP_ADDRESS + “/api/analytics/v1/summary”;
module.exports.activeClientDataURL = “http://&#8221; + CMX_IP_ADDRESS + “/api/location/v1/clients”;
/* Log file path(current folder) */
module.exports.CMX_LOG_FILE_PATH = ‘./logs’;
/* Elasticsearch URL in CMX Server */
module.exports.CMX_ELASTICSEARCH_URL = “”;
module.exports.messageCountTimer = 15;
module.exports.notificationStatusDuration = 30;

Add the CMX credentials to the credentials.json file

$ vi credentials.json 
================================================================================
EDIT THE CREDENTIALS.JSON FILE
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ vi credentials.json 
================================================================================
VIEW THE CREDENTIALS.JSON FILE – USERNAME AND PASSWORD HAVE BEEN CHANGED
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ cat credentials.json 
{
    “USER_NAME”:”USERNAME“,
    “PASSWORD”:”PASSWORD
}

Notification setup in CMX server

Log on to CMX server with the appropriate login credentials.

Navigate from “Mange” from the top menu bar to “Notifications” and select “+New Notification”

CMX Notifications.png

Fill the notification name, select the type (drop-down) of the notification, and enter the host IP address and port number; IP address & port number shall be your listener software module where it is running to receive the CMX notification data. URL shall be entered same as what is given in the config.js. Refer to section “Configuring CMX Collector Settings”. Enable the notifications after you start the CMX Collector as explained in the next section.

NOTE: Cisco’s documentation said to select type In/Out but it didn’t work, I have managed to get the “Location Update” type to work.

CMX Notification2.png

Running CMX Collector for Elasticsearch

To start CMX Collector running in background

$ sudo forever start -c node main.js
================================================================================
START THE CMX COLLECTOR IN THE BACKGROUND
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ sudo forever start -c node main.js
warn:    –minUptime not set. Defaulting to: 1000ms
warn:    –spinSleepTime not set. Your script will exit if it does not stay up for at least 1000ms
info:    Forever processing file: main.js

Verify CMX Collector is running in forever mode using “forever list” command. Verify that the list shows a process “node main.js” is running.

$ sudo forever list

================================================================================
VERIFY THE COLLECTOR IS RUNNING
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ sudo forever list

info:    Forever processes running
data:        uid  command script  forever pid   id logfile                 uptime
data:    [0] GlcA node    main.js 16152   16158    /root/.forever/GlcA.log 0:0:0:53.736

To stop CMX Collector running in forever mode, use “forever stop” command as below

$ sudo forever stop main.js

OR

$ sudo forever stopall (this command will stop all processes in forever)

Log file created by “forever” is located at /root/.forever/xxx.log w.r.t forever tool issues. CMX collector logs are stored in ./logs/cmxLog.log

Kibana – Index creation for CMX connector 

Go to “Settings” to configure an index pattern in Kibana. (refer below picture)

Screen Shot 2016-10-18 at 11.35.42 AM.png

  • Enter the index name under under index name or Pattern (eg. “mapdata_index” OR activeclientdata_index” OR “analyticsdata_index” OR “northboundnotification_index”) 
  • Select Time field name from drop-down list – elk_timestamp
  • Click / Select “Create” button to create the index
  • Repeat the above steps to create multiple index
    You will Get the following index tables (NOTE that it took nearly 24 hours for my activeclientdata_index to populate – Cisco advised me that this should happen straight away
Activeclientdata_index

Screen Shot 2016-10-18 at 11.32.59 AM.png

northboundnotification_index

elastic-search-northboundnotification_index

analyticsdata_index

elasticsearch-analyticsdata_index

mapdata_index

elasticsearch-mapdata_index

Verification from Linux Box:

Verify that Kibana is running

$ps -afe | grep kibana
================================================================================
CONFIRM KIBANA RUNNING
================================================================================
 
[hand0001@corp-cmx02-v20 cmx]$ ps -afe | grep kibana
hand0001 16186 14571  0 10:36 pts/0    00:00:00 grep –color=auto kibana

Verify that Kibana is running

$ps -afe | grep elastic

================================================================================
CONFIRM ELASTIC RUNNING
================================================================================
[hand0001@corp-cmx02-v20 cmx]$ ps -afe | grep elastic
hand0001 15482 14571  0 09:50 pts/0    00:00:13 /bin/java -Xms256m -Xmx1g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8 -Djna.nosys=true -Des.path.home=/srv/home/hand0001/elasticsearch-2.4.1 -cp /srv/home/hand0001/elasticsearch-2.4.1/lib/elasticsearch-2.4.1.jar:/srv/home/hand0001/elasticsearch-2.4.1/lib/* org.elasticsearch.bootstrap.Elasticsearch start
hand0001 16190 14571  0 10:37 pts/0    00:00:00 grep –color=auto elastic

TROUBLESHOOTING

CAN’T ADD INDEXES TO KIBANA

First run

$ sudo forever stop main.js

Then delete the index that you can’t add

$curl -XDELETE 'http://localhost:9200/northboundnotification_index'
$curl -XDELETE 'http://localhost:9200/activeclientdata_index'
$curl -XDELETE 'http://localhost:9200/analyticsdata_index'
$curl -XDELETE 'http://localhost:9200/mapdata_index'
================================================================================
DELETE THE ELASTICSEARCH INDEX NORTHBOUNDNOTIFICATION_INDEX
================================================================================
{“acknowledged”:true}
================================================================================
DELETE THE ELASTICSEARCH INDEX ACTIVECLIENTDATA_INDEX
================================================================================
{“acknowledged”:true}
================================================================================
DELETE THE ELASTICSEARCH INDEX ANALYTICSDATA_INDEX
================================================================================
{“acknowledged”:true}
================================================================================
DELETE THE ELASTICSEARCH INDEX MAPDATA_INDEX
================================================================================
[hand0001@curl -XDELETE ‘http://localhost:9200/mapdata_index’
{“acknowledged”:true}

following deleting the indexes run

$sudo forever start -c node main.js

Confirming Data being feed into Indexes

To confirm if the index is actually receiving data run the following command:

$curl 'localhost:9200/_cat/indices?v'
[hand0001@corp-cmx02-v20 ~]$ curl ‘localhost:9200/_cat/indices?v’
health status index                        pri rep docs.count docs.deleted store.size pri.store.size
yellow open   analyticsdata_index            5   1        589            0      4.2mb          4.2mb
yellow open   mapdata_index                  5   1       8594            0      4.7mb          4.7mb
yellow open   .kibana                        1   1          5            0       44kb           44kb
yellow open   activeclientdata_index         5   1          0            0       795b           795b
yellow open   northboundnotification_index   5   1    1495085            0    528.4mb        528.4mb

In the above example you can see the activeclientdata_index is not collecting data. The example below shows it collecting:

[hand0001@corp-cmx02-v20 ~]$ curl ‘localhost:9200/_cat/indices?v’
health status index                        pri rep docs.count docs.deleted store.size pri.store.size
yellow open   analyticsdata_index            5   1        608            0        4mb            4mb
yellow open   mapdata_index                  5   1       9887            0      5.5mb          5.5mb
yellow open   .kibana                        1   1          5            0       44kb           44kb
yellow open   activeclientdata_index         5   1      27000            0     33.1mb         33.1mb

yellow open   northboundnotification_index   5   1    2346288            0   1008.3mb       1008.3mb

My next CMX connector to attempt will be to Splunk, I am just waiting on Cisco BU to work out why it has taken 24 hours for the activeclientdata_index to populate or advise that this is normal before I close off this test.

Advertisements

3 thoughts on “CMX Direct Elasticsearch Connector

  1. Pingback: CMX to Splunk Connector – THE WLAN

  2. Joe

    hi,
    what value did you specify for the following variable? we are implementing in our environment, and can not find documentation that specifies what this value should be.

    /* Elasticsearch URL in CMX Server */
    module.exports.CMX_ELASTICSEARCH_URL = “”;

    Like

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s