Splunk搜索指南.docx

Splunk搜索指南.docx

《Splunk搜索指南.docx》由会员分享，可在线阅读，更多相关《Splunk搜索指南.docx（41页珍藏版）》请在冰豆网上搜索。

Splunk搜索指南

搜索教程！

欢迎使用Splunk教程

欢迎使用Splunk教程

什么是Splunk？

Splunk可以从应用程序、服务器或网络设备及其他IT基础设备中搜索IT数据，是一款功能强大且灵活的搜索分析引擎。

它可以帮助您在单点实现实时搜寻、故障排查、监测、警示及报告IT基础设备上的所有IT数据。

想要了解更多Splunk可以搜索的数据？

请在我们网站上阅读“什么是IT数据”。

Splunk的用户

Splunk是一款多功能的搜索引擎，用途广泛，适合不同类型的用户。

系统管理员、网络工程师、安全分析师、软件开发人员、服务台及应用支持人员——甚至经理、副总裁和首席信息官都使用Splunk帮助他们更出色更快速地完成工作。

•应用程序支持人员利用Splunk对应用环境进行端对端搜索及补救，并对整个服务创建警报和仪表板来主动监测服务性能、可用性及业务度量。

应用支持人员根据各自职责分配给当前用户的角色隔离数据访问，并在不影响安全性的情况下支持应用程序开发人员和第一等级人员从生产日志上获取其所需的信息。

•系统管理员和IT人员可使用Splunk检查服务器问题，了解其配置及监测用户活动。

之后他们可将搜索结果转变成预警，警报服务器性能阈值、关键性系统错误及负载。

•高级网络工程师可使用Splunk排查升级问题，识别导致常规问题的事件及模式，如配置错误的路由器、邻居变化等，并将事件的搜索结果变成预警。

•安全分析人员和事故应急小组可以使用Splunk审查标记用户的活动，并获取敏感数据、自动监测已知的不良事件，同时通过复杂关系搜索找出已知的风险模型，如强力攻击、数据泄漏甚至应用程序级别的欺诈。

•所有决策管理层可使用Splunk构建报告和仪表板来检测并汇总其IT基础构建和业务的健康状况、性能、活动及容量。

本教程的内容

如果您是第一次接触Splunk，本教程将会教您使用Splunk前应知晓的事项，内容涵盖第一次下载到创建内容丰富、互动性强的仪表板。

使用本教程前

使用本教程前

在开始使用Splunk前，您需要先下载、安装再启动Splunk示例。

不过您不用担心，完成以上步骤仅需5分钟！

如果Splunk服务器已在运行中，请直接跳读至“欢迎使用Splunk”并从那儿继续您的学习。

支持Splunk运行的平台

Splunk几乎可以在所有的计算平台上运行，但本教程重点介绍Windows和MacOSX版本的Splunk。

当然，无论您选择在何种平台上运行Splunk，Splunk还是Splunk，您依然能够从“启动Splunk”这一节开始学习本教程。

Splunk是一款安装在您本地电脑上的软件，您需要通过Web浏览器访问Splunk。

Splunk支持大部分版本的火狐、IE浏览器和Safari浏览器。

虽然Splunk是一款高性能的应用软件，但在本教程中，您仅需一台独立的至少带以下配置的Windows机或Mac机：

平台

最低硬件容量支持

非Windows平台

1x1.4GHzCPU，1GB内存

Windows平台

奔腾4或相当于2Ghz的CPU，2GB内存

关于完整规格单，请参见安装手册中的系统要求部分。

选择合适的许可证

Splunk支持企业许可证或自由许可证。

当您第一次下载Splunk时，您将获得一张有效期为60天的企业试行版许可证。

此试行版许可证可允许每天500MB的索引量并具备企业版的所有功能。

安装Splunk后，您可以使用企业试行版许可证运行Splunk直至该许可证过期。

过期后您可以选择终身免费的许可证（Splunk软件自带）或购买企业版许可证。

阅读更多关于Splunk许可证及其特征。

下载Splunk

Windows安装程序为MSI文件。

MacOSX有两个安装程序。

在本教程中，您将使用DMG包。

您可以从下载页下载最新版本的Splunk。

登录S下载Splunk。

如果您不想登录，可以点击下载包，页面将跳转至登记表。

如果您还未拥有S账户，请注册一个账户。

安装Splunk

对于Windows和MacOSX平台，Splunk都提供图形安装程序。

当然您也可以使用命令行接口（CLI）进行安装。

关于使用命令行指令将Splunk安装在其他平台，请参见安装手册内详尽的安装步骤。

Windows

1.双击splunk.msi文件启动安装程序。

2.在欢迎界面点击下一步。

3.阅读许可证协议并选择“我同意许可证上的条款”，点击下一步继续安装。

4.在客户信息界面按要求输入信息并点击下一步。

5.在目标文件夹界面点击更改文件夹来指定安装Splunk的位置，或点击下一步接受默认值。

Splunk将默认安装至/ProgramFiles/Splunk。

接下来将显示登录信息。

6.在登录信息界面选择本地系统用户，点击下一步。

如果想了解其他用户选项，请参见将Splunk安装在Windows上的详细指令。

7.指定用户之后将会显示安装前摘要界面，点击安装继续安装。

8.在安装完成界面，勾选复选框用Splunk打开浏览器，并创建开始菜单快捷方式。

9.点击完成。

安装完成，Splunk将启动，并使用支持的浏览器打开Splunk网页。

MacOSX

1.双击DMG文件。

2.在探测器窗口双击splunk.pkg。

打开Splunk安装程序，并显示简介。

3.点击继续。

4.在选择目标文件夹窗口选择安装位置。

•要将Splunk安装在默认的目录/Applications/splunk，请点击硬件图标。

•要更改安装位置，请点击选择文件夹

5.点击继续

将显示安装前摘要。

如果您想进行更改，

•点击更该安装位置重新选择新的文件夹，或

•点击返回，返回上一步。

6.点击安装。

将开始安装。

安装可能需要几分钟。

7.安装完成后点击完成。

安装完成了，您现在可以启动Splunk。

启动Splunk

启动Splunk

当您启动Splunk时，您将在主机上启动两个进程，splunkd和splunkweb：

•Splunkd是一个分布式C/C++服务器。

它可以访问、处理并索引IT高速数据流，并处理搜索要求。

•Splunkweb是一个Python型应用服务器。

您可以使用其提供的Splunk网页接口，搜索定位您的IT数据并管理您的Splunk部署。

Windows

可以使用以下三种方式在Windows上启动Splunk。

•在开始菜单中启动Splunk。

（截图）

•使用Windows服务管理器启动及停止splunk和splunkweb。

•打开cmd窗口进入\ProgramFiles\Splunk\bin并输入：

MacOSX

打开终极符或图标访问CLI。

进入/Application/splunk/bin/并输入：

如果您有管理员或root权限，您可以通过设置Splunk环境变量简化CLI的使用。

关于如何设置Splunk环境变量，请阅读《管理手册》中的“关于CLI”。

接受Splunk许可证

运行启动命令后，Splunk将显示许可证协议并要求您接受许可证协议才能继续运行。

接受许可证协议后，将显示启动顺序。

最后，Splunk将告诉您如何访问Splunk网页：

TheSplunkWebinterfaceisathttp:

//localhost:

8000

如果在启动Splunk时遇到任何困难，请查阅《安装手册》中的第一次启动Splunk部分。

可能需要的其他命令

如果想停止、重启或检查Splunk服务器的状态，您需要以下CLI命令：

打开Splunk网页

Splunk的界面在Web服务器上运行，启动后，Splunk将显示Splunk网页界面的地址。

打开浏览器，转到该地址。

Splunk网站默认在安装有Splunk主机上的端口8000上运行。

如果您正在本地电脑上运行Splunk，则访问Splunk网站的URL为http:

//localhost:

8000。

如果您使用的是企业版的许可证，则第一次启动Splunk将把您带入此登录界面。

使用默认的许可证证明以下信息：

如果您使用的是免费的许可证，您可以直接使用Splunk不需要证明。

在此情况下，当启动Splunk时，不会见到此登录界面。

您将直接进入运行应用程序界面，或您的账户默认的应用程序界面。

打开Splunk网页

Splunk的界面在Web服务器上运行，启动后，Splunk将显示Splunk网页界面的地址。

打开浏览器转到该地址。

Splunk网站默认在安装有Splunk主机上的端口8000上运行。

如果您正在本地电脑上运行Splunk，则访问Splunk网站的URL为http:

//localhost:

8000。

如果您使用的是企业版的许可证，则第一次启动Splunk时，您将进入此登录界面。

使用默认的值登录：

如果您使用的是免费的许可证，您可以直接使用Splunk，不需要验证。

在此情况下，当您启动Splunk时，此登录界面不会显示。

您将直接进入运行应用程序界面或您的账户默认的应用程序界面。

欢迎使用Splunk

当您第一次登录Splunk，您将看到此运行应用程序界面。

此应用界面将帮助您开始使用Splunk。

在您开始使用Splunk之前，您需要先输入一些数据。

欢迎标签含以下快速链接：

•添加数据：

通过此链接，您将进入数据输入定义界面。

•搜索：

通过此链接，您将进入Splunk的搜索界面，可以在此界面上搜索数据。

使用右上角的定位菜单，可访问您Splunk服务器上的任何应用程序及配置页面。

Splunk的每一页面都有该菜单，但每页面上菜单的内容不尽相同。

当您学完这节之后，您可以进入本教程的下一节，学习如何在Splunk服务器中添加数据。

在Splunk中添加数据

在Splunk中添加数据

本章假设您已经下载、安装并启动Splunk服务器。

如果您还未进行上述步骤，请返回前一节，学习如何进行上述操作。

如果您已经启动并登录Splunk，在进行搜索前您还需要输入一些数据。

此节将向您演示如何下载示例数据以及将示例数据添加到Splunk。

下载示例数据文件

本教程将使用鲜花礼品网店的抽样数据教您使用Splunk。

示例数据包括：

•ApacheWeb服务器日志

•mySQL数据库日志

您可以将文件和目录、网络端口及自定义脚本中的数据输入Splunk，但在本教程中，您可直接向Splunk上传一个压缩文件。

（您当然也可以向Splunk添加许多其他类型的数据。

关于Splunk能够处理的数，据类型请查看管理手册“如何向Splunk输入数据”。

）

继续学习本教程前，请从此处下载示例数据：

sampledata.zip最后更新于2010年9月7日。

重要事项:

在本教程中，可直接将一个压缩文件上传至Splunk，不需要解压示例数据。

向Splunk添加示例数据

登录Splunk后，您将进入运行应用程序界面。

如果您登录后未看到此视图，请从应用程序菜单中选择运行应用程序。

1.在运行应用程序界面点击添加数据。

将打开管理员>数据输入页面。

•在MacOSX平台上，此视图将显示4种输入类型。

•在Windows平台上，此视图将显示更多的输入类型。

2.在活动栏下的文件和目录输入处点击添加新数据。

点击后将显示管理员>数据输入>文件和目录>添加新数据视图。

您可以在此界面上传示例数据文件。

一般来说，您只需上传示例数据文件，Splunk将执行剩下的操作，不需做任何改动。

为了更好地学习本教程，您还需编辑一些属性。

3.在事件源选项下，选择上传本地文件并浏览您刚上传的示例数据文件。

此“源”将显示事件的来源。

如果您在文件和目录下监测数据，则此“源”为文件或目录的路径名。

如果此“源”来自网络，则此源为协议和端口号，如UDP:

514。

4.在主机和主机设置下选择正则路径。

一旦选择正则路径，Splunk将使用正则表达式来匹配源文件（您先前浏览的文件）的部分路径名来设置数据的自定义主机值。

5.在正则表达式下复制粘贴以下内容：

Sampledata.zip:

./（[^/]+）/

一个事件的主机值一般为主机名、IP地址或事件源网络主机的完全合格域名。

6.将源类型的值默认为“自动”。

事件的源类型为数据的类型，一般是以数据的格式为基础。

源类型的例子包括组合访问或Cisco系统日志。

此分类可能使您在多个源和主机上搜索同一类型的数据。

6.在索引选项下将目标索引保留为默认。

7.点击保存。

由于此文件为一次性上传文件，您在数据输入>>文件&目录视图上不会看到示例数据。

Splunk将在处理完数据并将事件编入索引后移除文件。

移除完成后，Splunk将显示一条信息提示文件上传成功。

进入本教程下一节前，请在搜索应用程序界面查看您已上传的数据。

搜索应用程序

搜索应用程序

本节假设您已经向鲜花礼品网店添加了数据。

如果您还未添加数据，请在学习本节前先学习如何添加数据。

您的Splunk有数据后，便可以开始搜索了。

此节将向您介绍搜索应用程序。

Splunk的默认界面为数据搜索与分析界面。

如果您已经熟悉搜索界面，您可以跳过此部分开始搜索数据。

您现在是网店鲜花礼品网店客户支持小组的一员。

今天是您第一天上班。

您想更加了解此店。

您想了解以下情况：

•这个店卖什么？

每一件货品的价钱是多少？

•每天有多少人访问此网站？

今天有多少人买了东西？

•每天最畅销的货品是什么？

Splunk服务器已经有数据了---我们来看一下。

找到搜索应用程序

您可以在Splunk的任何位置访问搜索应用程序。

如果您刚上传示例数据文件，您将进入输入数据的文件&目录页面。

要从此界面访问应用程序界面，点击页面左上角的<<返回搜索链接：

要从其他的应用程序界面或视图访问搜索应用程序界面，使用右上角的应用程序菜单选择搜索应用程序选项：

在应用程序界面您看到的第一个视图为摘要仪表板视图。

摘要仪表板

搜索应用程序的摘要仪表板显示您刚上传至此Splunk服务器上的数据信息，并为您提供数据搜索方式。

此仪表板上显示的度量是由您访问和再装入此页面时幕后已保存的搜索生成。

（在本教程的最后部分，您将学会搜索、保存搜索并使用这些搜索构建您自己的仪表板，就像这个仪表板。

）

仪表板涵盖的内容

此搜索应用包含不同的仪表板和视图。

目前您只需了解以下两种：

•摘要，您目前所在位置

•搜索，您进行搜索的位置

使用搜索定位菜单定位并访问此应用程序的不同视图。

当您点击链接时，Splunk将把您带入所链接仪表板。

如果您正在访问该仪表板，请刷新此页。

搜索应用程序用户界面的其他内容：

•搜索与报告：

列出所有您已经保存的搜索和报告。

•搜索栏及时间范围选择：

您可以输入您要搜索的内容，并选择时间范围来检索事件。

•全球摘要界面：

此界面显示您的事件数据索引的度量，包括您Splunk索引中的事件总数，以及最早和最新的索引事件的时间信息。

此界面还将显示最近更新的事件（或您最近重新载入此仪表板的时间）。

•所有索引数据界面：

此界面显示您plunk服务器上的主要数据源、数据源类型及主机。

如果您使用的是新安装的Splunk服务器，就只能看到您刚上传的示例数据文件。

由于该文件是一次性上传文件，因此数据并不会变化。

当添加更多的数据时，此仪表板上将显示更多的信息。

如果您所添加数据的来源为非静止（如某程序编写的日志文件），则摘要页面上显示的数目将根据数据源而更改。

如果您使用的Splunk服务器是企业用共享或预安装的服务器，则此仪表板上将可能显示更多的信息。

开始搜索

在摘要仪表板仔细查看所有索引数据界面

您可以在ApacheWeb服务器日志和mySQL数据库日志查看您刚上传的鲜花礼品店数据。

如果您熟悉ApacheWeb服务器日志，您可能可以识别。

此源类型的所有数据都将告诉您访问鲜花礼品店网站的访客信息。

在Splunk中搜索的互动性非常好。

尽管摘要仪表板只有一个搜索栏，但您还不需要输入任何内容。

所有索引数据界面所列的每一数据源、数据类型及主机都有链接。

您仅需打开这些链接即可开始搜索。

2.在数据源栏，点击access_combined_wcookie。

将把您带入搜索仪表板，仪表板上将进行搜索并显示搜索结果：

此视图包含很多内容，让我们在继续搜索前先来看一下这些内容。

Splunk停止搜索？

如果您运行搜索的Splunk上载有的数据比本教程的示例数据更多，搜索时间就可能会更长。

如果搜索时间超过30秒，Splunk将自动停止搜索。

如果弹出搜索停止提示信息，点击继续搜索。

更多信息，请参阅《管理手册》的自动停止搜索部分。

搜索仪表板包含的内容

您应该已经熟悉搜索栏及时间范围选择，摘要仪表板上也有这些内容。

但搜索仪表板上还包含其他内容，如事件记录、时间轴、字段菜单及检索到的事件列表或搜索结果。

•匹配及扫描事件记录：

在搜索中，Splunk在检索时将显示两组事件记录：

一组为匹配事件记录，另一组为已扫描事件记录。

搜索完成后，时间轴上方的记录显示的是匹配事件的总数。

时间轴下方事件列表上方的记录显示您所选时间范围内的时间数目。

我们稍后可以看到，当向下钻取事件时，此数目会发生变化。

•事件的时间轴：

时间轴是每一时间点出现的时间数目的直观表示。

当时间轴随着搜索结果不断更新时，您可能会注意到有条状图案。

每一条状图案的高度表示时间记录。

时间轴的峰值和谷值可表示活动高峰期或服务器停机。

因此，此时间轴可有效用于强调时间模式或调查各事件活动的高峰期可低谷期。

时间轴选项位于时间轴上方。

您可以放大、缩小或更改图表的大小。

•字段菜单：

前面我们提过在您将数据编入索引时，Splunk可自动按名称和值的格式识别并生成数据信息，我们把这称作是字段。

当您进行搜索时，Splunk将把其从字段菜单上识别的所有字段列在搜索结果旁边。

您可以选择其他字段来显示您搜索的事件。

♦所选字段都已被设置为搜索结果可见格式。

将默认显示主机、源及源类型。

♦其它字段是Splunk从您的搜索结果中抽取的。

•事件查看器：

事件查看器将显示Splunk搜索到的与您的搜索相匹配的事件。

事件查看器位于时间轴下方。

事件默认显示为列表，您也可以用表格查看。

当您选择按表格形式查看事件时，表格只显示已选字段。

学完这节后，您可以进入下一节学习如何开始搜索鲜花店的情况。

开始搜索

开始搜索

本教程将告诉您如何通过搜索界面轻松简单地完成搜索。

如果对搜索界面不甚熟悉，开始操作之前您可以返回到搜索应用教程。

关于本教程，这是您与顾客支持小组一起为鲜花礼品网店工作的第一天。

假设您才刚刚开始了解网店的网络访问日志，这时您接到顾客的一通电话，向您抱怨在您网点买礼物给女朋友时遇到的麻烦，说他在点击完成交易时，不断地收到交易错误信息。

他向您提供了他的IP地址10.2.1.44。

关键词的Typehead

Splunk中的所有数据都是可被搜索到的。

您无需了解您数据的内容，因为在Splunk中进行搜索没有任何格式限制，您只需要在搜索栏中直接输入关键词，然后按下回车键（或点击搜索栏右端的绿色箭头）。

在前一节中，点击网络访问资源类型（access_combined_wcookie），您可以在Summary仪表板开始进行搜索。

进行相同的搜索以找到该顾客在鲜花礼品网店最近的访问历史。

1.在搜索栏中输入该顾客的IP地址。

sourcetype=access_combined_wcookie10.2.1.44

当您在搜索栏中输入的同时，将弹出Splunk“搜索助手”。

新截图:

圈出IP地址。

搜索助手可显示您的“typehead”或“上下文匹配结果”以及您在搜索栏中输入关键词的搜索结果。

这些匹配结果是根据您输入的数据生成的。

匹配条目之下的上下文匹配结果将根据您所输入的内容更新，因为更改输入内容可能会出现其他搜索结果。

搜索助手也可显示就所搜索的内容得到的匹配条目的数目，使您对Splunk将返回的搜索结果数量有个大致了解。

若在您的数据中未能发现任何条目或短语，则搜索助手将不会列出任何有关结果。

您可看到匹配条目中所列的顾客IP地址，但是否所有的数据都为正确的呢？

使用CIDR时应注意的事项

搜索助手可识别您所键入的为IP地址，因此建议您使用与您的搜索相匹配的Splunk自动CIDR（无类别域际路由选择）子网，以便您确定IP地址的子网。

您仅仅只是在搜索一个唯一的IP地址，无需有其他顾虑。

现在，忽略上下文帮助后面右面板上的所有内容。

若您开始学习搜索语言，搜索助手还有其他更多功能，这些将在下文中提到。

另外，若您不愿搜索助手自动打开，请点击“关闭自动打开”，并通过点击搜索栏下方的绿色箭头关闭窗口。

更多关键字搜索

2.如果您尚不清楚IP地址，可搜索IP地址。

Splunk可检索鲜花礼品网店顾客的访问记录。

新截图：

搜索栏所输入内容的标注。

每次搜索时，Splunk均将在结果中对您在搜索栏中输入的内容标上荧光色。

3.快速浏览搜索结果。

您应该可辨认出事件中所有与网店相关的关键字或短语（如鲜花、产品、购买等）。

新截图：

与上图相同，当所进行标注的是“鲜花”、“产品”和“购买”。

顾客之前提到他是在购买礼物的过程中遇到问题的，让我们试试看键入“购买”可得到的结果。

4.在搜索栏中键入购买：

sourcetype=access_combined_wcookie10.2.1.44purchase

当您搜索关键词时，不用区分大小写，Splunk将检索事件数据原始文本中所有含有这些关键词的事件。

在Splunk所检索的所有结果均为可显示顾客每次在网店上试着购买东西的事件。

结果显示，该顾客在刚才的数个小时内一直在尝试购买。

使用布尔运算符

若您熟悉Apache服务器日志，则在组合访问格式中，您将发现这些事件大部分均有“200”的HTTP状态或“成功”。

您现在对这些事件不感兴趣，因为顾客正在向您反映问题。

5.使用非布尔运算符可迅速移除所有成功请求页面。

键入：

sourcetype=access_*10.2.1.44purchaseNOT200

您发现顾客出现了HTTP服务器（503）和客户（404）错误。

新截图

但是，该顾客特别提到服务器错误，因此您想快速排除无关事件。

使用您的搜索结果，也可以快速添加布尔子句，并与您的搜索互动。

6.在搜索结果中用鼠标滑动，例如“404”，并按下ALT键。

这将对搜索结果中带有“非404”字符串的结果更新，并过滤所有含有该条目的事件。

新截图

快速浏览更多的搜索结果。

您注意到一些其他无关的状态代码（301和302）。

现在，您可以完全肯定您只是在搜索503s，您也想知道顾客总共看到错误提示多少次。

7.更改您的搜索，读取：

sourcetype=access_combined_wcookie10.2.1.44purchase503

从上述结果中，您发现每次客户都尝试完成购买，但总是收到错误提示。

现在您可以肯定客户的问题，接着您就可着手寻找问题根源。

关于使用布尔运算符进行搜索的更多信息

Splunk支持布尔运算符：

和、或和非和运算符总是在搜索条目间使用所以第四步的搜索和下述相同：

sourcetype=access_*AND10.2.1.44ANDpurchaseNOT200

当搜索中包含有布尔表达式时，运算符须全部大写。

使用括号将有关表达式组合起来，以便进行更复杂的搜索。

计算布尔表达式时