Графит

Со вчерашнего я под приятным впечатлением от прочтения блога руководителя группы тестирования Яндекс Артема Кошелева, а также от интересных, а порой и нудных лекций в Курсах информационных технологий (КИТ) от Яндекса.

Очень понравилась система мониторинга на Графите, которую используют в Яндекс, а также системе нагрузочного тестирования Яндекс.Танк.

Ссылочки:
Wikipedia - Graphite
Graphite - Scalable Realtime Graphing
Graphite — как построить миллион графиков. Дмитрий Куликовский, Яндекс
Графики и Яндекс.Танк. Яндекс.
Наши танки. История нагрузочного тестирования в Яндексе
Тестирование в Яндексе: строим свой Лунапарк (Яндекс)
Яндекс.Танк - инструмент для проведения нагрузочного тестирования и анализа производительности веб-сервисов и приложений.
Github: Yandex-tank
Github (fork): Diamond (чем собирают данные с серверов)
offtop про мониторинг
Блог Matthew Barlocker: Architected Availability
Grafana
Kibana
Kale — open source-инструмент для обнаружения и корреляции аномалий
Shinken
Sensu
Time Series, метрики и статистика: знакомство с InfluxDB
Scripting Grafana dashboards
GUI for statsd other than Graphite
Tessera - dashbord for graphite
Icinga
Cabotapp - Cabot - monitor and alert (Get alerted when services go down or metrics go crazy)
Statsify — is a .NET port of Graphite/CollectD/StatsD. Statsify allows you to collect server-level and application-level metrics, store them in a time-series database, perform reporting and render beautiful graphs.
Graphite PowerShell Functions — A group of PowerShell functions that allow you to send Windows Performance counters to a Graphite Server, all configurable from a simple XML file.

http://habrahabr.ru/post/232767/#comment_7852533:
У нас как раз для сбора и анализа логов используется связка logstash-elasticsearch-kibana. Kibana только визуализирует данные, elasticsearch хранит, logstash — парсит. Logstash хороший парсер логов: много фильтров из коробки плюс возможность создавать свои средствами регулярных выражений или более простых grok выражений. Рекомедую попробовать.