Zbieranie i monitorowanie logw w chmurze Nowe moliwoci

Zbieranie i monitorowanie logów w chmurze Nowe możliwości i wyzwania

$ whoami Lead Security Architect Weapons of Choice Certified

Agenda 1. Logi – po co, dlaczego, dla kogo. 2. Nowe wyzwania związane ze środowiskami chmurowymi. 3. AWS Cloudwatch – podstawowe informacje oraz przykład użycia w „Chat. Ops”. 4. Azure OMS Log Analytics – omówienie możliwości. 5. Inne możliwości: AWS Elasticsearch, AWS Kinesis Data Analytics. 6. Co dalej?

Logi I see what you’re doing here…

What is log?

Po co, po co? IT Security 21 Troubleshooting Visibility Accountability 18 3 2 Compliance 1

Zarządzanie logami – kiedyś

Zarządzanie logami - wczoraj

Nowe wyzwania w chmurze…

Where is your log now? !

Nowe wyzwania w zarządzaniu logami 1. Panta rhei – wszystko płynie. Zmienność (elastyczność) jest wpisana w naturę chmury. Nowe instancje serwerów oraz kontenery są nieustannie tworzone i zatrzymywane. Informacja o adresie IP znaczy niewiele (albo nic), ponieważ jeden adres może być współdzielony przez dziesiątki instancji. 2. Fugit hora – czas ucieka. Logi, które nie zostaną odpowiednio szybko przesłane mogą zostać bezpowrotnie utracone (EC 2 instance termination, etc. ).

AWS Cloudwatch Logs & Events

AWS Cloudwatch Monitorowanie zasobów w czasie (prawie) rzeczywistym • Przechowywanie logów z wielu miejsc (nie tylko systemy czy aplikacje, ale także inne serwisy AWS) • Możliwość przeszukiwania przy pomocy podanej frazy • Możliwość utworzenia alarmów oraz dashboardów

AWS Cloudwatch Logs

AWS Cloudwatch Logs – Search syntax

AWS Cloudwatch Dashboards / Alarms

AWS Cloudwatch Events Narządzie do obserwacji zdarzeń w serwisach AWS Pozwala np. na utworzenie powiadomienia gdy tworzona jest nowa instancja EC 2, nowy plik został wgrany do S 3, zmienione zostały ustawienia audytowania (Cloud. Trail) Event może zadziałać jako wyzwalacz do podjęcia akcji, np. utworzenie snapshot’a instancji EC 2, wywołanie funkcji Lambda, wysłanie powiadomienia serwisu SNS

Proof of Concept – „update alert”

„Update alert” - rezultat

Azure Logs Analytics Microsoft style logging

Azure Log Analytics • Występuje jako część Microsoft Operations Management Suite… oraz (od niedawna) Azure Monitor. • Z założenia ma służyć jako platforma do zbierania i analizy logów • Zbiera takie rodzaje danych jak Event, Heartbeat i Perf

Azure Log Analytics – możliwości

Azure Log Analytics – konsola

Azure Log Analytics – język zapytań Event | where (Event. Level. Name == "Error") | where (Time. Generated > ago(1 days)) | summarize Error. Count = count() by Computer | top 10 by Error. Count desc

AWS Elasticsearch Kinesis Streams & Firehose I co by można z nich zbudować

AWS Elasticsearch • Dobrze znana baza danych Elasticsearch, utrzymywana przez AWS • Serwis ten pozwala na szybkie (i bezbolesne) utworzenie klastra Elasticsearch’a • Dodatkowo dołączona jest „wyszukiwarka” - Kibana

AWS Elasticsearch - Kibana

Inne przykładowe rozwiązania

Analiza danych w czasie rzeczywistym Źródło: https: //aws. amazon. com/blogs/big-data/building-a-near-real-time-discovery-platform-with-aws/

Źródło: https: //aws. amazon. com/blogs/big-data/implement-serverless-log-analytics-using-amazon-kinesis-analytics/

Bieżące trendy i prognozy na przyszłość LAAS oraz czego możemy się wkrótce spodziewać

Logging as a Service? Splunk Storm Sumo Logic Loggly Papertrail Loggr Logentries Logdna …

Quo vadis Log Management Data Lake? Machine Learning? Big data? Blockchain? Io. T?

Gabriel Wierzbieniec gw@echelonsecurity. eu Dziękuję! Konsorcjum: echelonsecurity. eu Blog: cyberdefense. pl