Atliay Betl Delalic Nijaz PS Kryptographie und IT
Atliay Betül Delalic Nijaz PS Kryptographie und IT Sicherheit SS 17 Spam & Spam Prävention 1
• • • • Definition Arten Funktionsweise Technische Voraussetzungen Auswirkungen Kosten Rechtslage in Österreich Anti-Spam-Maßnahmen (clientseitig) SMTP Anti-Spam-Maßnahmen (serverseitig) • Ort der Maßnahme • Greylist-Methode • Blacklist-Methode • Spamfilter • Bayes-Filter-Methode • Bewertung und Behandlung Praxisteil 1: Spamfilter-Einstellung bei Gmail Praxisteil 2: Spam. Detector-Implementierung Video Quellen PS Kryptographie und IT Sicherheit SS 17 INHALT 2
Definition • UBE (Unsolicited Bulk Email): • kein Einverständnis des Empfängers zum Empfang der Nachricht • Massenmail (bulk email): • viele Empfänger erhalten eine Nachricht mit substantiell gleichem Inhalt PS Kryptographie und IT Sicherheit SS 17 • unverlangt zugesandte Massen-E-Mail 3
• • • Email Spam Usenet Spam Suchmaschinen-Spam Referrer-Spam over Internet Telephony (SPIT) Spam over Mobile Phone (SPOM) PS Kryptographie und IT Sicherheit SS 17 Arten 4
Arten • Email Spam • UCE = Unsolicited Commercial E-Mail • E-Mail mit kommerziellen Inhalten • dubiose, besonders günstig erscheinende Angebote • Kollateraler Spam/Backscatter • E-Mails, die als Antwort auf eine eingehende E-Mail erzeugt und einem unbeteiligten Dritten zugestellt werden • Auslöser sind häufig Malware- oder Spam-Mails, da gefälschte Absender benutzt werden PS Kryptographie und IT Sicherheit SS 17 • Unverlangte Massen-E-Mail • Unverlangte kommerzielle E-Mail 5
Arten • Usenet Spam • immer gleichlautende Werbung in Newsgroups posten • Suchmaschinen-Spamming • Referrer-Spam • Webseiten massenhaft aufgerufen • Spam over Internet Telephony (SPIT) • Unerwünschte, automatisch eingespielte Anrufe per Vo. IP • Spam over Mobile Phone (SPOM) • Unerwünschte Kurzmitteilungen oder Anrufe PS Kryptographie und IT Sicherheit SS 17 • Bewertungs-Algorithmen von Suchmaschinen beeinflussen 6
Funktionsweise (1): Spamwebseite (2): Spammer (3): Spam (4): Infizierte Computer (5): Virus oder Trojaner (6): E-Mail-Server (7): Computernutzer (8): Internetverkehr PS Kryptographie und IT Sicherheit SS 17 • Spamverkehr im Internet 7
• • E-Mail-Programm SMTP-Relay-Server Bandbreite Internetzugang Rechner In der Vergangenheit offene Mail-Relays als Relay-Server Vorteile: Absender wird verschleiert und die eigenen Ressourcen werden geschont PS Kryptographie und IT Sicherheit SS 17 Technische Voraussetzungen für E-Mail. Spam 8
• durch Herausgabe der E-Mail-Adresse auf einer nicht autorisierten Website • Gefüllte Posteingänge • Langsame Internet-Geschwindigkeit • Weitergeben von nützlicher Informationen • Suchkriterien ändern • Zeitverschwendung PS Kryptographie und IT Sicherheit SS 17 Auswirkungen 9
Von 2005. PS Kryptographie und IT Sicherheit SS 17 Kosten 10
Kosten • Die meisten Unternehmen verbringen nicht nur Tausende von Dollar auf Anti-Spam-Software und Hardware-Lösungen, sondern auch Geld für Mitarbeiter und Berater, um die Technologien zu planen, und zu implementieren. PS Kryptographie und IT Sicherheit SS 17 • Laut einer Studie, die in diesem Jahr von Nucleus Research Inc. durchgeführt wurde, kostet das Spam-Management US-Dollar mehr als 71 Milliarden US-Dollar jährlich in Produktivitätsverlust - 712 US-Dollar pro Mitarbeiter. 11
Kosten • Zeitverschwendung der Mitarbeiter • 16 Sekunden im Durchschnitt, um jede Spam-Nachricht zu überprüfen und zu löschen • 4, 5 Minuten pro Woche • durchschnittlich 7, 3 Minuten pro Woche auf der Suche nach verlorenen Nachrichten • Verschwendete Speicher • zusätzliche Speicherkapazitäten hinzufügen • Speicherplatz und Geld verbraucht PS Kryptographie und IT Sicherheit SS 17 • Produktivität verloren 12
Kosten Verschwendete Speicher PS Kryptographie und IT Sicherheit SS 17 • zusätzliche Speicherkapazitäten hinzufügen • Speicherplatz und Geld verbraucht 13
Kosten • immaterielle Kosten • die meisten Spam-Filter blockieren jede Mail mit "Nigeria" als Titel oder im Text PS Kryptographie und IT Sicherheit SS 17 • breitere, wirtschaftliche Auswirkung auf Unternehmen und Nationen • Beispiel: Nigeria 14
PS Kryptographie und IT Sicherheit SS 17 Spam-Herkunftsländer weltweit im Jahr 2016 15
PS Kryptographie und IT Sicherheit SS 17 Zielländer Schadversendungen 16
PS Kryptographie und IT Sicherheit SS 17 Spam-Anteil im weltweiten EMail-Traffic, 2009 bis 2016 17
• 1999 – 2003 nach § 101 TKG 1997 UCE und UBE verboten • Opt-in: vorherige Zustimmung des Empfängers erforderlich • Nachfolgeregelung § 107 TKG 2003 erlaubte UCE an Unternehmen oder Behörden • Opt-out: Nachrichten ablehnen können • seit März 2006 Versand von UCE und UBE (ohne vorherige Zustimmung des Empfängers) verboten PS Kryptographie und IT Sicherheit SS 17 Rechtslage in Österreich 18
Rechtsfolgen bei Verstößen • Verwaltungsübertretung • Verletzungen der Impressums- und Offenlegungspflichten sowie Verstöße gegen das Kennzeichnungsgebot von (Direkt-) Werbung • 2. 180 Euro bzw. 3. 000 Euro PS Kryptographie und IT Sicherheit SS 17 • Geldstrafe bis zu € 37. 000, - 19
• der Absender hat die Kontaktinformation für die Nachricht im Zusammenhang mit dem Verkauf oder einer Dienstleistung an seine Kunden erhalten und • die Nachricht erfolgt zur Direktwerbung für eigene ähnliche Produkte oder Dienstleistungen und • der Kunde hat die Möglichkeit erhalten, den Empfang solcher Nachrichten bei der Erhebung und • bei jeder Übertragung kostenfrei und problemlos abzulehnen und • der Kunde hat die Zusendung nicht im Vorhinein abgelehnt. Insbesondere darf nicht an Empfänger, die in die Robinson-Liste eingetragen sind, gesendet werden. Diese Liste wird bei der Regulierungsbehörde für Telekommunikation und Rundfunk geführt und ist vom Absender immer zu beachten, wenn keine Zustimmung vorliegt. PS Kryptographie und IT Sicherheit SS 17 Voraussetzungen für elektronische Post ohne vorherige Zustimmung 20
• Massensendungen • >50 Empfänger • auch wenn keine Werbung • nicht jede Massenmail ist rechtswidrig • kann ausdrücklich vom zukünftigen Empfänger erteilt werden, indem er eine Erklärung unterschreibt • Kennzeichnung • Jede (Direkt-) Werbung in elektronischer Kommunikation muss als solche gekennzeichnet werden. • Impressum • Nach § 14 UGB und § 63 Gew. O müssen alle E-Mails ein Impressum enthalten. PS Kryptographie und IT Sicherheit SS 17 • Zustimmung 21
• • • Sichere Konfiguration eigener Systeme Auswahl der eigenen Mailadressen Anzahl eigener Mailadressen begrenzen Zusatzinformationen in den eigenen E-Mails mitgeben Wegwerf-E-Mail-Adressen und Alias-Adressen Verschleierung der E-Mail-Adresse PS Kryptographie und IT Sicherheit SS 17 Anti-Spam-Maßnahmen (clientseitig) 22
• • Simple Mail Transfer Protocol Einspeisen und Weiterleiten von E-Mails Port 25 Port 587 Mail User Agent (MUA) Mail Submission Agent (MSA) Mail Transfer Agents (MTA) PS Kryptographie und IT Sicherheit SS 17 SMTP 23
PS Kryptographie und IT Sicherheit SS 17 SMTP-Dialog Kommandos 24
PS Kryptographie und IT Sicherheit SS 17 • einfache SMTP-Sitzung zum Versenden einer E-Mail 25
Anti-Spam-Maßnahmen (serverseitig) • • • Im Server beim Versand Im Server vor Annahme der E-Mail Im Server nach Annahme der E-Mail Im Client vor Abholung der E-Mail Im Client nach Abholung der E-Mail Greylist-Methode Blacklist-Methode Spamfilter Bayes-Filter-Methode Bewertung und Behandlung PS Kryptographie und IT Sicherheit SS 17 • Ort der Maßnahme 26
Ausgangsfilterung SMTP-Port-Sperren Absenderauthentifizierung E-Mail kommt niemals beim Mailserver des vom Spammer vorgesehenen Empfängers an • Empfänger bekommt eine einzelne Spam-Mail, der Absender. Provider sieht aber die E-Mails an alle Empfänger • Empfänger hat keinerlei Einfluss darauf , welche E-Mails ihm zugehen • Provider des Spammers entscheidet, was ausgeliefert wird und was nicht • • PS Kryptographie und IT Sicherheit SS 17 Im Server beim Versand 27
• • • Dialog zwischen Absender- und Empfängersystem Absender- und Empfängeradressen austauschen eigentliche E-Mail transportieren mehrere Phasen im SMTP-Dialog Die Ablehnung kann • durch Nicht-Annahme der TCP-Verbindung ( z. B. durch IP-Level. Filter), • nach dem TCP-Connect, vor dem HELO (statt des Banners), • nach dem Kommando HELO, • nach dem Kommando MAI L FROM, • nach dem Kommando RCPT TO, oder • nach dem Kommando DATA, gefolgt von. erfolgen. PS Kryptographie und IT Sicherheit SS 17 Im Server vor Annahme der EMail 28
• E-Mail zustellen oder Fehlermail (bounce) an den Absender senden • MTA ruft ein externes Filterprogramm auf und übergibt ihm die E-Mail • Nachteil: viele bounces und kollaterale Spams PS Kryptographie und IT Sicherheit SS 17 Im Server nach Annahme der EMail 29
Im Client vor Abholung der EMail PS Kryptographie und IT Sicherheit SS 17 • über POP 3 - oder IMAP-Protokoll den header E-Mail anfordern • Unterscheidung in Spam und Ham treffen • Löschkommando für jede Spam-Mail zum Server schicken 30
• Anwender kann beliebige Software einsetzen • Filter beliebig konfigurieren und auch ganz deaktivieren • Nachteil: E-Mail muss den ganzen Weg bis zum Client durchlaufen; für Anwender langsame Modemverbindungen sehr unangenehm PS Kryptographie und IT Sicherheit SS 17 Im Client nach Abholung der EMail 31
• Annahme wird mit einer vorgetäuschten Fehlermeldung verweigert • Absenderadresse kommt vorübergehend auf eine graue Liste • Wenn der Absender nach einer bestimmten Zeit die Sendung wiederholt, gilt er als konform und wird von der grauen Liste entfernt; anderenfalls ignoriert • einmal als konform erkannter Absender kann in eine weiße Liste eingetragen werden und wird in Zukunft direkt akzeptiert • seriöse Absender können durchfallen, wenn deren Mailserver falsch konfiguriert sind PS Kryptographie und IT Sicherheit SS 17 Greylist-Methode 32
Blacklist-Methode • RBL-Server (Realtime Blackhole List) • Diese Methode überprüft den Inhalt der E-Mail nach bestimmten Ausdrücken bzw. Stichworten oder den Absender auf Einträge aus einer Negativliste (Blacklist). • Ausdruck in der E-Mail aussortieren • manuell erstellen • aufwendig zu verwalten • bereits voreingestellte Blacklists PS Kryptographie und IT Sicherheit SS 17 • Adressen bekannter Spamversender in Echtzeit gesammelt 33
Spamfilter • Ansatzpunkte für eine Filterung: PS Kryptographie und IT Sicherheit SS 17 • IP-Adresse • Absenderadresse und – domain • Inhalt 34
• statistisches, selbstlernendes Filter • Bayes‘sche Wahrscheinlichkeit • Benutzer muss etwa die ersten 1000 E-Mails manuell als Spam oder Nicht. Spam klassifizieren. Danach erkennt das System fast selbständig mit einer Trefferquote von meistens über 95 % die Spam-E-Mail. Vom System fehlerhaft einsortierte E-Mails muss der Anwender manuell nachsortieren. Dadurch wird die Trefferquote stetig erhöht. • Satz von Bayes: PS Kryptographie und IT Sicherheit SS 17 Bayes-Filter-Methode 35
• Wünschenswert: • große True-Positive- und True-Negative-Rate • kleine Werte für false negatives und false positives • Behandlung nach der Bewertung: • Markierung • Zustellung • Abweisung • Löschen PS Kryptographie und IT Sicherheit SS 17 Bewertung & Behandlung 36
Praxisteil 1: Spamfilter. Einstellung bei Gmail PS Kryptographie und IT Sicherheit SS 17 Ø „Einstellungen“ Ø „Filter und blockierte Adressen“ Ø Neuen Filter erstellen, Filter importieren, E-mail Adresse blockieren oder Blockierung aufheben 37
Praxisteil 1: Spamfilter. Einstellung bei Gmail PS Kryptographie und IT Sicherheit SS 17 Ø Wenn Sie „Neuen Filter erstellen“ wählen, dann können Sie Filter auf verschiedene E-mail Adressen, Betreffen, spezifische Wörter oder große Anhänge einstellen. 38
Praxisteil 1: Spamfilter. Einstellung bei Gmail PS Kryptographie und IT Sicherheit SS 17 Ø Dann wählen Sie , wohin die Nachricht verschoben sein soll. 39
Praxisteil 1: Spamfilter. Einstellung bei Gmail PS Kryptographie und IT Sicherheit SS 17 ü fertig 40
• • Spamfilter mit Bayes Filter Map Reduce Gültige Wörter in eine Hash. Map als Schlüssel einfügen Node-Klasse • spam. Count • ham. Count • Probability PS Kryptographie und IT Sicherheit SS 17 Praxisteil 2: Spam. Detector Implementierung 41
Praxisteil 2: Spam. Detector Implementierung • Wahrscheinlichkeit • floating point-Wert zwischen 0. 0 und 1. 0 • Filterung: L =|0. 5 - probability| N Werte Wahrscheinlichkeiten p 1, …, p. N Wahrscheinlichkeit P = (p 1*p 2*p 3. . p. N)/((p 1*p 2*p 3. . p. N) + ((1 p 1)*(1 -p 2)*(1 -p 3). . (1 -p. N))) • Je näher P an 0 ist, desto niedriger ist die Wahrscheinlichkeit, dass es Spam ist. • • PS Kryptographie und IT Sicherheit SS 17 • probability = (spam. Count/total. Spam)/((spam. Count/total. Spam) + (ham. Count/total. Ham)) 42
Praxisteil 2: Spam. Detector Implementierung • • 'quick and easy jobsite' is spam 'will there be a production release tomorrow' is not a spam 'plan your retirement soon' is spam 'you have won a state lottery claim your money now' is spam 'register with our jobsite and get your dream job and money now' is spam 'today with our jobsite making money is not all that hard' is not a spam 'today with our jobsite making money is not all that hard' is spam 'back to office today and started off coding' is not a spam PS Kryptographie und IT Sicherheit SS 17 • 3 Dateien: ham. txt, spam. txt, common-words. txt • Nach Lotto, Pension und Job gefiltert • Ausgabe: 43
• • • • Quick and easy way to make money Congratulations you have won a lottery Claim your prize now Thanks for applying to our jobsite Greetings from jobsite Solution for all your financial needs Buy home now at less money Dream of your home You are minutes away from retirement One stop solution for your financial needs Plan your retirement days Its all about money honey Our jobsite found that you have not been active You have won the US state lottery Help me sell this piece of land PS Kryptographie und IT Sicherheit SS 17 Spam. txt 44
• • Code walk-thru meeting scheduled today I will be late to the office today We will have a day off tomorrow after the release Production is down today I will be transferring the money to you today Some of the changes you did are not right Lets hope that the code changes go smooth Have you finished your code changes PS Kryptographie und IT Sicherheit SS 17 Ham. txt 45
• • • • • • able been being could does done first good have just many most should this that then they value would when with your PS Kryptographie und IT Sicherheit SS 17 common-words. txt 46
Praxisteil 2: Code PS Kryptographie und IT Sicherheit SS 17 • Spam. Detector. java 47
48 PS Kryptographie und IT Sicherheit SS 17
49 PS Kryptographie und IT Sicherheit SS 17
Video PS Kryptographie und IT Sicherheit SS 17 • This is what happens when you reply to spam email https: //www. youtube. com/watch? v=_Qd. PW 8 Jr. Yz. Q 50
• https: //www. bsi. bund. de/Shared. Docs/Downloads/DE/BSI/Publikationen/Studien/Ant ispam/Antispam. Strategien. pdf; jsessionid=24 D 87 F 3 A 79 ABF 85 C 215 E 4 ED 0 DD 88 AFF 5. 1_cid 341? __blob= publication. File&v=1 • https: //de. wikipedia. org/wiki/Spam • https: //en. wikipedia. org/wiki/Anti-spam_techniques • https: //www. youtube. com/watch? v=_Qd. PW 8 Jr. Yz. Q • http: //spam. abuse. net/overview/whatisspam. shtml • https: //alphanodes. com/sites/default/files/documents/Vortrag%20 Spam. pdf • https: //de. wikipedia. org/wiki/Spamfilter • https: //en. wikipedia. org/wiki/Anti-spam_techniques • http: //javatroops. blogspot. co. at/2012/12/adaptive-spam-filtering-algorithm. html • https: //itconnect. uw. edu/connect/email/resources/uw-email/spam-filter/junk-emailfunction/ • https: //blog. botfrei. de/2011/08/was-kostet-e-mail-spam-welchen-gewinn-macht-der -spammer/ • http: //www. lanbugs. de/howtos/postfix/standard-smtp-dialog/ • https: //de. wikipedia. org/wiki/Simple_Mail_Transfer_Protocol PS Kryptographie und IT Sicherheit SS 17 Quellen 51
PS Kryptographie und IT Sicherheit SS 17 VIELEN DANK FÜR DIE AUFMERKSAMKEIT! 52
- Slides: 52