29 Aug 2006

Email spam geminimaliseerd

Categorie: Column — lammert @ 10:58

Waar ik recentelijk nog gemiddeld 200 berichten per dag in mijn email box vond met aanbiedingen van allerhande farmaceutica, goedkope Amerikaanse leningen en dergelijke is dat aantal nu gezakt tot beneden de tien. In maart van dit jaar was ik al blij dat ik een goede categorisatie van spam berichten had, maar je wilt steeds meer 🙂 Vandaar dat ik afgelopen week heb gekeken naar elimineren, in plaats van sorteren. De manier om dat voor elkaar te krijgen blijkt niet erg ingewikkeld te zijn.

Laat ik beginnen met te zeggen dat mijn configuratie vrij flexibel is. Ik heb een eigen server in de VS waarop mijn websites staan, en op die server laat ik ook alle email binnenkomen. Dat heeft als voordeel dat ik de verwerking van emails volledig zelf kan instellen waardoor ik optimale vrijheid en configuratie mogelijkheden heb. Tot voor kort maakte ik gebruik van een email server waarbij SpamAssassin wordt gebruikt na het ontvangen van een bericht om dat bericht in een categorie in te delen. Er zijn daarbij twee mogelijkheden. Een bericht kan door SpamAssassin als SPAM worden aangeduid, en wordt dan geplaatst in een mailbox waarin alle ongewenste reclame wordt bewaard. Andere berichten schuiven direct door naar mijn reguliere mailbox. Dit systeem werkt op zich goed. Er zijn zeer weinig foutieve inschattingen van de software. Periodiek ga ik door de lijst reclamemail om te kijken of er misschien toch nog iets tussen zit dat nodig was en daarna gooi ik die mailbox met spam berichten leeg. Dat deed ik voor ongeveer 1500 mails per week.

Deze aanpak heeft twee nadelen. Ten eerste moet ik periodiek tóch door de ongewenste emails lopen om te kijken of ze echt weg mogen. Dit gaat wel snel, want op basis van de onderwerp regel kun je in de meeste gevallen al bepalen of ze weg kunnen, maar het moet wel. Zeker wanneer ik in Kazachstan zit met trage internetverbindingen kan dit behoorlijk wat tijd vergen.

Bovendien denkt de afzender van de SPAM dat zijn bericht aangekomen is. De email server accepteert namelijk alle berichten en pas na volledige ontvangst worden de filters erop los gelaten. De afzender zal daarom dat adres de volgende keer weer proberen.

Daarom ben ik bezig geweest te kijken hoe ik het email systeem kan herconfigureren zodat emails waarbij al bij voorbaat bekend zijn dat ze SPAM zijn bij de poort geweigerd worden. Dergelijke emails bereiken nooit meer mijn spambox, en bovendien worden bij weigering aan de poort foutmeldingen teruggestuurd naar de afzender van de spam waardoor de spam software ziet dat zijn poging niet succesvol was. Bij voldoende niet succesvolle pogingen is er een gerede kans dat het emailadres uit de spamlijst wordt verwijderd. Want ook voor spammers geldt “tijd is geld” en het zenden van berichten naar geblokkeerde adressen is economisch gezien niet zinvol.

Het weigeren aan de poort van ongewenste berichten heeft nog een positief effect. Wanneer iemand’s computer of mailserver per ongeluk aangemerkt is als een spam bron, dan weigert mijn mailserver een inkomend bericht van die plek en geeft een antwoord inclusief de reden van de weigering. De afzender kan dan zelf een oplossing vinden voor zijn problemen—een recente virusscanner draaien, met zijn internet provider in contact, etc—en ik hoef niet meer periodiek door mijn spambox om te kijken of er misschien toch zo’n bericht doorgeglipt is.

De filtering bij de poort is nu ca. een week actief. Ik ben nog een beetje aan het tunen, maar zoals gezegd is het percentage niet gestopte spam op dit moment rond de 5% van wat het voorheen was. Die laatste vijf procent wordt overigens nog keurig afgevangen door SpamAssassin die ná de emailserver zit en op basis van de inhoud van het bericht keuzes maakt. De hoeveelheid doorgeschoten spam zie ik nu geleidelijk nog verder afnemen, omdat kennelijk spamsoftware ziet dat zenden van email naar mijn mailadressen vruchteloos is en daarom zinloos.

De wijzigingen die ik in mijn configuratie heb aangebracht zijn eigenlijk heel simpel.

Wanneer een email zender zich bij mijn server aanmeldt controleer ik vanaf welk IP adres de zender komt. Als dat IP adres vermeld is in één van de bloklijsten van spamhaus.org, njabl.org, spamcop.net of surriel.com wordt het bericht geweigerd. Meer is het niet. Het zeer goede resultaat lijkt met name te komen van de terugmelding aan de zender van de blokkade. De meeste email providers laten wel alle spam toe, maar filteren ze net als ik vroeger deed in een normale lijst, en een spamlijst. De zender denkt dan dat het bericht geaccepteerd is en probeert het doodleuk de volgende keer weer. Nu ze van mij consequent foutmeldingen terugkrijgen lijkt het erop dat mijn adressen als “hopeloos” in hun verzendlijst aangestreept worden waardoor ze niet weer geprobeerd worden en hopelijk op langere termijn zelfs uit de lijst verwijderd worden.

28 Aug 2006

Strijd tegen corruptie kost in Kazachstan 70 doden

Categorie: Dagelijkse leven — lammert @ 22:04

Een typische Telegraaf titel van dit bericht 🙂

In Kazachstan wordt vanuit de centrale overheid veel in het werk gesteld om de corruptie bij lagere overheden te voorkomen. Eén van de grote problemen waar de gewone burger mee te maken heeft is de politie die maar al te graag voor ieder wissewasje geld wil zien. Het is een algemeen bekend fenomeen dat ambtenaren van de verkeerspolitie met hun radarapparatuur op de plekken gaan staan waar de kans op hardrijden groot is, zoals bij hellingen naar beneden waar een snelheidsbeperking van 50 kilometer per uur geldt en dergelijke.

Om aan deze specifieke vorm van corruptie een eind te maken heeft de raad van politiecommisarissen in augustus 2005 besloten dat bemande radarcontroles in het land vervangen zullen worden door cameratoezicht, een beetje naar het model van Nederland. In Almaty is dat ongeveer vijf maanden geleden gebeurd, in de Zuid Kazachstaanse Oblast waar ik met Elmira vertoef enkele maanden terug. Alle radarapparatuur is ingeleverd waardoor er niet meer op snelheid gecontroleerd kon worden.

Dit is niet alleen opgemerkt door de echtgenotes van de politiemannen zelf—die hun maandelijkse inkomsten aanzienlijk zagen dalen—maar ook door de gemiddelde weggebruiker die zijn snelheid bij het ontbreken van controles aanzienlijk heeft opgevoerd. De resultaten waren schokkend.

De eerste maand na het inleveren van de radarapparatuur vielen er in de regio Shymkent 70 verkeersdoden, tegen acht in een normale maand. Het lokale bestuur heeft daarom opdracht gegeven verkeerscontroles direct weer massaal in het leven te roepen. Zonder radar, maar met fluitje staat daarom tegenwoordig op elke straathoek in Shymkent weer een politieagent.

Overigens zijn de verkeersproblemen in Shymkent niet nieuw. Deze snel groeiende en rijke stad van Kazachstan heeft grote problemen om met de bouw van nieuwe wegen gelijke tred te houden met de aanwas van het wagenpark. Veel bestuurders zijn onervaren, dronken of beide. Veel verkeerslachtoffers zijn daardoor het gevolg. Op 1 september 2004 is er in Shymkent een lokale wet in werking getreden die het rijden met dimlicht overdag verplicht stelde. De eerste september is de dag dat kinderen weer naar school gaan, vandaar dat die dag was gekozen. De eerste dag reed inderdaad ongeveer de helft van de auto’s met onstoken dimlichten, de tweede dag nog zo’n 25 procent en na een week helemaal niemand meer. Het was een niet te handhaven wet met al die krakkemikkige auto’s zonder deugdelijke verlichting en de meeste chauffeurs vonden het benzineverbruik teveel toegenomen.

Verkeersveiligheid heeft in de regio Shymkent bij de gemiddelde weggebruiker niet erg hoge prioriteit, vandaar dat controles door de verkeerspolitie voorlopig nog wel nodig zullen blijven.

24 Aug 2006

Kopstaartbotsing

Categorie: Dagelijkse leven — lammert @ 17:09

Als ikzelf in Nederland zit gaat Elmira meestal samen met haar broertje Ruslan naar Shymkent. Ruslan rijdt dan terwijl Elmira op de achterbank met Nathalie speelt. Vandaag vond een achterligger het bij een verkeerlicht nodig om tegen onze auto aan te tikken. Aan onze Lada is nauwelijks iets te zien, maar de botser heeft op zijn minst een nieuwe koplamp nodig en moet zijn nummerplaat opnieuw uitrichten.

In Kazachstan zijn de verkeersregels vrij eenvoudig en in de meeste gevallen niet veel anders dan in Nederland. Degene die achterop een stilstaande auto rijdt is schuldig aan het ongeluk en zo betaalde de bestuurder contant een bedrag voldoende om voor onze auto een nieuwe achterbumper te kopen. Nou is dat niet echt nodig, een paar wel gemikte tikken met een hamer hebben hem voor Kazachse begrippen weer in prima vorm gebracht.

Ondanks dat het allemaal stapvoets gebeurde verraste de klap Elmira en het was voor haar een extra reden om altijd de veiligheidsgordels te dragen.

Kopstaartbotsing

21 Aug 2006

Nieuwe brug in Karataugebergte

Categorie: Foto's rond Jabagly — lammert @ 13:20

Kazachstan heeft de eerste tien jaar na de onafhankelijkheid van de Sovjet Unie een periode van recessie gekend waarin veel publieke voorzieningen te gronde zijn gegaan. De laatste vijf jaren gaat het met name door de olie weer goed met het land en een deel van de de inkomsten stromen terug naar de bevolking. Met name infrastructuur wordt door de overheid aangepakt. Zo hebben we dit jaar in ons dorp al een nieuwe digitale telefooncentrale gekregen, is de centrale waterleiding op veel plaatsen opgegraven om lekken te dichten waardoor onze waterdruk sinds enkele maanden veel hoger is en heeft men de riolering helemaal geleegd en schoongemaakt waardoor elk huis weer zijn afvalwater via de centrale riolering kwijt kan.

Een ander voorbeeld is de recente bouw van een brug over een riviertje in het Karataugebergte richting een natuurpark en het dorp Abai. Tot voorkort moesten we het riviertje altijd oversteken over een aantal grote buizen die in de stroom waren gelegd, maar de bouw van een nieuwe brug is nu afgerond waardoor het verkeer ook bij sterke regenval op een normale manier de overkant kan bereiken.

Nieuwe brug in Karatau

7 Aug 2006

Layout wijziging

Categorie: Over webloggen — lammert @ 3:52

De random foto’s rechts bovenin het scherm voldoen goed, al zeg ik het zelf. Het opzichtelijke logo van Wij Vertrouwen Stemcomputers Niet heb ik weggehaald en vervangen door een link onder het kopje interessante sites. De eerste golf om aandacht te krijgen voor deze groep is nu wel voorbij en de bekendheid is inmiddels aardig gegroeid. Tijd dus om de link wat vriendelijker van aanzicht te maken.

De random foto’s die ik rechtsboven toon zijn allemaal in liggend formaat. Wanneer op de foto geklikt wordt verschijnt het bericht waarin de foto voorkomt. Ik heb ook nog een hele serie foto’s in staand formaat. Eens kijken waar ik die op een nette manier in kan plakken.

Nathalie krijgt gezelschap

Categorie: Dagelijkse leven — lammert @ 3:46

Bij insiders is het al een tijdje bekend, maar nu dan ook via dit medium voor de rest van de wereld. Nathalie krijgt waarschijnlijk februari of maart volgend jaar gezelschap. Elmira is al een aantal weken zwanger en afgelopen week is ze voor een echo naar Shymkent geweest. Deze tweede telg ligt volgens de deskundigen hoger dan Nathalie, maar leuk pluspunt is vooral dat Elmira er minder last van heeft. De constante misselijkheid die bij Nathalie tot bijna de laatste dag geduurd heeft is er nu praktisch niet.

Afwachten wat, hoe en wanneer het er uitkomt, maar voorlopig ziet het er goed uit. Geheel in de trand met grote software fabrikanten zoals Microsoft moeten we nog een werknaam verzinnen tot dat de bevalling een feit is. Voor Nathalie was dat Knufsik, voor deze nieuwe telg moeten we nog even brainstormen.

6 Aug 2006

Foto per pagina

Categorie: Over webloggen,Website ontwikkeling — lammert @ 1:12

Mijn weblog is wat stijfjes van vormgeving. Daarom ben ik vanavond bezig geweest om een foto toe te voegen in de topbalk. Een foto mag niet teveel plek innemen. Daarom heb ik gekozen voor een oplossing waarbij de foto een stukje onder de topbalk uitsteekt. Daar zit toch bij alle pagina’s een leeg wit stuk.

Eerst heb ik het geprobeerd met één foto, maar dat wordt op den duur eentonig. Daarom laat ik nu uit de op de weblog beschikbare foto’s er steeds één at random zien. Door op de foto te klikken wordt je gebracht naar de pagina waar die foto in het groot te bewonderen is. De implementatie bleek verrassend eenvoudig met standaard componenten uit WordPress. De functies om fotolinks te beheren en random te selecteren bleek reeds aanwezig te zijn. Waarschijnlijk omdat de maker van WordPress, Matt Mullenweg, een fervent fotograaf is en er zelf een fotoblog op nahoudt die natuurlijk draait op WordPress. Ook hij heeft rechts bovenin zijn layout een random foto opgenomen.

5 Aug 2006

Language of content negotiation

Categorie: Website ontwikkeling — lammert @ 15:39

Wie ooit de support website van Microsoft heeft bezocht op support.microsoft.com, zal waarschijnlijk gemerkt hebben dat de website Nederlandstalig is. Voor bezoekers uit andere landen wordt echter een tekst in een andere taal gepresenteerd. Hoe is dat mogelijk met één en dezelfde website naam?

Microsoft maakt hierbij gebruik van een optie die de meeste webservers en browsers bieden, namelijk content negotiation. Content negotiation betekent, dat de browser een aantal voorstellen doet aan de webserver over de gewenste informatie. Hiermee kan de gewenste taal worden opgegeven, maar bijvoorbeeld ook of liever .png dan .jpg beeldbestanden worden ontvangen. De webserver kijkt vervolgens in zijn lijst beschikbare bestanden en informatie en stuurt het best passende document terug naar de browser.

In de praktijk maken slechts zeer weinig websites van deze mogelijkheid gebruik. Het vereist namelijk dat op de webserver softwareopties worden aangezet waarmee in de aanwezige documenten wordt gezocht naar de best passende optie. Dit zoeken kost processortijd en diskactiviteit, en daarom hebben hostingbedrijven de optie—zeker bij de goedkopere hosting abonnementen—standaard uitgeschakeld. Op die manier kunnen ze meer pagina-aanvragen via dezelfde server per seconde verwerken en kunnen ze meer websites op één server proppen. Een economisch verhaal dus. Bovendien vereist het kennis bij de websitebouwer en de dicipline om bestanden waar mogelijk in meerdere versies (talen, bestandsformaten) aan te bieden.

Omdat ik echter gebruik maak van een eigen server voor mijn websites is het geen probleem om de content negitiation optie aan te schakelen in mijn Apache webserver. Voor één website gebruik ik het nu als proef om pagina’s in verschillende talen aan te bieden afhankelijk van de taalinstelling van de bezoeker, language negotiation dus. Wie naar die website gaat, zal waarschijnlijk een Nederlandstalige pagina te zien krijgen. Mocht dat niet zo zijn, dan staan de taalinstellingen in de browser verkeerd en is waarschijnlijk Engels als eerste taal ingesteld.

24 queries. 0.383 seconds.