Linux on Marco Gabriel Blog

GFS2 unter Proxmox um zusätzliche Nodes erweitern

Sat, 05 Nov 2022 11:40:24 +0100

Das Schöne an Proxmox VE (und generell an Open Source Software) ist, dass man nicht auf die Anwendungsmöglichkeiten beschränkt ist, die ein Hersteller für mich vorsieht.

Proxmox VE bindet FC- oder iSCSI-Storages normalerweise als Block-Storage ein. Das ist recht unkompliziert, performant und einfach zu erledigen. Allerdings lassen sich dann keine Snapshots von einzelnen Images oder VMs erzeugen. Storage-seitig können zwar Snapshots erzeugt werden (sofern die Storage das anbietet), aber dann wird eben die gesamte LUN einem Snapshot unterzogen.

Warum varnish für normale Webserver nichts bringt

Sun, 30 Nov 2014 15:00:46 +0100

Varnish ist ein extrem schneller caching reverse Proxy, der einem normalen Webserver vorgeschaltet wird. In der Regel beantwortet Varnish dann die Anfragen der Benutzer, entscheidet, ob er aus seinem eigenen Cache liefern kann und den Webserver dahinter nicht mehr fragen muss. Da Varnish den Proxy im Speicher hält, bedient er Anfragen extrem schnell. Was er nicht selbst bedienen kann, z.B. weil die Seiten aktive Inhalte haben oder nicht gecached werden dürfen, gibt er an den dahinter liegenden Webserver weiter. Darüber hinaus überwacht er die Webserver und verteilt Anfragen an mehrere Webserver. Fällt einer der Webserver aus, leitet Varnish dort einfach keine Anfragen mehr hin. Benutzer bekommen davon überhaupt nichts mit. Varnish ist übrigens auch völlig anpassbar über eine eigene Konfigurationssprache. Damit lassen sich extrem tolle Dinge relativ einfach realisieren.

Laufzeit eines Scripts unter Linux messen

Sun, 30 Nov 2014 13:56:48 +0100

Neulich hatte ich eine Unterhaltung darüber, wie man die Laufzeit eines Programms möglichst einfach misst. Im konkreten Fall wollten wir wissen, wie lange ein mysqldump benötigt hat. Dazu gibts unter Linux den Befehl time, den man dem zu messenden Programm einfach voranstellt.

time <Programm und Parameter>
[...Ausgabe des Programms...]

real    0m56.754s
user    0m0.784s
sys    0m4.004s

Der Wert hinter real zeigt an, wie lange das Programm gelaufen ist, im obigen Beispiel 0 Minuten, 56 Sekunden und 754 Millisekunden.

vi lernen in 30 Minuten

Sun, 22 Dec 2013 02:02:32 +0100

Geht nicht? Geht doch.

Und das Beste daran ist: “vimtutor " ist sehr wahrscheinlich schon installiert.

Einfach auf der Shell starten und den Anweisungen folgen:

vimtutor

fileListReceive failed bei backuppc rsync Sicherung

Wed, 09 Oct 2013 17:03:07 +0200

…könnte darauf hindeuten, dass rsync noch gar nicht installiert ist.

apt-get install rsync

behebt das Problem.

Linux diff im Detail

Sun, 29 Sep 2013 17:26:20 +0200

Eben habe ich einen schönen Artikel gefunden, der diff, kompare und meld mal im Detail beschreibt. Ich nutze diff beispielsweise immer um bei Upgrades zu sehen, welche Optionen bei einer neuen Konfigurationsdaten dazu gekommen sind.

mdadm Linux Software RAID Monitoring mit Zabbix

Thu, 19 Sep 2013 00:18:31 +0200

Sehr schöne Lösung: https://www.zabbix.com/forum/showpost.php?p=91083&postcount=18

Mails eines bestimmten Absenders aus der Postfix Queue löschen

Thu, 12 Sep 2013 21:44:26 +0200

Zabbix hat uns heute unseren Mailserver zugespammt mit berechtigten Fehlermeldungen. Eine einfache Möglichkeit, Mails eines bestimmten Absenders aus einer Postfix Queue zu löschen, bevor diese zugestellt werden, zeige ich hier (alles in einer Zeile):

mailq | grep absender@example.com | awk '{print $1}' > /tmp/zmails.tmp && while read LINE; do postsuper -d $LINE; done < /tmp/zmails.tmp && rm /tmp/zmails.tmp

Zabbix Queue voll?

Wed, 11 Sep 2013 22:26:27 +0200

Merke: Zeit richtig einstellen auf dem Zabbix Server hilft.

Der besagte Zabbix Server hatte die falsche Zeitzone und ging damit zwei Stunden nach. Damit kamen bestimmte Pakete von anderen Agents nicht “rechtzeitig " und wurden verworfen.

Nach Anpassung der Zeitzone mit

dpkg-reconfigure tzdata

lief die Queue auch schön leer.

Zabbix SNMP - Error building asn.1 representation

Wed, 28 Aug 2013 22:29:49 +0200

Fragt man mit Zabbix per SNMP Hosts ab und erhält die Meldung

Error building asn.1 representation

liegt es vermutlich an den fehlenden (und vermutlich noch nicht installierten) MIBs. Um unter Debian/Ubuntu diese MIBs zu installieren, genügt ein

apt-get install snmp-mibs-downloader

Danach sollte Zabbix noch mal durchgestartet werden und die SNMP Fehlermeldung sollte weg sein.

Testen kann man dies beispielsweise mit

snmpget -v2c -c public <serveradresse> <server.adresse> SNMPv2-MIB::sysUpTime.0

Erhält man wie erwartet die aktuelle Uptime als Antwort, werden die MIBs aufgelöst und es funktioniert.

GlusterFS zu OCFS2 mit DRBD migrieren

Mon, 26 Aug 2013 11:50:35 +0200

Mit Cluster Filesystemen kann man schon ziemlich viel Zeit verbringen. Nicht nur beim Einrichten, sondern auch beim Warten auf Daten, die von eben jenen Filesystemen angefordert werden.

Major Hayden beschreibt in seinem Blog, was ihn dazu bewogen hat, von GlusterFS auf ein OCFS2/DRBD Konstrukt zurück zu wechseln. Der Post ist schon von 2010, dürfte aber grundsätzlich noch immer relevant sein.

Webserver, simpel

Sun, 25 Aug 2013 12:08:42 +0200

python -m SimpleHTTPServer

Der Befehl startet einen Webserver, der das aktuelle Verzeichnis über Port 8000 freigibt.

~# python -m SimpleHTTPServer
Serving HTTP on 0.0.0.0 port 8000 ...

Man kann also nun über http://<adresse>:8000 auf das Verzeichnis zugreifen. Da Python quasi überall vorhanden ist, werden keine weiteren Freigaben oder Software benötigt. Nicht einmal root Rechte braucht man dafür.

Wer einen anderen Port bevorzugt, kann diesen noch dahinter angeben:

python -m SimpleHTTPServer [port]

So etwas ähnliches gibt’s auch in Bash, die obige Lösung finde ich aber einfacher.

Rsync Logical Volumes / LVM

Sun, 05 May 2013 17:20:03 +0200

Wenn man regelmäßig Daten transferieren oder abgleichen möchte, dann ist Rsync in der Regel das beste Mittel der Wahl. Rsync überträgt nur geänderte Dateien, tut dies sehr effizient, komprimiert dabei noch und verschlüsselt die Daten während des Transfers. Rsync funktioniert für regelmäßige Dateitransfers also extrem gut.

Schön wäre es nun, wenn man so etwas wie Rsync auch für sehr große Dateien oder Logical Volumes eines LVM verwenden könnte. Ein typischer Anwendungsfall ist die Sicherung von virtuellen Maschinen, bei denen diese Images auch schon mal mehrere hundert GB groß sind.

Wenn's mal wieder länger dauert: MySQL Tuning Scripts

Sat, 20 Apr 2013 17:01:46 +0200

Wer hat schon zu viel Zeit? Und irgendwas zu optimieren gibt’s doch immer:

MySQL Tuning Primer Script in Launchpad
MySQL Tuner (Unter Debian/Ubuntu auch über apt-get install mysqltuner installierbar)

Das Denken übernehmen die Scripte nicht, aber sie sind dabei sehr behilflich.

Bash: Zeile für Zeile

Sat, 20 Apr 2013 13:39:45 +0200

Neulich musste ich für die Umstellung eines Mailsystems ca. 3.300 Aliase umschreiben. Da diese Aliase aus mehreren Quellen stammen sollte das ganze auch automatisch und jederzeit wiederholbar sein. Ich kam irgendwann an den Punkt, an dem ich eine Datei lesen und mit jeder Zeile etwas tun musste.

Der Klassiker in Bash ist einfach:

for LINE in $(cat /pfad/zur/datei)
do
    echo $LINE
done

Dazu gibt es jedoch eine meist bessere Alternative:

while read LINE
do
    echo $LINE
done < /pfad/zur/datei

Variante 2 nutzt das read Kommando unter Linux und liest die Datei wirkich zeilenweise, wogegen Version 1 wortweise liest.

Neues Langzeitprojekt: Linux Home Automation

Mon, 01 Apr 2013 23:13:42 +0200

Links:

rsync nur einmal starten

Wed, 23 Jan 2013 05:07:13 +0100

Ab und an dauert ein rsync Job länger als geplant. Wenn man sicherstellen möchte, dass rsync in einem Cronjob nur ausgeführt wird, falls es nicht schon läuft, kann man folgendes Konstrukt verwenden:

pgrep -c rsync || rsync [options] quelle ziel

Ich hatte das vor einiger Zeit bei Serverfault schon mal als Antwort eingestellt, aber eigentlich ist es in meinem Blog auch gut aufgehoben.

Viele, sehr viele Dateien in einem Verzeichnis unter Linux löschen

Sat, 05 Jan 2013 15:47:49 +0100

Ein bestimmter Server wurde in letzter Zeit immer unzuverlässiger und stürzte öfter mal ab, ohne dass wir eine genaue Ursache ausmachen konnten. Gestern habe ich mich dem Server noch mal angenommen und ein bisschen Ursachenforschung betrieben. Ein einfaches ls -la /var/log dauerte schon ewig. Ich spekulierte schon über einen Festplattenschaden bis ich dann irgendwann tatsächlich eine endlose Dateiliste zu sehen bekam.

Ein ls -la | wc -l brachte hervor, dass in diesem Ordner mehr als 1,3 Millionen Files lagen. Kein Wunder, dass der Server dabei ab und an mal Schwierigkeiten hat. Die Ursache war, dass sich auf Debian/Ubuntu Systemen der sysklogd und logrotate gegenseitig in die Quere kommen. Aber dazu vielleicht ein anderes Mal mehr. Nun musste ich erst mal die ganzen überflüssigen Dateien löschen.

Automatische btrfs Snapshots vor Installation

Sun, 15 Apr 2012 16:58:45 +0200

Btrfs, so könnte man meinen, ist der kommende Star unter den Linux Filesystemen. Bis dahin ist es zwar noch ein weiter weg, denn auch btrfs hat noch einige Baustellen, aber es werden permanent weniger und die Entwicklung schreitet mit großen Schritten voran. Noch 2012 wird Oracle, als Arbeitgeber des Hauptentwicklers Chris Mason, das Filesystem als stabil kennzeichnen und es in der kommenden Version ihres Oracle Linux ganz offiziell supporten. Das alles lässt hoffen.

cdrecord unter Debian 6

Mon, 12 Mar 2012 00:18:44 +0100

Wer in Debian 6 eine Möglichkeit sucht, ein ISO Image auf einen Rohling zu brennen, wird cdrecord vermissen. Dies ist in Debian mittlerweile nicht mehr enthalten. Stattdessen kann man aber auf wodim zurückgreifen.

aptitude install wodim
wodim tolles-image.iso

Ubuntu / Debian: Installierte .deb Pakete eines Servers auf einem anderen Server installieren

Wed, 24 Aug 2011 12:14:00 +0200

Es kommt immer wieder mal vor, dass ein Server installiert werden muss, der einen alten Server ersetzen soll. So lange nur wenige Dienste oder Pakete auf dem alten Server installiert waren, lässt sich das auch schnell aus dem Kopf erledigen. Pakete auf dem neuen Server installieren, Config übernehmen, Config anpassen, läuft.

Allerdings gibt es auch Server, auf denen viele Pakete installiert sind und die mehrere Dienste anbieten. Hier eine Vorgehensweise, um sich das Leben einfacher zu machen:

Linux Backup mit Duply, Duplicity und Rdiff-Backup auf (potentiell unsichere) Online Speicher (Teil 2)

Tue, 13 Jul 2010 00:50:51 +0200

Teil 2: Duply und Duplicity

Im ersten Teil habe ich ja bereits die Unterschiede zwischen Duply / Duplicity und Rdiff-Backup geschildert. In diesem Teil gehe ich also davon aus, dass man Duplicity verwendet, weil man vom Provider einen FTP Backup Space zur Verfügung gestellt bekommen hat oder Amazons S3 nutzt.

Installation

Unter Ubuntu 10.04 LTS / Lucid Lynx könnte es kaum einfacher sein. Die Pakete sind bereits im Repository vorhanden und können direkt mittels aptitude installiert werden.

Linux Backup mit Duply, Duplicity und Rdiff-Backup auf (potentiell unsichere) Online Speicher (Teil 1)

Tue, 13 Jul 2010 00:10:00 +0200

Same procedure as every year, James!

Der neue Rootserver ist fertig, aber benötigt noch ein Backup. Hat man nun nicht gerade ein Rechenzentrum im Keller und kann dort Bänder wechseln gehen, bietet sich für Rootserver ein Backup auf verfügbaren Onlinespeicher an. Das kann in einigen Fällen ein weiterer Rootserver mit noch reichlich Platz sein, aber auch ein vom Provider zur Verfügung gestellter FTP Server oder auch Amazons S3 sind gute Alternativen.

Delete Files older than 30 days on Linux

Fri, 25 Jun 2010 20:16:59 +0200

find /path/to/files* -mtime +30 -exec rm {} \;

Ich mag Einzeiler… ;-)

raid initializing

Sun, 30 May 2010 19:58:24 +0200

Irgendwie bleibt immer ein seltsames Gefühl, wenn nach einem einfachen Reboot der Hardware Controller für eine Weile auf “Initializing” steht. Auch wenn’s laut Handbuch bei 3ware Controllern im RAID1 nichts ungewöhliches ist.

Ein Blick in’s gut versteckte Handbuch auf die Seiten 150 bis 158 hilft beim Beruhigen.

Ubuntu Jaunty / 9.04 Performance und die Sache mit dem Atom

Sun, 19 Jul 2009 13:16:32 +0200

Auf einem schlanken, schmalen, stromsparenden Atom 230 Rechner installierte ich kürzlich Ubuntu. Zunächst die 8.10, danach per Upgrade die 9.04. Alles lief soweit zufriedenstellend, aber so richtig glücklich war ich mit der Performance nicht. Ich dachte länger, dass es wohl so sei, wenn man einen Atom230 mit einer 1920x1080er Auflösung beauftragt, ~~denn Hubraum lässt sich nur durch mehr Hubraum ersetzen~~ und man daher auch damit leben müsse. Muss man aber nicht.

.cue / .bin unter Linux mounten oder brennen

Thu, 16 Jul 2009 18:26:31 +0200

.cue und .bin Dateien sind keine .iso Dateien. Nicht einmal annähernd. Unter Windows verstehen viele Brennprogramme das Format trotzdem und brennen es anstandslos auf eine Silberscheibe. Unter Linux sieht das nicht ganz so aus. Ich habe mich auch immer wieder darüber geärgert, bis ich über bchunk gestolpert bin.

Dieses Programm ist in der Lage, aus .cue und .bin mal eben eine .iso zu erstellen:

bchunk -v image.bin image.cue image

Nach ein wenig auf der Platte rödeln findet man eine fertige image.iso Datei. Und die kann man problemlos brennen, auch unter Linux.

tar split

Wed, 15 Jul 2009 11:35:00 +0200

Wer von irgendeinem Linux Filesystem auf eine externe Festplatte mit FAT(32) Filesystem Daten sichern möchte, kann ein Lied davon singen. Nicht, dass man unbedingt FAT32 haben möchte, aber die meisten externen Festplatten sind ab Werk damit vorformatiert und laufen daher an den meisten Betriebssystemen out-of-the-box.

FAT32 beschränkt die maximale Dateigröße jedoch auf 4 GB pro Datei. Für eine Datensicherung ist das heutzutage nicht mehr besonders viel.

Linux selbst bringt die Lösung in Form der Kombination aus den beiden Kommandos tar und split bereits mit:

Error: bad minute; while reading /etc/crontab

Thu, 09 Jul 2009 14:22:17 +0200

Gerade eben stellte ich fest, dass auf einem Ubuntu 8.04 Server die Cron-Jobs nicht mehr ausgeführt werden. Also machte ich mich auf die Suche nach dem Grund, konnte ihn aber zunächst nicht finden. In der /var/log/syslog dann der erste Hinweis:

Error: bad minute; while reading /etc/crontab

Die /etc/crontab sah allerdings sehr normal aus. Da gab es keine falschen Einträge oder fehlende Angaben. Nach einigem auskommentieren und testen bin ich dann auf die Lösung gekommen. In der crontab fand ich folgende Zeile, bei der ich mir erst mal nichts dachte:

RDP schneller machen über NX

Mon, 06 Jul 2009 18:05:05 +0200

RDP, das Remote Desktop Protocol, macht seine Arbeit beim Zugriff auf entfernte Server soweit ja ganz ordentlich. Mittlerweile liegt RDP in Version 6 vor und es gibt sogar unter Linux einen funktionierenden Client und auch einen funktionierenden RDP Server. Steht der zu steuernde Server allerdings hinter einer nicht ganz so breitbandigen Verbindung, lahmt RDP gelegentlich auch mal dahin. Selbst wenn man die Performance optimiert, fliesst es so la la, abhängig eben von der Upload-Bandbreite des Anschlusses an dem der Server hängt. Da auch ich oft auf RDP Server zugreife(n muss), die hinter einem normalen DSL Anschluss hängen kenne ich das Problem also auch aus erster Hand.

Fetchmail Alternativen

Sun, 16 Nov 2008 16:39:52 +0100

Fetchmail, der fast alles könnende Dinosaurier unter den Mailabholern, ist zwar weit verbreitet, aber mindestens genauso unbeliebt. Fetchmail kann viel und ist leicht zu konfigurieren, sofern man für jede Mail-Adresse ein separates Konto beim Provider und bereit ist, jedem Mailnutzer auch einen Linux-Account zu geben. In einer Welt der virtuellen Maildomains ist es dagegen eine mittlere Katastrophe, mit Fetchmail arbeiten zu müssen.

Alternativen zu Fetchmail gibt es zwar, ob sie für den jeweiligen Fall aber besser sind, muss jeder für sich beurteilen:

Warum defekte Platten unter Linux nicht mit dd gesichert werden sollten

Thu, 05 Jun 2008 11:58:27 +0200

Was tun wenn die Festplatte lustige Geräusche macht oder bereits Daten verloren hat, weil die Harddisk defekte Sektoren hat?

Das allseits beliebte dd zum Erstellen von Festplattenimages tut bei funktionierenden Festplatten seinen Dienst, bei Platten mit defekten Sektoren jedoch führt dd zu unbrauchbaren images. Aber warum und was passiert dabei genau?

dd bs=4096 conv=noerror,sync if=/dev/hda of=/mnt/server/imagedatei.img

dd liest blockweise (4096 Bytes) die Daten von der Festplatte /dev/hda, macht auch weiter wenn es auf Fehler trifft, füllt den Block mit Nullbytes auf 4096 bytes auf, falls er kürzer ist, und schreibt diese Dateien gleichzeitig in 4096 Byte Blöcken nach /mnt/server/imagedatei.img. Fatal ist, wenn Blöcke nicht lesbar sind. In dem Falle bricht dd zwar nicht ab, weil conv=noerror angegeben wurde, aber es liest keine Daten ein und schreibt auch keine Daten in das Image.

Kurztipp: Linux Festplattenimage über SSH sichern

Tue, 03 Jun 2008 23:31:29 +0200

(Alles in einer Zeile:)

server# dd bs=65536 if=/dev/hda | ssh -o Compression=yes user@host  "cat > image.img "

liest aus der shell von “server”
mit 64k Blöcken
den Festplatteninhalt von /dev/hda aus
meldet sich dann als user bei host an* und schickt das image via ssh komprimiert über die Leitung
und legt das Image im Homedir des Benutzers user als image.img ab.

Ja, ich steh auf ssh :-).

top Ausgabe übersichtlicher machen

Thu, 10 Apr 2008 23:17:45 +0200

Manchmal lohnt es sich, die Kommandozeilenparameter für Programme näher zu erforschen.

top -i

zeigt nur noch die aktiven Prozesse an, was deutlich übersichtlicher ist. Probierbefehl :-).

No route to host - aber nur für Postfix

Fri, 08 Feb 2008 19:19:02 +0100

Kürzlich überraschte mich mein interner Mailserver (Postfix) mit der Log-Meldung No route to host. Alle E-Mails blieben in der Mailqueue und wurde nicht mehr zum Smarthost ausgeliefert, von wo aus sie dann an die Empfänger geleitet werden.

Die Lösung dafür lag darin, daß beim DSL-Zugangsprovider kürzlich alles auf Port 25 abgehende gesperrt wurde, damit die ganzen Spambots eben nicht mehr spammen. Somit war es nur für Verbindungen auf Port 25 unmöglich, irgendetwas da draussen noch zu erreichen.