Object Storage

Wann Object Storage

Kein Dateisystem – eine HTTP-API: put, get, list, delete auf Objekte in einem Bucket. Kein Anhängen an eine Datei, jede Operation ein Request. Dafür: praktisch unbegrenzt, pro GB (Gigabyte) bezahlt, HTTP-erreichbar, Versionierung, Lebenszyklus-Regeln, signierte Links.

1 Hetzner Object Storage

1. console.hetzner.com › Object Storage › Bucket erstellen → Standort fsn1 / nbg1 / hel1, Name seb4u-data (im Hetzner-Namespace eindeutig), Sichtbarkeit privat.
2. Security › S3-Zugangsschlüssel › generieren – Access Key + Secret, sofort in den Passwortmanager.
3. Endpoint: https://fsn1.your-objectstorage.com (Path-Style) oder https://<bucket>.fsn1.your-objectstorage.com (Virtual-Hosted). Region-Name = der Standort.

2 Der Client: rclone / aws

[hos]
type = s3
provider = Other
access_key_id = DEIN_ACCESS_KEY
secret_access_key = DEIN_SECRET
endpoint = https://fsn1.your-objectstorage.com
region = fsn1
acl = private

winget install Rclone.Rclone        # bzw. apt install rclone

rclone ls    hos:seb4u-data
rclone copy  ./dist hos:seb4u-data/site --progress
rclone sync  ./fotos hos:seb4u-data/fotos --progress   # Achtung: loescht am Ziel, was lokal fehlt
rclone cat   hos:seb4u-data/notiz.txt
rclone link  hos:seb4u-data/report.pdf --expire 1h   # signierter Download-Link

aws configure set default.s3.addressing_style path
$env:AWS_ACCESS_KEY_ID='...'; $env:AWS_SECRET_ACCESS_KEY='...'
aws --endpoint-url https://fsn1.your-objectstorage.com s3 ls s3://seb4u-data

3 Öffentlich vs privat

Standard: alles privat, Zugriff nur mit Key oder signiertem Link. Für statische Assets einen öffentlich lesbaren Prefix.

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": "*",
    "Action": "s3:GetObject",
    "Resource": "arn:aws:s3:::seb4u-data/public/*"
  }]
}

aws --endpoint-url https://fsn1.your-objectstorage.com \
  s3api put-bucket-policy --bucket seb4u-data --policy file://policy.json

# CORS, falls eine Web-App direkt zugreift
aws ... s3api put-bucket-cors --bucket seb4u-data --cors-configuration file://cors.json

4 Versioning & Lifecycle

E=https://fsn1.your-objectstorage.com; B=seb4u-data

# Versionierung an: ueberschriebene/geloeschte Objekte bleiben als alte Version
aws --endpoint-url $E s3api put-bucket-versioning --bucket $B \
  --versioning-configuration Status=Enabled

# Lifecycle: alte Versionen nach 30 Tagen weg, abgebrochene Uploads nach 7 Tagen
aws --endpoint-url $E s3api put-bucket-lifecycle-configuration --bucket $B \
  --lifecycle-configuration file://lifecycle.json

{"Rules":[
  {"ID":"expire-old-versions","Filter":{},"Status":"Enabled",
   "NoncurrentVersionExpiration":{"NoncurrentDays":30},
   "AbortIncompleteMultipartUpload":{"DaysAfterInitiation":7}},
  {"ID":"logs-90-tage","Filter":{"Prefix":"logs/"},"Status":"Enabled",
   "Expiration":{"Days":90}}
]}

5 Statische Website

1. Dateien hochladen (rclone sync ./dist hos:seb4u-data), Bucket / Prefix öffentlich lesbar (Abschnitt 3).
2. Website-Konfiguration: aws ... s3 website s3://seb4u-data --index-document index.html --error-document 404.html → ergibt eine Website-URL.
3. Cloudflare davor (Hetzner OS macht kein TLS auf deiner Domain): in Cloudflare blog als CNAME (Canonical Name) auf die Website-URL, proxied (orange). Cloudflare terminiert TLS (Transport Layer Security), cacht, versteckt den Bucket.

6 App-Integration

• Env-Muster (fast jede App/SDK): S3_ENDPOINT, S3_REGION, S3_BUCKET, S3_ACCESS_KEY, S3_SECRET_KEY, oft S3_FORCE_PATH_STYLE=true. Die Keys per SOPS (Secrets OPerationS) verschlüsselt ins Repo.
• Direkt-Upload aus dem Browser: der Server erzeugt eine presigned PUT-URL (SDK: getSignedUrl('putObject', …)), der Browser lädt direkt in den Bucket – kein Umweg über den Server, keine Keys im Client.
• Nextcloud: S3 als Primärspeicher – Nextcloud-Guide, Abschnitt 6 (die DB bleibt trotzdem kritisch).
• Postgres/DB-Backups: pg_dump | rclone rcat hos:seb4u-data/db/$(date +%F).sql.gz aus dem Cron.

7 Backup-Ziel

export AWS_ACCESS_KEY_ID=... AWS_SECRET_ACCESS_KEY=...
export RESTIC_REPOSITORY="s3:https://fsn1.your-objectstorage.com/seb4u-data/restic"
export RESTIC_PASSWORD_FILE=/root/.restic-pass
restic init
restic backup /opt --tag files

Für die Zweitkopie außer Haus aus der Backup-Anleitung besser ein anderer Anbieter (Backblaze B2, Cloudflare R2) – sonst hängt alles an einem Hetzner-Konto. Bucket-Versioning + eine Lifecycle-Regel schützen zusätzlich gegen versehentliches forget.

8 MinIO selbst hosten

Wenn du volle Kontrolle willst, lokal einen S3-Endpoint für die Entwicklung brauchst, oder ohnehin Plattenplatz hast (Volume).

services:
  minio:
    image: quay.io/minio/minio:latest
    command: server /data --console-address ":9001"
    restart: unless-stopped
    environment:
      MINIO_ROOT_USER: admin
      MINIO_ROOT_PASSWORD_FILE: /run/secrets/minio
    volumes: [ /mnt/minio-vol:/data ]     # ein Hetzner-Volume
    secrets: [ minio ]
    networks: [ web ]                       # Traefik: s3.seb4u.com -> :9000, minio.seb4u.com -> :9001
secrets: { minio: { file: ./minio_pw.txt } }
networks: { web: { name: web, external: true } }

mc alias set local https://s3.seb4u.com admin "$(cat minio_pw.txt)"
mc mb local/seb4u-data
mc anonymous set download local/seb4u-data/public
mc admin user add local app "$(openssl rand -base64 18)"     # eigener Key fuer die App

9 Betrieb

• Ein Key je Zweck: Backup-Key (nur ein Prefix, nur put/get), App-Key, dein Admin-Key. Bei Hetzner über Bucket-Policy einschränken. Bei MinIO mc admin policy.
• Grösse & Requests im Blick: rclone size hos:bucket regelmässig, oder ein Monitoring-Check – Object Storage wächst leise, und Versioning ohne Lifecycle noch leiser.
• Egress kostet: viele öffentliche Downloads → Cloudflare davor (cacht, spart Egress), oder R2 (kein Egress-Preis).
• Keys rotieren: neuen Zugangsschlüssel erzeugen, in SOPS tauschen, deployen, alten löschen.
• Bucket-Namen nach Zweck (seb4u-backup, seb4u-assets) – Policies und Lifecycle sind pro Bucket.

+ Garage, R2, B2

+ Kosten

Faustregel: Backups → Storage Box oder B2, Assets/Website → R2 (kein Egress) oder Cloudflare Pages, „S3-API im eigenen Netz“ → Hetzner Object Storage, Dev/volle Kontrolle → MinIO/Garage.