OpenTelemetry

Ce guide connecte l’OpenTelemetry Collector — le pipeline de télémétrie de la CNCF — à RustFS via l’exporteur awss3 du collecteur. Vous allez exécuter le collecteur contrib avec un récepteur filelog, envoyer les lignes de journal d’un fichier dans le compartiment (bucket) otel-data, puis vérifier les objets partitionnés dans RustFS. Le flux a été validé avec otel/opentelemetry-collector-contrib:0.138.0 et rustfs/rustfs-x86-musl:v2.3.1.

Vous avez besoin de Docker. Ce déploiement est destiné aux tests d’intégration locaux, pas à la production.

Schéma d’architectureCopy Anchor Link

Le récepteur filelog suit la fin du fichier de journal, et l’exporteur awss3 charge (upload) les lots vers le compartiment, partitionnés en préfixes temporels. Les métriques et les traces peuvent être acheminées par le même exporteur, avec leurs propres pipelines.

rc alias set rustfs http://<your-rustfs-endpoint>:9000 <your-access-key> <your-secret-key>
rc mb rustfs/otel-data

receivers:
  filelog:
    include: [/var/log/app.log]
    start_at: beginning

exporters:
  awss3:
    s3uploader:
      region: us-east-1
      s3_bucket: otel-data
      endpoint: http://rustfs:9000
      s3_force_path_style: true
      disable_ssl: true
      file_prefix: logs/app
    marshaler: body

service:
  pipelines:
    logs:
      receivers: [filelog]
      exporters: [awss3]

services:
  collector:
    image: otel/opentelemetry-collector-contrib:0.138.0
    command: ["--config=/etc/otelcol-contrib/config.yaml"]
    environment:
      AWS_ACCESS_KEY_ID: <your-access-key>
      AWS_SECRET_ACCESS_KEY: <your-secret-key>
      AWS_REGION: us-east-1
    volumes:
      - ./config.yaml:/etc/otelcol-contrib/config.yaml:ro
      - ./app.log:/var/log/app.log
    networks:
      - otel

networks:
  otel:

echo "otel demo log line one" > app.log
docker compose up -d
echo "second line after start" >> app.log

rc ls rustfs/otel-data/ -r

year=2026/month=09/day=21/hour=15/minute=53/logs/applogs_288361608.txt

rc cat rustfs/otel-data/year=2026/month=09/day=21/hour=15/minute=53/logs/applogs_288361608.txt

otel demo log line one
second line after start

docker compose down

rc rb rustfs/otel-data --force

DépannageCopy Anchor Link

has invalid keys au démarrage du collecteurCopy Anchor Link

Le schéma de l’exporteur awss3 diffère selon les versions du collecteur. La version 0.138 imbrique les réglages de chargement sous s3uploader, comme ci-dessus ; la clé du point de terminaison est endpoint (et non s3_endpoint). Les versions plus récentes déplacent ces clés au premier niveau — consultez le README de votre version exacte du collecteur.

Rien n’apparaît dans le compartimentCopy Anchor Link

Vérifiez que les variables d’environnement d’identifiants sont définies sur le conteneur du collecteur, que s3_force_path_style vaut true, et que l’exporteur peut joindre http://rustfs:9000 depuis l’intérieur du réseau Compose. Activez l’exporteur debug sur le même pipeline pour voir si des enregistrements circulent.

Étapes suivantesCopy Anchor Link

• Consultez les notes de compatibilité S3 avant d’adopter d’autres opérations du collecteur.
• Créez des identifiants de production dédiés avec la gestion des clés d’accès.
• Suivez la documentation de l’exporteur AWS S3 pour ajouter des pipelines de métriques et de traces.