OpenShift Logging 5.9以降、ClusterLogForwarderのVectorにチューニングオプションが追加され、ログ転送の信頼性が向上した。
特にAtLeastOnce設定では、ログのロストを防ぐためのディスクバッファ(256MB)を利用し、ログ生成が過剰な場合でも一定の保護がされる。
一方で、ログ生成速度が転送速度(約10MB/s)を超えると、ログローテーションの影響でログが失われる可能性がある。
従来のAtMostOnceはバッファ(500イベント)が満杯になると新しいログを破棄するため、大量のログが失われるリスクが高い。
実験では、ログ生成レートが5k lines/sを超えるとログロストの可能性があることが確認された。
ログ転送の安定性向上のためには、ログ出力の抑制やフィルタリングが必要。
以前のfluentdでは転送速度が1MB/s程度と低く、ログローテーションによるデータ喪失の報告が多かったが、Vector導入で改善された。