Cloudflare Logpush 推出 Transformers，可在导出前用 SQL 过滤、脱敏和重塑日志

Transformers 是绑定特定 Logpush 数据集的 SQL 查询，Logpush 在每个批次导出前执行：不满足 WHERE 的记录被丢弃，SELECT 的输出即为导出记录，可增删改字段、嵌套结构和脱敏，结果以 NDJSON 格式输出。它由嵌入 Bufstream 导出管道的 Apache DataFusion 查询引擎执行，基于 Apache Arrow 列式内存格式经 Arrow IPC 跨 Go/Rust 边界传递批次，基准测试中单 Go goroutine 处理 5000 行 http_requests 批次约 3 毫秒，约合每秒 160 万行。 用户可在仪表盘的 Transformer Studio 中创建、预览和管理 Transformer，也可通过 API 操作，保存后附加到使用相同数据集的兼容 NDJSON Logpush 任务，每次更新生成新版本。转换采用失败关闭策略：转换无法执行时不推进投递偏移、不发送未转换批次，而是重试并逐步延迟，长期失败的任务会被自动禁用。 对把 Cloudflare 日志导出到 SIEM、分析平台或对象存储的可观测性团队来说，过滤、脱敏和结构调整从导出后的独立服务移到了导出管道内，减少了需要部署、扩缩和维护的处理环节，也能降低被丢弃记录的导出、摄取和存储成本。该功能已在 Free、Pro、Business 和 Enterprise 套餐提供。