Cloudflare Logpush 推出 Transformers，可在导出前用 SQL 过滤、脱敏和重塑日志
Decision Brief
What changedCloudflare 为 Logpush 加入 Transformers，用户可用 SQL 在日志导出前完成过滤、脱敏和字段重塑。
Why it matters用 SQL 在导出管道内完成过滤和脱敏，省掉了自行部署维护的独立日志处理服务，对用 Logpush 对接 SIEM 和对象存储的可观测性团队来说，下游数据量和成本都会下降。
Who should careAI coding tool users
Affected stackNo specific stack identified
Source confidenceHigh · Official release / blog / repo
Transformers 是绑定特定 Logpush 数据集的 SQL 查询，Logpush 在每个批次导出前执行：不满足 WHERE 的记录被丢弃，SELECT 的输出即为导出记录，可增删改字段、嵌套结构和脱敏，结果以 NDJSON 格式输出。它由嵌入 Bufstream 导出管道的 Apache DataFusion 查询引擎执行，基于 Apache Arrow 列式内存格式经 Arrow IPC 跨 Go/Rust 边界传递批次，基准测试中单 Go goroutine 处理 5000 行 http_requests 批次约 3 毫秒，约合每秒 160 万行。 用户可在仪表盘的 Transformer Studio 中创建、预览和管理 Transformer，也可通过 API 操作，保存后附加到使用相同数据集的兼容 NDJSON Logpush 任务，每次更新生成新版本。转换采用失败关闭策略：转换无法执行时不推进投递偏移、不发送未转换批次，而是重试并逐步延迟，长期失败的任务会被自动禁用。 对把 Cloudflare 日志导出到 SIEM、分析平台或对象存储的可观测性团队来说，过滤、脱敏和结构调整从导出后的独立服务移到了导出管道内，减少了需要部署、扩缩和维护的处理环节，也能降低被丢弃记录的导出、摄取和存储成本。该功能已在 Free、Pro、Business 和 Enterprise 套餐提供。
Summary basis: full article readCompiled from the source scope noted above; the original remains authoritative.
Sources
- Cloudflare Blog
Workers AI, edge inference, AI infrastructure, and real-world deployment.
- Cloudflare Blog
留言
登入后即可留言，和其他 builder 交换实测心得。
还没有留言，抢头香。