jivvies
本站致力于IT相关技术的分享
基于eBPF、mTLS和Redis构建安全可观测的Spark高性能Shuffle服务 基于eBPF、mTLS和Redis构建安全可观测的Spark高性能Shuffle服务
我们一个核心的多租户数据处理平台遇到了瓶颈。Apache Spark 作业的 Shuffle 阶段 I/O 开销巨大，尤其是在高峰期，多个大作业并发执行时，节点磁盘 I/O 竞争和网络拥塞导致作业执行时间变得不可预测，SLA 频繁告警。默认
2023-10-27 分布式计算
mTLS Apache Spark eBPF Redis 可观测性
构建混合式可观测性数据管道 整合gRPC WebSockets与WASM实现遥测数据的实时与批量处理 构建混合式可观测性数据管道 整合gRPC WebSockets与WASM实现遥测数据的实时与批量处理
一个线上系统一旦节点超过两位数，对其内部状态的理解就迅速从直观变为抽象。当微服务数量达到三位数时，任何脱离了强大可观测性工具的运维和故障排查，都无异于盲人摸象。市面上的成熟方案如ELK、Prometheus+Grafana等非常强大，但在某
2023-10-27 分布式架构
gRPC-Go MapReduce WebSockets Tailwind CSS WebAssembly (WASM)
基于CQRS与NATS的异步代码审查流程中实现密钥泄露的实时检测与索引 基于CQRS与NATS的异步代码审查流程中实现密钥泄露的实时检测与索引
在任何一个高速迭代的工程团队中，Code Review 流程的效率和质量直接决定了软件交付的稳定性和安全性。一个常见的痛点是，人工审查难以百分之百捕获代码中意外提交的敏感信息，如API密钥、数据库凭证或私钥。引入自动化扫描工具是标准做法，但
2023-10-27 架构设计
Code Review 密钥管理 CQRS Solr NATS
构建基于 Fastify SQS 与 Puppeteer 的高韧性异步报告生成服务 构建基于 Fastify SQS 与 Puppeteer 的高韧性异步报告生成服务
最初的矛盾爆发在一次产品演示中。我们的SaaS平台提供一个复杂的报表功能，前端使用 Ant Design 的 Form 和 Table 组件，允许用户自定义查询条件，然后导出一份精美的PDF报告。最初的实现简单粗暴：一个同步的 Fastif
2023-10-27 后端架构
Fastify AWS SQS Puppeteer Ant Design 敏捷开发
微前端架构下实时NLP服务的架构权衡：spaCy、Memcached与GitOps的整合方案 微前端架构下实时NLP服务的架构权衡：spaCy、Memcached与GitOps的整合方案
系统向微前端架构迁移的过程中，一个常见的需求是将过去单体应用中的某些复杂功能拆分为独立的、可复用的服务。我们面临的正是这样一个挑战：为多个业务线的微前端提供一个统一的、实时的自然语言处理（NLP）能力，具体来说，是命名实体识别（NER）。该
2023-10-27 架构设计
Micro-frontends spaCy Memcached CI/CD 与 GitOps Kubernetes
构建从 MLflow 到 Android 的自动化模型交付管道并集成 ESLint 规范化工具链 构建从 MLflow 到 Android 的自动化模型交付管道并集成 ESLint 规范化工具链
最初的模型交付流程混乱不堪。机器学习团队训练完一个新模型，导出一个 .tflite 文件，然后通过即时通讯工具扔给Android团队。版本控制依赖于文件名，例如 model_v3_final_final.tflite，回滚则是一场灾难。更糟
2023-10-27 MLOps
Node.js MLflow Android 开发 ESLint DevOps
3 / 5