jivvies
本站致力于IT相关技术的分享
构建异构分布式任务编排系统以调度高性能C++计算核心 构建异构分布式任务编排系统以调度高性能C++计算核心
我们面临一个典型的工程困境：一个团队维护着一个极其高效的C++计算库。它是一个命令行工具，接收配置文件，执行数小时的密集计算，然后输出结果。这个工具是业务核心，但它也是个黑盒，脆弱且难以集成。每次任务失败，都需要工程师手动介入，检查日志，清
2023-10-27 分布式架构
Prettier C++ React Testing Library BASE 框架 (Go)
构建基于Vault的ActiveMQ动态凭证管理服务及其RESTful API实现 构建基于Vault的ActiveMQ动态凭证管理服务及其RESTful API实现
在生产环境中，将ActiveMQ的静态用户名和密码硬编码在配置文件或者代码中，是一种常见的、但极度危险的做法。凭证一旦泄露，整个消息中枢将门户大开。更棘手的是凭证的轮换，每次更新都需要协调所有生产者和消费者的重启，这在大型分布式系统中几乎是
2023-10-27 安全与合规
Vault DevSecOps 密钥管理 ActiveMQ RESTful API
构建基于强化学习与OpenFaaS的Webpack动态配置优化管道 构建基于强化学习与OpenFaaS的Webpack动态配置优化管道
我们前端项目的CI管道已经僵化了。Webpack的配置文件，一个由层层“最佳实践”和性能魔法数字堆砌而成的庞然大物，已经数月无人敢动。每一次提交，无论改动大小，都会触发一套完全相同、耗时漫长的构建流程。更糟糕的是，我们为这套静态流程付出了高
2023-10-27 DevOps
MLOps OpenFaaS Webpack 强化学习 CI/CD
在 CockroachDB 上整合 MapReduce 批处理与实时 Rollup 构建混合特征存储 在 CockroachDB 上整合 MapReduce 批处理与实时 Rollup 构建混合特征存储
我们面临的第一个真正棘手的问题，是机器学习模型对特征的矛盾需求。风控模型需要用户过去一年的交易行为聚合特征，这是一个典型的批处理场景；但同时，它又需要捕捉到用户最近30秒内的交易频率，这是一个纯粹的流式计算需求。传统的 Lambda 架构将
2023-10-27 数据工程与存储
MapReduce Tyk CockroachDB Rollup
构建基于Python与Serverless的CDC管道实现数据湖分析负载分离 构建基于Python与Serverless的CDC管道实现数据湖分析负载分离
我们生产环境的 Aurora MySQL 读副本 CPU 占用率已经连续数周在 90% 以上的高位徘徊。最初的读写分离设计，本意是隔离在线事务处理（OLTP）和报表查询，但随着业务增长，数据分析团队的临时复杂查询和 BI 工具的仪表盘刷新，
2023-10-27 数据工程
读写分离 Python Data Lake Serverless CDC
Solid.js 与 Django 应用中基于上下文传递的 ELK 结构化日志系统构建实践 Solid.js 与 Django 应用中基于上下文传递的 ELK 结构化日志系统构建实践
生产环境的日志总是散乱的。前端应用在用户的浏览器里安静地报错，而后端服务在自己的世界里记录着业务流程。当用户报告一个模糊不清的“功能失灵”时，我们面对的是两套毫无关联的时间戳和日志流。前端开发者在 console.log 的海洋里挣扎，后端
2023-10-27 后端架构
Python Django Solid.js ELK Stack 设计模式
5 / 5