归档: 2023/10

2023

10

27

在许多数据处理场景中，我们面临一个典型的架构窘境：需要Apache Spark的分布式计算能力来处理TB级的数据集，但整个项目的协调和调度需求又相对简单，引入Apache Airflow或Azkaban这类重型工作流引擎显得杀鸡用牛。这些引

2023-10-27 数据工程

Database SQLite Apache Spark Python 框架

27

定义问题：在遗留系统中集成现代AI能力一个稳定运行多年的PHP内容管理系统，承载着核心业务。现在的需求是在不进行颠覆性重构的前提下，为其赋予基于机器学习模型的智能推荐能力。模型由Python栈（scikit-learn, PyTorch等）

2023-10-27 架构设计

GitHub 框架 (Java) PHP 模型部署 AWS EKS

27

定义复杂的技术问题在典型的企业混合云环境中，一个常见的挑战是将存放在本地数据中心、由 Kerberos 严格保护的 HBase 集群中的数据变更，实时同步到公有云平台进行下游分析。Google Cloud Pub/Sub 是一个理想的云端入

2023-10-27 架构与设计

HBase IAM Google Cloud Pub/Sub 安全混合云

27

最初的痛点源于一个看似简单的需求：为我们的企业客户生成月度金融风控报告。这些报告并非简单的表格，而是由多个数据可视化图表、AI模型生成的风险评分和解释性文本构成，每个客户的报告都是高度定制化的。旧系统是一个传统的动态Web应用，每次客户访问

2023-10-27 架构设计

SSG AI HashiCorp Vault 数据科学与大数据代码规范

27

为MLOps平台构建一个高吞吐、低延迟的实时推断日志处理服务是保障模型线上稳定性的基石。我们的需求很明确：一个中心化服务，用于接收来自数百个在线机器学习模型的推断日志。该服务必须能够对这些日志流进行近乎实时的解析、校验、内容扩充，并执行基于

2023-10-27 后端架构

Node.js MLOps Loki AWS SNS Phoenix

27

我们一个核心的多租户数据处理平台遇到了瓶颈。Apache Spark 作业的 Shuffle 阶段 I/O 开销巨大，尤其是在高峰期，多个大作业并发执行时，节点磁盘 I/O 竞争和网络拥塞导致作业执行时间变得不可预测，SLA 频繁告警。默认

2023-10-27 分布式计算

mTLS Apache Spark eBPF Redis 可观测性