从批到流,Zoom 基于 DolphinScheduler 的流批统一调度系统演进
作者 | 师彬杰,Zoom 数据平台工程师 整理 | Apache DolphinScheduler 社区运营组 随着业务规模扩大和数据形态复杂化,Zoom 在调度系统上的需求也从传统的批处理调度扩展到了对流处理任务的统一管理。为此,Zoom 选择 Apache DolphinScheduler 作 ...
【自动配置魔法】Spring Boot Starter设计哲学剖析 + 实战自定义Starter全指南
Spring Boot Starter 的设计原理 Spring Boot Starter 的核心设计目标是简化依赖管理和自动配置,通过约定优于配置的原则,减少开发者的手动配置工作。其设计原理主要包含以下三点: 1. 依赖聚合 原理:每个 Starter 是一个 Maven/Gradle 依赖项,它 ...
Kafka为什么吞吐量大,速度快?
前言 根据个人的经历,无论在工作中,还是即将要经历的面试,MQ这部分是肯定要了解的,虽然之前工作中一直使用Kafka但是一些详细的细节知识还是了解的不深,所以这次总结一波。 Kafka为什么吞吐量这么大还能这么快(高吞吐&低延迟)? 顺序写 Kafka是会将消息持久化到本地磁盘的,但是一般我们认为对 ...
企业AI知识库的文件解析痛点-Word格式解析优化(准确率95%)-100%开源
一、前言 在大模型和RAG(检索增强生成)技术飞速发展的今天,企业AI知识库建设已成为AI落地的核心战场。而文件解析是所有参与做企业AI知识库开发者所避免不了的难题。 本文将结合我在开发TorchV AIS企业级AI知识库产品中碰到的解析Word的问题,将Word文档(.doc及.docx)高效、准 ...
C#解析JSON数据全攻略
本文详细介绍C#中获取和解析JSON数据的完整流程,涵盖HttpClient网络请求、System.Text.Json动态解析与强类型转换技术,提供日期格式处理和空值防范等实用技巧,并附赠可运行代码示例 ...
上周热点回顾(7.14-7.20)
热点随笔: · 他没买 iPad,而是花了半年时间,为所有“穷学生”写了个笔记神器 (削微寒)· 博客园众包线下沙龙第1期:云栖开发者基地,共建技术新天地 (博客园团队)· 阿里巴巴为什么禁止超过3张表join? (苏三说技术)· 从 Redis 客户端超时到 .NET 线程池挑战:饥饿、窃取与阻塞 ...
Django集成Swagger全指南:两种实现方案详解
本文介绍了在 Django 项目中集成 Swagger 的两种主流方案 —— drf-yasg 和 drf-spectacular,涵盖安装配置、效果展示及高级用法,助力开发者高效构建交互式 API 文档系统,提升前后端协作效率。 ...
微软又一自动化开源王炸,Selenium 慌了!
在当今数字化时代,浏览器自动化工具对于开发人员、测试人员以及数据分析师等群体而言,是提高工作效率、实现流程自动化的得力助手。Selenium 作为一款经典的开源浏览器自动化工具,多年来在行业内占据着重要地位,被广泛应用于 Web 应用程序的自动化测试、数据抓取等场景。 然而,今天要给大家带来的是,微 ...
官方文档没告诉你的:通过抓包,深入揭秘MCP协议底层通信
大家好,今天我们来深入探讨一个很有意思的话题——MCP(Model Context Protocol)。 MCP 是Anthropic发起的一种开放协议,旨在标准化应用程序向大型语言模型(LLM)提供上下文的方式。我们可以把 MCP 想象成 AI 应用领域的 USB-C 接口。正如 USB-C 为你 ...
解密prompt系列57. Agent Context Engineering - 多智能体代码剖析
承接上篇对Context Engineering的探讨,本文将聚焦多智能体框架中的上下文管理实践。我们将深入剖析两个代表性框架:字节跳动开源的基于预定义角色与Supervisor-Worker模式的 Deer-Flow ,以及在其基础上引入动态智能体构建能力的清华CoorAgent。通过对它们设计思... ...
性能优化:两条SQL索引优化,CPU占用率从40%降至25%
我们的文章会在微信公众号IT民工的龙马人生和博客网站( www.htz.pw )同步更新 ,欢迎关注收藏,也欢迎大家转载,但是请在文章开始地方标注文章出处,谢谢! 由于博客中有大量代码,通过页面浏览效果更佳。 一、问题背景:不寻常的CPU告警 近日,一位在医院工作的朋友找到我,说他们核心HIS系统的 ...
结构型模式-架构解耦与扩展实践
结构型模式聚焦于对象间的组合关系,通过优化类与对象的装配方式,实现系统的灵活性与可扩展性。在分布式系统中,由于多节点协作、跨网络通信及异构环境集成等特性,传统结构型模式需进行适应性改造,以应对分布式特有的复杂性(如网络延迟、节点故障、协议异构)。本文系统解析适配器、桥接、组合、装饰器、外观、享元、代 ...
使用uint64_t批量比较短字符串
记录一下从开源代码里学来的短字符串比较优化。 这个优化只适用于长度在八字节以下的字符串,且只适用于优化相等比较。 原理 想要判断字符串相等,常见的有利用strcmp、利用字符串的hash或者利用正则表达式等。 就速度而言strcmp > hash > 正则,而灵活性上正则 > hash ≈ strc ...
糊涂啊!这个需求居然没想到用时间轮来解决。
你好呀,我是歪歪。 上周不是发布了这篇文章嘛:《也是出息了,业务代码里面也用上算法了。》 里面聊到一个场景,A、B、C 三个平台需要调用下游系统的接口查询数据。 当时下游对该查询接口做了限流,只支持一秒最多一个请求。 其中 A 平台要求每个请求间隔 6s 或者以上。 B,C 平台可以接受一秒一次请求 ...
Trae开发uni-app+Vue3+TS项目飘红踩坑
最近因为Cursor的作妖,我果断回归Trae杯抱,但是回归后我发现我的uni-app+Vue3+TS项目全线飘红,一起来看一下解决方法? ...
HuggingFace部署Qdrant在Roo Code使用
最近 RooCode 更新了代码库索引的 codebase 功能,这个功能通过将整个代码库向量化,实现了更高精度的上下文理解和代码问答。不过需要qdrant来作为向量数据库,qdrant通过本地docker部署是很方便的, 既然有免费的云端服务,那不利用起来就太可惜了! 一、登录HF 打开 Hugg ...
[深度学习] 大模型学习3上-模型训练与微调
在文章大语言模型基础知识里,模型训练与微调作为大语言模型(Large Language Model,LLM)应用构建的主要方式被简要提及,本系列文章将从技术原理、实施流程及应用场景等维度展开深度解析。相关知识的进一步参考见:LLM训练理论和实战。本文作为系列的上半部分,内容涵盖第1章大语言模型概览和 ...
C#/.NET/.NET Core技术前沿周刊 | 第 47 期(2025年7.14-7.20)
前言 C#/.NET/.NET Core技术前沿周刊,你的每周技术指南针!记录、追踪C#/.NET/.NET Core领域、生态的每周最新、最实用、最有价值的技术文章、社区动态、优质项目和学习资源等。让你时刻站在技术前沿,助力技术成长与视野拓宽。 欢迎投稿、推荐或自荐优质文章、项目、学习资源等。 � ...
手把手搭建 Astro + Github Pages + Github Actions
项目源地址:saicaca fuwari 我实现的效果:https://bxgldh.github.io/ 挑模板挑了很久,个人认为原博主的这个模板非常好看O(∩_∩)O。 但是由于我是小白,在上手初期看到博主github上的步骤时,有点懵也踩了不少坑,于是乎就有了这篇文章。 我会尽量保姆式的教学如 ...