AI
刷新
基于魔搭 MS-Swift 实现大模型微调落地指南

博主头像 在大模型二次开发学习阶段,手写训练代码可以帮助我们吃透模型微调底层逻辑,做到知其然更知其所以然。但落地到企业生产环境,我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架,集成了模型训练、微调、推理、量化部署全链路能力,兼容数百款... ...

查得到,也要搬得走:Zvec 全量遍历的设计与实现

博主头像 Zvec × DocIterator:查得到,也要搬得走,让向量数据进得来、出得去。✨ 多机 Embedding 结果需要合并,Agent 记忆需要整理,已有集合需要备份迁移——这些需求,都从“完整读出数据”开始。Zvec v0.7.0 引入 DocIterator,无需查询向量或主键清单,即可... ...

【复盘笔记】我被AI的“满分好评”骗了整整三个月

博主头像 【复盘笔记】我被AI的“满分好评”骗了整整三个月直到上周,我才真正意识到自己犯了一个多么低级的错误。作为团队里负责引入AI代码审计的牵头人,我曾信誓旦旦地向大家保证,这套系统能帮我们守住安全底线。它确实拦住了不少低级bug,甚至在几次紧急发布中给出了详尽的风险提示。我对它的信任,是一点点建立起来的— ...

NodeJS部署

博主头像 Windows Windows 10 系统的同学可以在应用商店内搜索并安装 Windows Terminal软件(Win11 自带,名字叫做终端) 找到软件终端,并打开(Win10 系统没有自带,请参考上图,在应用软件内下载安装即可) 打开终端程序,如下图 Windows 的终端分为 2 种类型: ...

接了大模型要不要备案?做算法备案前,先把这18个问题答明白

博主头像 算法备案最先要解决的是事实一致。企业对外提供的服务、系统里的算法和申报材料,应当描述同一件事。 很多企业第一次咨询算法备案,开场通常会这样说:"我们接了大模型,这个要备案吗?" 再往下问,产品是面向公众还是内部员工使用,用户能否自由注册,生成内容由谁控制,基础模型从哪里调用,运营主体与技术主体是否一 ...

产品先上线再开发

博主头像 社交媒体上有个玩法,把自己发布上去,照网友的建议玩变形记,很难说清楚:什么是内容,什么是产品,什么是营销。但不费吹灰之力,可以聚集大量的参与者。 ...

基于 HuggingFace Tokenizers 训练自定义分词器

博主头像 在大模型开发流程中,分词器(Tokenizers)是文本预处理的核心组件。神经网络无法直接理解人类的原始文本,分词器的核心作用,就是将自然语言转换为模型可用于计算的数值序列。Hugging Face Tokenizers 是底层由 Rust 编写的高性能开源分词库,原生支持 BPE、WordPiec... ...

"一人公司"做AI短剧:一个人怎么管住30多人的流水线

博主头像 人民日报04版报道郑州导演李乐瞳辞职注册一人公司做AI短剧,报道里出现了新岗位抽卡师。这篇从工程角度拆解:一个人怎么扛下过去三四十人的流水线——剧本、分镜、画面、配音、剪辑如何收进一个画布工程,人设与参数如何挂成节点资产跨画布复用,3D导演台如何在生成前锁住镜头一致性。 ...

基于 vLLM+Nginx 构建负载均衡推理集群

博主头像 企业内部私有环境部署大模型推理集群时,很容易遇到流量调度混乱、节点负载失衡、会话上下文丢失、接口缺少鉴权防护等一系列问题,单 vLLM 推理节点难以支撑并发请求。本文基于 Ubuntu 22.04 系统环境,搭建 Nginx + vLLM-Semantic-Router + vLLM-Router ... ...

把 AI 解过的题沉淀成共享知识

博主头像 用 AI 排错的人大概都经历过同一个场面:问题解决了,解法留在一段会话记录里,窗口一关就找不回来。下次自己或别人撞上同样的问题,只能从头再问一遍。真正的问题不是 AI 不能重复解决,而是可用的解法已经存在过,只是没人把它留下来。 Shared Knowledge 就是冲着这一点做的。它是一个 MCP... ...

WorkBuddy 浏览器自动化基础教学:从「看不到浏览器」到全自动登录

博主头像 本文由一次真实的 AI 协作过程整理而成:我让 AI 助手打开浏览器访问博客园,然后自动完成登录。整个过程踩了几个坑,也沉淀出一套可复用的方案。全文按实际操作顺序记录。 一、开场:一个看起来很简单的需求 我给 AI 下了一句很普通的话: 打开浏览器,进入博客园,让我可以看到浏览器。 注意最后半句—— ...

AI写的代码你能重写吗?想清楚答案再按Tab

博主头像 最近一次我按下 Tab 键接受 AI 补全时,脑子里闪过一个念头:要是没有这个提示,我还能写出这段代码吗?答案让我有点不舒服。或许你也在回避类似的问题——毕竟,LeetCode 已经很久没人提了。 把代码交给 AI 是否让我们变懒?我觉得问得不对。懒有两种,一种让世界前进,一种让代码变成定时炸弹。 ... ...

<1···131415···50>