AI
刷新
Ubuntu 大模型HF转GGUF全流程实践指南

博主头像 本文基于 Ubuntu 26.04 系统、纯CPU无CUDA硬件环境,完整演示基于 llama.cpp 实现 HF 原始模型转换 GGUF 格式与CPU量化的落地实操流程。以 Qwen2-0.5B-Instruct 中文对话模型为案例,循序渐进讲解Swap分区配置、系统依赖安装、llama.cpp源... ...

智能体式AI时代下的航空公司

博主头像 摘要 区别于仅能机械回应的标准旧版 AI,智能体式 AI 可以通过极具温度的对话式交互,精准捕捉到隐匿在旅客言语间的真实意图,进而匹配高度个性化的动态产品与随需应变的服务。由于将多源数据监控获取与高阶逻辑推理及自主行动力进行了深度融合,智能体式 AI 将业务流程从数周压缩至短短几分钟。这在大幅削减人 ...

MonkeyCode 是什么:一个浏览器里的 AI 开发平台

博主头像 MonkeyCode 是什么:一个浏览器里的 AI 开发平台 很多人第一次听说 MonkeyCode,会以为它又是一个"套壳 ChatGPT 的聊天窗口"。其实它不是聊天机器人,而是一套真正能干活儿的 AI 开发平台。 一句话介绍 MonkeyCode 是一个免费、无需安装的在线 AI 开发平台。你 ...

Agent 学习笔记 16:Agentic-RL 入门:SFT、DPO、PPO 与 GRPO 怎么串起来

博主头像 普通语言模型训练关注“下一段话像不像正确答案”,Agentic-RL 更关心模型在多步环境中能否选择合适动作、使用工具、处理反馈并完成目标。奖励来自整条轨迹,而不只是最后一句话。 先看几种训练方法各自解决什么 SFT 用高质量示范教会基本格式和行为;DPO 利用偏好对让模型倾向更好的回答;PPO 与 ...

LangChain 消息流输出与结构化处理

博主头像 LangChain 是目前大模型应用开发领域最主流、最成熟的开源框架之一,广泛应用于私有化部署、智能体开发、工具调用、流式交互等各类场景。本文基于 LangChain 最新稳定版接口,适配本地私有化 GGUF 模型部署环境,拆解框架四大核心基础能力,标准化消息机制、闭环工具调用链路、多场景流式传输、... ...

Python 原生封装 Llama.cpp 大模型推理接口

博主头像 本文以通义千问Qwen量化GGUF模型为案例,基于Llama.cpp框架展示本地大模型调用与功能开发的完整实现原理及流程。全文采用原生Python编写代码案例,无需依赖重型AI框架,依次实现模型元数据解析、本地接口单次对话调用、多轮对话持久化记忆、自定义工具调用拓展等功能实现逻辑,针对直接调用大模型... ...

Agent 学习笔记 12:从 Prompt Engineering 到 Context Engineering

博主头像 Prompt 写得再漂亮,也解决不了上下文被无关聊天、过期资料和冗长工具返回淹没的问题。Agent 复杂到一定程度后,核心能力从“会提问”变成“会供给上下文”。 Prompt 是指令,Context 是工作台 上下文里不仅有用户问题和系统 Prompt,还包括当前目标、任务状态、历史摘要、记忆、工具 ...

Agent 学习笔记 11:构建智能文档问答 Agent:从索引到可引用答案

博主头像 企业文档问答最常被追问的并不是“回答像不像人”,而是“这句话依据哪份文档、哪个版本、我是否有权限看到”。所以它更像一套证据产品,而不是在知识库前面放一个聊天框。 先把索引做成可治理的数据层 文档进入系统时应保留业务域、版本、作者、更新时间、访问控制和原始位置。删除或更新文档后,索引也要同步失效。否则 ...

<1···181920···50>