注意力机制下的位置编码的理解和梳理

博主头像 位置编码的理解和梳理 引言 Transformer的悖论 自2017年横空出世以来,Transformer架构已然成为序列建模领域的一场革命,因其卓越的并行计算能力和捕捉全局依赖的强大性能而备受赞誉。它构成了当今最先进的大型语言模型(LLMs)的基石。然而,在这座宏伟的架构丰碑之下,隐藏着一个核心的 ...

向量那点事儿

博主头像 目录一、向量坐标表示二、加减法向量加法应用示例向量减法应用示例三、向量内积应用示例四、向量外积应用示例五、小试牛刀代码示例六、小结 一、向量 这次我们继续聊一下向量。 向量可以理解为一个有方向的量。 它既有大小(长度),又有方向(指向哪里)。 生活中很多东西都可以用向量描述,比如: 速度(你开 ...

从MESA模型到锁升级:synchronized性能逆袭的底层逻辑

博主头像 管程(Monitor)是一种用于管理共享资源访问的程序结构,能确保同一时刻只有一个线程访问共享资源,解决并发编程中的互斥和同步问题。MESA模型是管程的经典实现,主要由入口等待队列和条件变量等待队列构成。 1)入口等待队列‌:确保线程互斥,多个线程试图进入管程时,仅一个线程能成功,其余线程在入口等待 ...

进程、线程、协程、虚拟线程,傻傻分不清楚

博主头像 前言 最近虚拟线程火了。 但有些小伙伴对进程、线程、协程、虚拟线程之间的区别和联系还是没有搞清楚。 今天这篇文章就跟大家一起聊聊,希望对你会有所帮助。 加苏三的工作内推群 一、进程与线程 有些小伙伴在工作中可能经常听到"进程"和"线程"这两个词,但未必真正理解它们之间的本质区别。 让我用一个简单的比 ...

大模型function calling多轮对话开发示例

OpenAI接口支持的function calling使得大模型能够方便的集成外部能力和数据,是实现agent(智能体)的重要基础,能让LLM和各种功能集成,从而解决复杂的问题。 对于兼容openai接口的大模型如阿里的通义千问,也是可以使用类似的方法进行调用。 模型实际上从不自行执行函数,仅生成需 ...

工作 10 年!Redis 内存淘汰策略 LRU 和传统 LRU 差异,还傻傻分不清

博主头像 大家好,我是小富~ 面试都背过道八股题:Redis 的内存淘汰策略 LRU 和 LFU 是什么?怎么选好? 很多同学对这两个算法的理解,只停留在都是缓存淘汰,但说不清它们具体区别,概念混淆,更不知道实际场景该怎么选? 而且 Redis 的 key 淘汰算法其实还不是正统的 LRU 和 LFU 算法, ...

【译】借助提示词、资源和采样,在 Visual Studio 中充分利用 MCP

博主头像 我们很高兴地宣布,Visual Studio 现已支持 MCP 提示词、资源和采样功能(很快还会推出更多功能!),通过从您的工程技术栈中引入更多上下文信息来增强您的 Copilot 使用体验。这些强大的新功能实现了与您喜爱的工具和服务的更深度集成,让您的开发工作流程更智能、更具上下文感知能力。 让我 ...

[汽车] 智能网联汽车-智能驾驶-综述

博主头像 概述:智能驾驶 / 自动驾驶 / 高级辅助驾驶(ADAS) 汽车行业处在一个变革的时代,自动驾驶相关技术发展应用如火如荼。关注或者想了解这个领域的人也越来越多。 本文的目标在于帮助自己、大家,对自动驾驶技术有一个全局的基础认识。 文章将分别介绍自动驾驶基本原理,意义,分级以及相关行业背景。 图:概念 ...

打破软件“收费”羞愧感,勇敢要钱

博主头像 每个开发者大概都有个小梦想——做一款属于自己的软件,被很多人用,要是还能赚点钱就更好了。可现实是,不少好想法哪怕做成了产品,最后也难免中途夭折。原因五花八门,运营恰恰是很多开发者的短板;更现实的是“收益”问题——纯靠“爱发电”的项目能走多远,其实谁也说不准。 我的小程序《豆豆证照工坊》上线半个多月后 ...

OpenCvSharp基于颜色反差规避FBA面单贴标2

博主头像 第一版的劣势 原理同上一边博客记录,在基础上改造的更加细致些,100*100的贴标区域,很容易让原本就不大的FBA纸箱,留下更多空白区域,并且空白区域和原厂标签空隙不足贴下一张新的标签,导致东一张西一张,虽然能够满足规避原厂标签的初衷,但是如果客户需要贴多张标签,就会捉襟见肘 解决办法-提升精度 既 ...

【EF Core】框架底层的数据库连接管理

博主头像 在开始水文章前,老周补充说明一下,在前一篇水文中,老周扯了跟 Owned 关系相关的一些话题,这里补充一句:Owned 关系是不存在“多对多”的,如果 A 实体 Own B 实体,那么,A 对 B 是完全占有,B只属于A,数据不共享,这样就不存在“多”的一端;但A可以同时占用B、C实体,所以一占多是 ...

Attention复杂度解析与改进方向

博主头像 Attention复杂度解析与改进方向 摘要/引言 在大规模语言模型(LLM)浪潮中,扩展模型上下文窗口长度被认为是提升模型能力和应用范围的关键方向。然而,现代Transformer结构中的自注意力机制,其时间和空间复杂度均为二次方级(\(O(N^2)\)),成为限制序列长度扩展的根本瓶颈。有研究指 ...

<1···515253···100>