PostgreSQL 17版本的pg_baseback开始支持增量备份,终于可以像大多数的数据库物理备份工具一样支持增量备份了,下班后抽空尝试了一下,跟其他数据库的物理备份类似,还是比较简单的。以下基于一个月前发布的PostgreSQL 17.6为测试环境,利用pg_basebackup,基于ful ...
本文分享自天翼云开发者社区《Flink和StreamPark自定义UDF函数的使用》,作者:王****帅 1、什么是函数 在 SQL 中,我们可以把一些数据的转换操作包装起来,嵌入到 SQL 查询中统一调用,这就是“函数”(functions)。Flink 的 Table API 和 SQL 同样提 ...
在SQLServer中有一个内存授予(Memory Grant)的概念,意思是一个执行一个查询语句所需的内存大小,如果获取不到这个内存,则查询申请等待内存,因此就会受到影响。PostgreSQL有一个类似于此的work_mem参数,该参数也是执行跟查询所使用的内存有关的,那么work_mem的具体含 ...
传统的高可用架构不能预防误删数据的,因为主库的一个drop table命令,会通过binlog传给所有从库和级联从库,进而导致整个集群的实例都会执行这个命令。 MySQL相关误删数据主要有以下几种可能: 使用delete语句误删数据行; 使用drop table或truncate table语句误删 ...
网易个人邮箱用户遍布全球各个角落。其业务场景丰富且复杂。在庞大且复杂的业务体系下,对数据库的性能、稳定性、扩展性等方面都提出了极高的要求。本文分享网易个人邮箱数据库方案从分库分表数据库和MySQL升级到OceanBase的解决思路与技术实践经验。 ...
前些年写了一个PostgreSQL自动化安装的shell脚本,这几年一直在用,中间有微调过但都可以正常一键安装,今天尝试安装一个最新版的PostgreSQL 17.6(Aug. 11, 2025发布的),发现编译过程中死活过不去,遇到如下几个错误 1,ERROR: `xmllint' is miss ...
技术干货 | 如何将大表在线改造为分区表并释放空间 出现麻烦 你是否遇到过如此令人麻烦的问题,比如:由于前期规划不当,后期库表数据量猛增;或者由于“年久失修”而造成的表数据积累不断。等等诸如此类 大表 问题。 面对这些大表,是删也不能删,清理又困难。 即使你不嫌麻烦,一点一点的通过 delete 清 ...
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限 ...
ORA-01720 错误表示在 Oracle 数据库中尝试授权时,缺少必要的 grant option 权限。这通常发生在用户试图将权限传递给其他用户时,但自身并未被授予传递权限。 示例,假设以下场景: 用户 A 创建了视图 V_A,其中视图中用了C用户T_C表。 用户 B 使用视图 表V_A 。 ...
需要一次时序数据库 IoTDB 最新功能的全面总结? 想知道工业时序数据从采集到决策的全链路解决方案? 9 月 4 日(周四)19:00,天谋科技联合创始人 & CTO,清华大学博士乔嘉林将带来 IoTDB 智能架构、技术与应用的详细分享! 分享内容: 1️⃣工业时序数据库的采集到决 ...
引言 实时决策已不再是竞争优势;它正成为基本预期。从欺诈检测到个性化推荐,现代系统需要在毫秒内处理和响应用户活动。然而,尽管对实时数据的需求激增,许多工程团队仍在应对脆弱的数据管道、静默故障和易碎的部署。本文中,我们将探讨数据运营DataOps如何为实时架构带来亟需的纪律性。我们将深入探讨持续集成/ ...
9 月 1 日至 9 月 5 日,第 51 届 VLDB Conference 将于英国伦敦召开,时序数据库 Apache IoTDB 的研究成果论文:Migration-Free Elastic Storage of Time Series in Apache IoTDB(Apache IoTDB ...
今天为大家介绍一个 OceanBase 数据库中的月光宝盒 ASH(Active Session History),它是数据库世界的 “智能监控系统”,可以帮你重现任意时刻的数据库状态、揪出拖慢系统的 “元凶”、量化每个操作的资源消耗…… ...
背景 MRO 工业品是企业生产运营中不可或缺的一类物资,核心是为保障生产设备正常运转、维持企业日常运营提供支持,而非直接用于生产最终产品的原材料或零部件。其名称源于英文 “Maintenance(维护)、Repair(维修)、Operations(运营)” 的缩写,本质是 “非生产性采购物资”。 目 ...
Redis有哪些部署方案? *单机版**:单机部署,单机redis能够承载的 QPS 大概就在上万到几万不等。这种部署方式很少使用。存在的问题:1、内存容量有限 2、处理能力有限 3、无法高可用。 主从模式:一主多从,主负责写,并且将数据复制到其它的 slave 节点,从节点负责读。所有的读请求全部 ...
首先复习一下加锁规则: 原则1:加锁的基本单位是next-key lock,是一个前开后闭区间; 原则2:查找过程中访问到的对象才会加锁; 优化1:索引上的等值查询,给唯一索引加锁的时候,next-key lock退化为行锁; 优化2:索引上的等值查询,向右遍历时且最后一个值不满足等值条件的时候,n ...
之前的文章已经说过:在一主一备的双M架构里,主备切换只需要把客户端流量切到备库;而在一主多从架构里,主备切换除了要把客户端流量切到备库外,还需要把从库接到新主库上。 主备切换有两种场景,分别是主动切换和被动切换,其中被动切换往往是因为主库出问题由HA系统发起。那么怎么判断主库出问题了呢? selec ...
SQL Server 2025中解决“写写阻塞”的利器 最近安装了SQL Server 2025的CTP 2.0 版本,做了一些测试 SQLServer 2025安装包获取 通过网盘分享的文件:SQLServer 2025-x64-ENU.iso 链接: https://pan.baidu.com/ ...
本文分享自天翼云开发者社区《大数据产品线生产操作安全规约》,作者:朱****静 第一章 总 则 第一条 为健全安全生产制度,落实安全生产责任,增强安全风险/隐患排查治理能力,促进安全生产长效机制建设,防止和减少生产安全事故,结合大数据产品线实际情况,特制定本生产操作安全管理办法。 第二条 本管理办法 ...