sql语句类型及用途： Ddl：建表、改表、删表 Dql：查询 where, group by, order by, join Dml：新增、修改、删除数据 Dcl：新增、删除用户对数据库权限 事务 ACID特性简介 原子性（Atomicity） 事务被视为一个不可分割的最小单位，它要么完全执行，要 ...

前提：laravel自6.0后就明确了支持的SQL Server版本最低为2017，而SQL Server是在2012版本后，引入的offset语法来实现分页，在此之前只能使用ROW_NUMBER()函数来完成分页。 问题：生产环境的SQL Server由于历史原因，仍旧使用的2008版本，自然是不 ...

写在前面 今天来学习Hbase部分的知识! Zookeeper的ZAB协议 ZAB（Zookeeper Atomic Broadcast）协议是Zookeeper的核心协议之一，用于保证集群中数据的一致性、顺序性和容错性。它包括以下几个关键阶段： Leader选举：选举出一个Leader节点来协调集 ...

MySQL 8.0特性-自增变量的持久化 在MySQL 8.0之前，自增主键AUTO_INCREMENT的值如果大于max(primary key)+1，在MySQL重启后，会重置AUTO_INCREMENT=max(primary key)+1，这种现象在某些情况下会导致业务主键冲突或者其他难以发 ...

1. 组装 1.1. 对于任何数据从业者来说，解决生产过程中的数据质量问题都是一项关键技能，但只要有适当的系统和流程，就基本可以防止数据宕机 1.2. 数据在管道的任何阶段都可能会受到操作数量、编程甚至数据相关性的影响，也许只需一次模式更改或代码推送，就会让下游报告处于混乱状 1.3. 元数据驱动的 ...

[20241110]使用xto10.sql脚本遇到的问题.txt--//自己在使用xto10.sql脚本时，输入参数错误，我没有想到竟然执行有结果，例子：SYS@book> @ xto10 d5f8b304 10BASE10 BASE10 d5f8b304 136591304--//按照道理我输入一 ...

写在前面 今天来学习Zookeeper部分的知识，之后会学习hbase的知识。 Zookeeper简介 Zookeeper是一个高效的分布式协调服务，可以提供以下功能： 配置信息管理 命名 分布式同步 集群管理 数据库切换等服务 它不适合用来存储大量信息，而是用于存储一些配置信息、发布与订阅等少量数 ...

微软憋大招：SQL Server + Copilot = 地表最强AI数据库！ 微软布局代码AI霸主地位 微软在人工智能领域的布局引人注目，尤其在代码生成领域，微软通过Copilot展现出了强大的竞争力。Copilot是基于人工智能的大模型代码助手工具，能够帮助开发者快速生成代码，大幅提升生产力。微 ...

1. 为什么数据质量值得关注 1.1. 数据是你的CEO的首要任务 1.2. 下游数据消费者（包括产品分析师、营销领导者和销售团队）则依赖于数据驱动的工具 1.3. 数据宕机 1.3.1. 指数据丢失、不准确或出现错误的情况，它表现为过时的仪表板、不准确的报告，甚至是糟糕的决策 1.3.2. 数据宕 ...

对于PostgreSQL的高可用，之前研究过repmgr以及pg_auto_failover，起作用都是起到主节点故障时，实现“自动故障转移”的目的。但是repmgr以及pg_auto_failover得缺点是对数据库侵入过多，需要在被监控的数据库内部进行一系列的配置操作，甚至需要专用的服务器作为仲 ...

PostgreSQL系统表或视图中pg_node_tree类型值解析 pg_node_tree类型说明 pg_node_tree是一种openGauss/PostgreSQL内部数据类型，用于表示树形结构的数据。这个数据类型通常对用户不可见，因此直接查询或操作它的内容通常需要使用一些PostgreS ...

PostgreSQL中将对象oid转为对象名 使用pg的内部数据类型将对象oid转为对象名，可以简化一些系统视图的关联查询。 数据库类型转换对应类型的oid 可以用以下数据库类型转换对应类型的oid（以pg12为例） postgres=# select typname from pg_type wh ...

1. 基本信息 数据工程之道：设计和构建健壮的数据系统 [美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著 机械工业出版社,2024年2月出版 1.1. 读薄率 书籍总字数473千字，笔记总字数109584字。 读薄率109584÷473000≈23.17% 1.2 ...

1. 未来 1.1. 运营的优先级和最佳实践与技术可能会改变，但生命周期的主要阶段会在许多年内保持不变 1.2. 随着组织以新的方式利用数据，将需要新的基础、系统和工作流来满足这些需求 1.3. 如果工具变得更容易使用，数据工程师就会向价值链上游移动，专注于更高级别的工作 1.4. 数据工程生命周期 ...

面试：什么是死锁，死锁产生的四个必要条件，如何避免或解决死锁；数据库锁，锁分类，控制事务；MySQL中的死锁现象，MySQL死锁如何解决 ...

前言 我之前在使用达梦数据库的时候，遇到了很多很多的问题，主要对达梦数据库也不是很熟悉，它的语法和我所熟悉的mysql和postgresql有很大的区别。 今天，讲一下我之前遇到的一个问题。这个问题的起因是用达梦数据库迁移工具，将数据库从postgresql迁移到达梦数据库。迁移之后导致的代码报错。 ...

Redis概念和基础 Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。 什么是Redis Redis是一款内存高速缓存数据库。支持key-value存储系统，支持 ...

程序以 Python 语言开发，可读取、解密、还原微信数据库并帮助用户查看聊天记录，还可以将其聊天记录导出为csv、html等格式用于AI训练，自动回复或备份等等作用。 ...

1. 序列化 1.1. 仅仅通过从CSV转换到Parquet序列化，任务性能就提高了上百倍 1.2. 基于行的序列化 1.2.1. 基于行的序列化是按行来组织数据 1.2.2. 对于那些半结构化的数据（支持嵌套和模式变化的数据对象）​，基于行的序列化需要将每个对象作为一个单元来存储 1.2.3. C ...

写在前面 今天继续学习hive部分的知识。 Hive中如何实现行列转换 一行变多行 可以对表使用 LATERAL VIEW EXPLODE()，也可以直接使用 EXPLAIN() 函数来处理一行数据。 SELECT name, col1 FROM testarray2 LATERAL VIEW EX ...