[20241110]使用xto10.sql脚本遇到的问题.txt--//自己在使用xto10.sql脚本时，输入参数错误，我没有想到竟然执行有结果，例子：SYS@book> @ xto10 d5f8b304 10BASE10 BASE10 d5f8b304 136591304--//按照道理我输入一 ...

写在前面 今天来学习Zookeeper部分的知识，之后会学习hbase的知识。 Zookeeper简介 Zookeeper是一个高效的分布式协调服务，可以提供以下功能： 配置信息管理 命名 分布式同步 集群管理 数据库切换等服务 它不适合用来存储大量信息，而是用于存储一些配置信息、发布与订阅等少量数 ...

微软憋大招：SQL Server + Copilot = 地表最强AI数据库！ 微软布局代码AI霸主地位 微软在人工智能领域的布局引人注目，尤其在代码生成领域，微软通过Copilot展现出了强大的竞争力。Copilot是基于人工智能的大模型代码助手工具，能够帮助开发者快速生成代码，大幅提升生产力。微 ...

1. 为什么数据质量值得关注 1.1. 数据是你的CEO的首要任务 1.2. 下游数据消费者（包括产品分析师、营销领导者和销售团队）则依赖于数据驱动的工具 1.3. 数据宕机 1.3.1. 指数据丢失、不准确或出现错误的情况，它表现为过时的仪表板、不准确的报告，甚至是糟糕的决策 1.3.2. 数据宕 ...

对于PostgreSQL的高可用，之前研究过repmgr以及pg_auto_failover，起作用都是起到主节点故障时，实现“自动故障转移”的目的。但是repmgr以及pg_auto_failover得缺点是对数据库侵入过多，需要在被监控的数据库内部进行一系列的配置操作，甚至需要专用的服务器作为仲 ...

PostgreSQL系统表或视图中pg_node_tree类型值解析 pg_node_tree类型说明 pg_node_tree是一种openGauss/PostgreSQL内部数据类型，用于表示树形结构的数据。这个数据类型通常对用户不可见，因此直接查询或操作它的内容通常需要使用一些PostgreS ...

PostgreSQL中将对象oid转为对象名 使用pg的内部数据类型将对象oid转为对象名，可以简化一些系统视图的关联查询。 数据库类型转换对应类型的oid 可以用以下数据库类型转换对应类型的oid（以pg12为例） postgres=# select typname from pg_type wh ...

1. 基本信息 数据工程之道：设计和构建健壮的数据系统 [美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著 机械工业出版社,2024年2月出版 1.1. 读薄率 书籍总字数473千字，笔记总字数109584字。 读薄率109584÷473000≈23.17% 1.2 ...

1. 未来 1.1. 运营的优先级和最佳实践与技术可能会改变，但生命周期的主要阶段会在许多年内保持不变 1.2. 随着组织以新的方式利用数据，将需要新的基础、系统和工作流来满足这些需求 1.3. 如果工具变得更容易使用，数据工程师就会向价值链上游移动，专注于更高级别的工作 1.4. 数据工程生命周期 ...

面试：什么是死锁，死锁产生的四个必要条件，如何避免或解决死锁；数据库锁，锁分类，控制事务；MySQL中的死锁现象，MySQL死锁如何解决 ...

前言 我之前在使用达梦数据库的时候，遇到了很多很多的问题，主要对达梦数据库也不是很熟悉，它的语法和我所熟悉的mysql和postgresql有很大的区别。 今天，讲一下我之前遇到的一个问题。这个问题的起因是用达梦数据库迁移工具，将数据库从postgresql迁移到达梦数据库。迁移之后导致的代码报错。 ...

Redis概念和基础 Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。 什么是Redis Redis是一款内存高速缓存数据库。支持key-value存储系统，支持 ...

程序以 Python 语言开发，可读取、解密、还原微信数据库并帮助用户查看聊天记录，还可以将其聊天记录导出为csv、html等格式用于AI训练，自动回复或备份等等作用。 ...

1. 序列化 1.1. 仅仅通过从CSV转换到Parquet序列化，任务性能就提高了上百倍 1.2. 基于行的序列化 1.2.1. 基于行的序列化是按行来组织数据 1.2.2. 对于那些半结构化的数据（支持嵌套和模式变化的数据对象）​，基于行的序列化需要将每个对象作为一个单元来存储 1.2.3. C ...

写在前面 今天继续学习hive部分的知识。 Hive中如何实现行列转换 一行变多行 可以对表使用 LATERAL VIEW EXPLODE()，也可以直接使用 EXPLAIN() 函数来处理一行数据。 SELECT name, col1 FROM testarray2 LATERAL VIEW EX ...

[20241107]nocache的编译.txt--//原来的测试环境不存在，需要建立nocache工具了解文件缓存情况，学习OS相关知识。--//实际上linux对这些工具从应用角度讲不重要，如果有用，linux实用程序里面应该包含类似工具。可惜一直不提供。--//一般这类安装，我都会写安装笔记， ...

碰到MYSQL常见的1032错误，从库复制异常。 通过show slave status\G 命令也能看到对应的报错（处理时忘记截图了）。 通过报错我们可以去主库找到binlog中具体的报错。 mysqlbinlog --no-defaults -v -v --base64-output=DECOD ...

在B站上看到一个分页视频，老师讲的挺好 ，记录下来。想看原视频的可以去B站 --1.建立Students表CREATE TABLE students ( ID INT PRIMARY KEY IDENTITY(1,2), NAME NVARCHAR(50) NOT NULL, SEX CHAR(6) ...

在大数据和现代 IT 环境中，任务调度与工作负载自动化（WLA）工具是优化资源利用、提升生产效率的核心驱动力。随着企业对数据分析、实时处理和多地域任务调度需求的增加，这些工具成为关键技术。 本文将介绍当前技术发展背景下的Top 10开源任务调度工具，并探讨它们在大数据和工作负载管理中的实际应用。 任 ...

【GreatSQL优化器-01】const_table 一、const_table介绍 GreatSQL的优化器主要用JOIN类来进行处理SQL语句的，JOIN类有以下四个table数量相关的成员变量。其中const_tables是optimize最开始就检查并且标识的，因为这样可以把记录最少的表放 ...