数据库
刷新
使用 DuckDB 分析 CSV 文件

博主头像 CSV 这种格式太常见了。银行导出的流水、购物平台导出的订单、自己记的账、各种后台导出的报表，基本都是 CSV。 想分析一下，用 Excel 打开大文件容易卡，用数据库又得先建表、导入，折腾一圈可能就为了看几个数。 DuckDB 可以直接读 CSV，自动推断列名和类型，然后用 SQL 查。 装完就能 ...

读数据架构知识体系指南03数据湖(上)

博主头像 1. 数据湖 1.1. 因为传感器、视频和社交媒体等数据源的增加，产生了半结构化和非结构化的数据，所以大数据在21世纪10年代初以前所未有的规模出现 1.1.1. 关系数据仓库*不适合存储这些类型的数据 1.1.1.1. 数据仓库中的数据更加结构化和并且经过处理，就像仓库里的瓶装或包装商品一样 1. ...

使用 DuckDB 分析 Parquet 文件

博主头像 上周朋友发我一个小餐馆的订单文件：restaurant_orders.parquet。 他说是外卖平台导出的，想看看总共多少单、赚了多少钱、哪个菜卖得好、大家怎么付款。 文件几百 MB，不算大，但也不想为了看几个数去折腾数据库。 我直接用了 DuckDB，它有几个好处： 不用建表，不用导入，直接 r ...

读数据架构知识体系指南02关系数据仓库(下)

博主头像 1. 优点 1.1. 使用关系数据仓库(RDW)可以更轻松地构建任何类型的BI解决方案，因为BI解决方案可以直接从RDW中提取数据，而无须创建复杂的逻辑从多个源系统中提取数据 1.2. 无须清洗或合并数据，因为RDW已经完成了这些工作 1.3. 使用RDW构建的BI解决方案可以是一个数据集市 1.4 ...

读数据架构知识体系指南01关系数据仓库(上)

博主头像 1. 关系数据仓库 1.1. 关系数据仓库(RDW)是一个集中存储和管理来自多个数据源的大量结构化数据的地方，用于生成历史和趋势分析报表，为公司的商业决策提供帮助 1.2. 被称为关系（数据仓库）​，是因为它是基于关系模型的，这是一种广泛应用于数据库的数据表示和组织的方法 1.3. 在关系模型中，数 ...

DuckDB + SQL 高效分析 JSON 数据

博主头像 你有没有过这样的经历？从某个 API 抓下来一堆 JSON，或者从 App 里导出了自己的数据，想分析一下，结果发现 JSON 嵌套得像个迷宫。 用 Python 写脚本？可以，但写起来麻烦，调试也费劲。 用 Excel？它连嵌套的 JSON 都打不开。 这时候，DuckDB + SQL 就像一把瑞 ...

德州市鲁劲减速机有限公司联系方式

德州市鲁劲减速机有限公司坐落于素有“中国减速机产业基地”美誉的山东德州，是一家专业从事齿轮减速机、蜗轮蜗杆减速机、丝杆升降机、机械传动设备研发、生产、销售及售后技术服务为一体的现代化实体企业。公司深耕传动机械行业多年，凭借扎实的生产实力、成熟的制造工艺、完善的质检体系以及贴心的售前售后服务，在矿山、 ...

[20260901]表exp_head$的exp_id如何计算.txt

[20260901]表exp_head$的exp_id如何计算.txt--//实际上如何计算表sys.exp_head$的exp_id并不重要，主要目的学习bpftrace脚本，以及那些信息参与运算。1.环境：SCOTT@book01p> @ ver2 PORT_STRING : x86_64/Li ...

读数据可视化18时变数据(下)

博主头像 1. 流数据可视化 1.1. 流数据是一类特殊的时变型数据，输入数据（全部或部分）并不存储在可随机访问的磁盘或内存中，而是以一个或多个“连续数据流”的形式到达 1.2. 常见的流数据 1.2.1. 移动通信日志 1.2.2. 网络数据（日志、传输数据包、警报等） 1.2.3. 高性能集群平台日志 1 ...

读数据可视化17时变数据(上)

博主头像 1. 时变数据 1.1. 时间是一个非常重要的维度和属性 1.2. 随时间变化、带有时间属性的数据称为时变型数据 1.2.1. Time-varying Data 1.2.2. Temporal Data 1.3. 时变型数据的处理方法与顺序型数据（Sequential Data）有相通之处 1.4 ...

[20260824]数字字典对象hash的计算.txt

[20260824]数字字典对象hash的计算.txt--//前几天探究row cache时，好奇对应的hash值如何计算，经过多次尝试，大致知道算法。1.环境：SYS@book> @ ver2 PORT_STRING : x86_64/Linux 2.4.xxVERSION : 21.0.0.0. ...

Gaussdb数据库备份与恢复

博主头像 一、GaussDB介绍 GaussDB 是华为自主创新研发的分布式关系型数据库，属于华为云数据库产品。‌具备高可用、高性能、高安全、高弹性、高智能、易部署、易迁移等关键能力，是企业核心业务数字化转型升级的坚实数据底座。 二、命令介绍 在 Linux 命令行下，使用 gs_dump 命令备份当前库的所 ...

读数据可视化10数据（下）

博主头像 1. 数据挖掘 1.1. 指设计特定算法，从大量的数据集中去探索发现知识或者模式的理论和方法，是知识工程学科中知识发现的关键步骤 1.2. 直观的定义是通过自动或半自动的方法探索与分析数据，从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、潜在有用的信息和知识的过 ...

读数据可视化09数据（中）

博主头像 1. 数据组织与管理 1.1. 无关、错误的信息随之增长 1.2. 数据管理包括对数据进行有效的收集、存储、处理和应用的过程 1.3. 管理对象是数据生命周期所涉及的应用过程中描述构成应用系统构件属性的元数据 1.3.1. 流程、文件、数据元、代码、规则、脚本、档案、模型、指标、物理表、ETL、运行 ...

123···50>