10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。 会上，易知微产品经理林树为大家带来了一款新产品——多层级数据填报与报送平台TableFill。TableFill是一款一站式表单填 ...

1. 合作角色 1.1. 数据分析师 1.2. 数据科学家 1.3. MLOps/机器学习工程师 1.4. 业务侧 1.4.1. 数据或非技术的利益相关者、经理和高管 1.5. 数据工程师更多的是在支持这些利益相关者的工作，不一定对数据的最终使用方式负责 1.6. 数据工程师负责的是产出高质量的数据 ...

第三十四讲：join语句怎么优化？ 简概： 万年不变的开头 ​ 在上一篇文章中，我和你介绍了 join 语句的两种算法，分别是 Index Nested-Loop Join(NLJ) 和 Block Nested-Loop Join(BNL)。我们发现在使用 NLJ 算法的时候，其实效果还是不错的， ...

10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。 作为大会的重要环节之一，袋鼠云数栈产品经理潮汐带来了题为《指标+AI+BI：构建数据分析新范式》的精彩演讲，深入剖析了当前企业在进 ...

1. 使用场景 1.1. 为分析和BI，也就是统计分析、报表和仪表板提供数据服务 1.1.1. 是数据服务最为常见的目标 1.1.2. 这些概念的提出早于IT和数据库，但是它们对于了解业务、组织和财务流程的利益相关者来说仍然至关重要 1.2. 为机器学习应用程序提供数据服务 1.2.1. 机器学习完 ...

第三十三讲：到底可不可以使用join？ 简概： 厌烦了平淡的开头 提出问题 ​ 在实际生产中，关于 join 语句使用的问题，一般会集中在以下两类： 我们 DBA 不让使用 join，使用 join 有什么问题呢？ 如果有两个大小不同的表做 join，应该用哪个表做驱动表呢？ 提出示例 ​ 今天这篇 ...

MySQL--DAY04 索引 定义 索引是在数据库表的字段上添加的，是为了提高查询效率存在的一种机制。 一张表的一个字段可以添加一个索引，当然，多个字段联合起来也可以添加索引。 索引相当于一本书的目录，是为了缩小扫描范围而存在的一种机制。 对于一本字典来说，查找某个汉字有两种方式： 第一种方式：一 ...

Apache SeaTunnel作为一款高效的数据集成和同步工具，一直活跃于大数据领域。Milvus作为全球领先的开源向量数据库，致力于推动向量数据管理和AI的应用。 在最新版本中，SeaTunnel Connector已正式支持向量数据库Milvus，这是SeaTunnel在助力用户提升AI应用开 ...

需求：编写程序利用Spark Streaming 监控HDFS 目录/input目录下的文件，并对上传的文件进行词频统计。 首先，linux中需要有netcat，来实现监听功能，有的linux会自带这个软件，可以用下面的命令测试一下，如果不报错就没问题，Ctrl+z可以退出 nc -l 9999 没 ...

1. 转换 1.1. 转换与查询不同 1.1.1. 查询是根据过滤和连接逻辑从各种来源检索数据 1.1.2. 转换将结果持久化，供其他转换或查询使用 1.1.2.1. 结果可以被短暂地或永久地保存 1.1.3. 除了持久性，转换区别于查询的另一个特点是复杂性 1.1.3.1. 你可能会建立复杂的数据 ...

MySQL--DAY03 一个案例 查询每一个员工的所在部门名称？要求显示员工名和部门名。 mysql> select * from emp; + + + + + + + + + | EMPNO | ENAME | JOB | MGR | HIREDATE | SAL | COMM | DEPTNO ...

MySQL--DAY01 基本概念 数据库：英文单词DataBase，简称DB。按照一定格式存储数据的一些文件的组合。 顾名思义：存储数据的仓库，实际上就是一堆文件。这些文件中存储了具有特定格式的数据。 数据库管理系统：DataBaseManagement，简称DBMS。 数据库管理系统是专门用来管 ...

Redis的ZSet底层数据结构，ZSet类型全面解析；应用场景、底层结构、常用命令；压缩列表ZipList、跳表SkipList；B+树与跳表对比，MySQL为什么使用B+树；ZSet为什么用跳表，而不是B+树、红黑树、二叉树 ...

我的服务器数据库内存还有4个G，里面有8个G的表，现在，我要让我的客户机远程连接服务器后对数据库进行一次全表扫描，请问，我的服务器会不会因为内存被8个G的表塞得溢出而崩溃？ 面试关如实问到 在我阅读这篇文章后，我会这么跟面试官说： 第一，内存不会打满，除非socket send buffer... ...

Redis数据结构——List类型全面解析：存储多个有序的字符串，列表中每个字符串成为元素 Eelement，最多可以存储 2^32-1 个元素。可对列表两端插入（push）和弹出（pop）、获取指定范围的元素列表等，常见命令。 底层数据结构：3.2版本之前，底层采用**压缩链表ZipList**... ...

1. 数据建模 1.1. 良好的数据架构必须反映出使用这些数据的组织的业务目标和业务逻辑 1.2. 数据湖1.0、NoSQL和大数据系统的兴起，使工程师们有时是为了合理的性能提升去忽略传统的数据建模 1.3. 数据在企业中的地位急剧上升，人们越来越认识到，建模对于实现数据科学需求层次金字塔中更高层次 ...

在一个阳光洒满教室的温暖午后，hr隔着腾讯会议的屏幕目光如炬得看着你，大喝一声，你在mysql实验中有没有遇到sql语句kill不了的情况，所！ 每一个sql语句的线程执行都有一个或多个“埋雷点”，kill query或kill 线程id都是向这个埋雷点发信号激活，所以，当这个sql语句执行到被激活... ...

mysql数据误删后的数据回滚 第一步：下载MyFlash工具 # 创建文件夹 mkdir /back_data cd /back_data # 下载压缩包 wget https://codeload.github.com/Meituan-Dianping/MyFlash/zip/master # ...

1. 查询 1.1. 通过理解查询、建模和转换​，你会掌握将原始数据转化为下游利益相关者可用数据的工具 1.2. 被很多人熟知的SQL，这是最流行和通用的查询语言 1.3. 查询是数据工程、数据科学和数据分析的基础 1.4. 在了解数据转换的基本模式和技术之前，你需要了解什么是查询、它如何在各种数据 ...

1、安装包 Navicat 17： 链接：https://pan.quark.cn/s/01e0265eb7eb提取码：wmti Navicat 16： 链接：https://pan.quark.cn/s/63c07b20ea7b提取码：B9ij 2、安装教程（这里以安装Navicat 17 为例） ...