在当今快速发展的技术领域，DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域，但又相互关联，共同推动着软件和数据的高效开发与运营。 DevOps：软件开发的加速器 DevOps是一种将开发（Development）和运营（Operations）结合 ...

11种优化方案供你参考，优化 SQL Server 数据库性能得从多个方面着手，包括硬件配置、数据库结构、查询优化、索引管理、分区分表、并行处理等。通过合理的索引、查询优化、数据分区等技术，可以在数据量增大时保持较好的性能。同时，定期进行数据库维护和清理，保证数据库高效运行。 ...

1. 安全和隐私 1.1. 安全在数据工程的执行层面至关重要 1.1.1. 安全需要成为一种思想和行动的习惯 1.1.2. 安全是隐私立足的根本 1.2. 数据安全是数据工程师在其工作和数据工程生命周期的每个阶段需要考虑的首要问题 1.2.1. 数据工程师的安全和隐私职责在不同的组织中会有很大的不同 ...

前言 我在使用达梦数据库DM时，一开始使用的是达梦数据库自带的连接工具DM管理工具。自带的有它自己的好处，起码对于修改新增字段等是比较兼容的。后面我发现DBeaver也是支持连接达梦数据库的，所以后面用DBeaver也在连接达梦数据库。 我在一开始使用的DM管理工具的时候，遇到了一个奇怪的问题，就是 ...

测试环境说明 环境如下：OS： ubuntu 20PostgreSQL： PostgreSQL 16.4repmgr: repmgr 5.3.3 三台测试环境，均已安装好PostgreSQL 16.4，数据库实例信息如下 IP postgresql实例名 身份192.168.152.100： pos ...

写在前面 今天继续学习hive部分的知识。 Hive 相关知识 hive中不同的 count 区别 select clazz ,count(distinct id) as cnt ,count(*) as cnt ,count(1) as cnt_1 ,count(id) as cnt_id fro ...

01 背景 公司的数据开发平台需要用到DolphinScheduler做任务调度，其中一个场景是：上游任务执行结束后，需要将任务执行结果传递给下游任务。 DolphinScheduler肯定是能实现任务之间的传参的，具体的可以看：DolphinScheduler | 文档中心 (https://do ...

本文整理自白鲸开源联合创始人，Apache DolphinScheduler PMC Chair，Apache Foundation Member 代立冬的演讲。主要介绍了DolphinScheduler及其架构、DolphinScheduler与OceanBase 的联合大数据方案。 Dolphi ...

大家好，我是 V 哥。今天给大家分享 MongoDB的道 V 哥整理的面试题，收藏起来，一定会对你有帮助。 1. 你说的 NoSQL 数据库是什么意思？NoSQL 与 RDBMS 直接有什么区别？为什么要使用和不使用NoSQL 数据库？说一说 NoSQL 数据库的几个优点？ NoSQL（"Not O ...

oracle指定配置文件启动，要是不指定配置文件启动的话 默认找的参数文件顺序如下: 在oracle11g中 oracle启动过程中默认会加载相应的配置文件来启动oracle服务。检查参数文件有两个，一个是spfile<ORACLE_SID>.ora文件,另一个是inti<ORACLE_SID>.o ...

本文为您介绍向量检索服务在电商智能搜索和偏好推荐、自然语言处理等AI问答系统、图库类网站多模态搜索、视频检索、分子检测与筛选等场景下的应用。 ...

2023年12月，交通运输部印发《关于加快智慧港口和智慧航道建设的意见》，《意见》贯穿了“3条主线”，其中最首要的主线是“数字化”，数字化是基础，必须通过数字赋能建设、生产、运营、管理、服务的全要素、全过程、全场景，将数据作为新的生产要素，方可夯实智慧港口和智慧航道根基。最核心的是“智慧化”，智慧化 ...

1. 机器学习 1.1. 机器学习正在变得普遍 1.1.1. 机器学习、数据科学、数据工程以及机器学习工程的界限正在变得模糊，并且在各个组织内部都形态各异 1.2. 现状 1.2.1. 某些组织中，机器学习工程师负责处理为机器学习应用程序处理收集到的数据，有时甚至会形成独立且平行工作的数据组织来处理 ...

MySQL InnoDB Cluster集群中一个节点，在服务器重启过后，启动MySQL实例后，发现status为MISSING，另外memberState为OFFLINE状态。如下所示： MySQL mysqldbu02:7306 ssl JS > cluster.status(){ "clust ...

前言 近年来，国产数据库越来越流行了，其中的原因大家也都知道。其中，我接触过的一款数据库就是达梦数据库。这个数据库的使用还是挺方便的。我知道最近有越来越多的小伙伴要开始国产化改造了，所以，对于达梦数据库这样的国产数据库，肯定想要了解很多知识的。所以，今天就来聊聊如何在windows上安装达梦数据库。 ...

[20241105]跟踪library cache lock library cache pin使用gdb(11g)2.txt--//前一段时间写的使用gdb跟踪library cache lock/library cache pin的脚本。--//我看过以前的笔记，当时测试过链接https://n ...

创建临时表，一部分为了优化查询，join在临时表里查询出结果后导入到正常表中，他也支持多session的查询优化，更重要一点是在session会话关闭后，临时表会自动销毁。嗯就这样 另外分清他和内存表的区别 内存表一定是从memory引擎创建的，临时表可以由memory引擎创建 ...

写在前面 今天来学习hive部分的知识。 Hive 相关概念 Hive是什么？ Apache Hive 是一个基于 Hadoop 的数据仓库工具，旨在通过 SQL 类似的查询语言（称为 HiveQL）来实现对存储在 HDFS（Hadoop Distributed File System）中的大规模数 ...

MySQL 8.0 执行COUNT()很慢原因分析 1.1 问题描述 线上 MySQL8.0.32 环境在执行 SELECT COUNT (1) FROM t0 获取表行数很慢，同样场景下该 SQL 在 MySQL5.7 环境很快就能拿到结果 1.2 问题复现 测试版本：8.0.25 MySQL C ...

写在前面 今天继续学习hadoop部分的知识。 MapReduce 数据切片 InputFormat 接口 InputFormat 是一个抽象类，定义了两个方法： getSplits：负责实现数据切片的方法 createRecordReader：实现数据的 key-value 格式。 FileInp ...