0

获取Data和Log默认路径

星空斗地主_[官网入口]使用SERVERPROPERTY()来得到Data和Log的默认路径: InstanceDefaultDataPath和InstanceDefaultLogPath分别返回默认数据和日志目录。 DECLARE @ddp sql_variant = SERVERPROPERTY('InstanceDe ...

Insus.NET 发布于 2020-02-21 16:18 评论(0)阅读(0)
0

快速查找对象

在SQL Server Management Studio对象,会随系统的开发,所产生的对象也会越来越多,我们可以使用SMS的过滤功能来查找对象: 参考下面步骤: 按步骤5之后,得到结果: 最后,如果想取消过滤,参考: ...

Insus.NET 发布于 2020-02-21 15:18 评论(0)阅读(2)
0

表关联使用INNER JOIN实现更新功能

准备一些数据,创建2张表,表1为学生表: CREATE TABLE [dbo].[Student] ( [SNO] INT NOT NULL PRIMARY KEY, [Name] NVARCHAR(10) NOT NULL, [Performance] DECIMAL(18,2) NULL ) G ...

Insus.NET 发布于 2020-02-21 14:55 评论(0)阅读(1)
0

流处理引擎(SPE)中的的分布式一致性语义之Exactly-Once和Effectively-Onece区别

At most Onece:最多一次,如果算子处理事件失败,事件将不再尝试该事件。 At Least Onece:至少一次,如果算子处理事件失败,算子会再次尝试该处理事件,直到有一次成功。 Exactly Once:严格一次,通常有两种方法实现: 1.分布式快照+状态检查点,思想就是对比检查点和分布 ...

JaxYoun 发布于 2020-02-21 12:33 评论(0)阅读(3)
0

大数据引擎分代

大致可以将大数据的计算引擎分成了 4 代。 1、第一代的计算引擎,无疑就是Hadoop承载的MapReduce。它将每个JobApp都被设计为两个阶段,分别为Map和Reduce。对于上层应用来说,就不得不想方设法去拆分算法,甚至于不得不在 上层应用实现多个App的串联 ,才能完成一个完整的算法,例 ...

JaxYoun 发布于 2020-02-21 12:29 评论(0)阅读(2)
0

SQL Server解惑——对象命名的唯一性小结

关于SQL Server数据库中的对象命名的唯一性问题。例如表、索引、约束等数据库对象,有时候DBA在做数据库维护时,经常要创建对象或重命名对象,此时就会遇到一个问题,对象命名的唯一性问题。虽然是一个小小的问题,估计不少人搞不清,在看文章前,你可以先回答几个问题 1: 表名在数据库是不是唯一? 不同... ...

潇湘隐者 发布于 2020-02-21 11:48 评论(0)阅读(7)
0

mysql数据库批量执行sql文件对数据库进行操作【windows版本】

起因: 因工作需要,在本机测试环境升级mysql数据库,需逐条执行mysql数据库的sql文件对数据库进行升级,因此找了些关于mysql的文章,对批量升级数据库所需的sql文件进行升级。星空斗地主_[官网入口] 整理思路: 首先,需要对所需升级的sql所在目录的sql文件进行遍历。星空斗地主_[官网入口]生成新的批量执行sql文件。想到是wind ...

书未来 发布于 2020-02-21 08:47 评论(0)阅读(5)
0

从日期获取年,月或日

参考: DECLARE @D DATETIME = GETDATE() SELECT DATEPART(YEAR,@D) AS [YEAR], DATEPART(MONTH,@D) AS [MONTH], DATEPART(DAY,@D) AS [DAY] SELECT YEAR(@D) AS [Y ...

Insus.NET 发布于 2020-02-21 08:24 评论(0)阅读(5)
0

日期简单加或减

数据库日期简单加或减: DECLARE @D DATETIME = GETDATE() SELECT @D SELECT DATEADD(DAY,5,@D) --加5天 SELECT DATEADD(DAY,-5,@D) --减5天 --简单加减,如: SELECT @D + 5 SELECT @D ...

Insus.NET 发布于 2020-02-21 08:08 评论(0)阅读(3)
0

MySQL导出数据时提示文件损坏

1. 使用Navicat工具,优先将整个数据库的表和数据导出。 2. 如果遇到 文件损坏 错误可以在 表实例界面 选中所有表,然后将表转储为SQL文件(结构和数据)。 3. 在目标数据库执行导出的SQL文件,导入数据和结构。 4. 如果个别表因为各种原因(比如使用federated引擎建立了DB L ...

JaxYoun 发布于 2020-02-20 19:09 评论(0)阅读(6)
0

Flink知识散点

1、KeyBy 操作后,只有当 Key 的数量大于算子的并发实例数才能获得较好的计算性能。 A.而若Key 的数量比实例数量少,就会导致部分实例收不到数据,这些实例就得不到执行,这些实例的计算能力得不到充分发挥。 ~~B.当Key个数多余并行实例数时,由于同一个 Key 对应的所有数据都能发送到同一 ...

JaxYoun 发布于 2020-02-20 19:08 评论(0)阅读(9)
0

Flink中逻辑计划和物理计划的概念划分和对应关系

星空斗地主_[官网入口]逻辑计划 1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。 2. operator往往代表一个函数。 3. 同一个分区内的具有连续上下游关系的函数组成operator chain,一个operator chain内的数据来流动过程中不会出现序列化和分区间 ...

JaxYoun 发布于 2020-02-20 19:06 评论(0)阅读(6)
0

SparkShuffle机制

在早期版本的Spark中,shuffle过程没有磁盘读写操作,是纯内存操作,后来发现效率较低,且极易引发OOME,较新版本的Shuffle操作都加入了磁盘读写进行了改进。 1、未经优化的HashShuffleManager:上一个stage中每一个task会对下一个stage的每一个task写一份数 ...

JaxYoun 发布于 2020-02-20 18:56 评论(0)阅读(5)
0

Spark组件间通信

1、Spark组件之间使用RPC机制进行通信。RPC的客户端在本地编写并调用业务接口,接口在本地通过RPC框架的动态代理机制生成一个对应的实现类,在这个实现类中完成soket通信、远程调用等功能的逻辑包装,而在RPC的服务端既编写业务接口也编写了具体的业务实现类,通过RPC框架以接口的方式暴露出来, ...

JaxYoun 发布于 2020-02-20 18:54 评论(0)阅读(4)
0

Spark内存管理

1、spark的一大特性就是基于内存计算,Driver只保存任务的宏观性的元数据,数据量较小,且在执行过程中基本不变,不做重点分析,而真正的计算任务Task分布在各个Executor中,其中的内存数据量大,且会随着计算的进行会发生实时变化,所以Executor的内存管理才分析的重点。 2、在执行Sp ...

JaxYoun 发布于 2020-02-20 18:52 评论(0)阅读(3)
0

Redis持久化机制

1、Redis数据持久化的必要性 由于redis是基于内存的数据库,面临数据掉电易失的风险,要避免数据丢失,最好将内存数据持久化到磁盘等永久存储介质上。服务重启时,会先加载磁盘文件内的数据到内存,完成数据恢复。 2、RDB(RedisDB) 对内存中的redis全量数据进行 时点快照 并序列化,以文 ...

JaxYoun 发布于 2020-02-20 18:51 评论(0)阅读(3)
0

Redis集群模式

1、常见的三种数据的集群存储模式 1. full mirror:全量镜像模式,单纯备份模式,各个节点数据相同,都包含了全量数据,仅主节点可写,保证了数据冗余和读的负载均衡。星空斗地主_[官网入口]数据安全性高,横向扩展能力差,资源利用率不高。 2. pure sharding:数据分片,每个节点的数据不相同,所有节点中数据 ...

JaxYoun 发布于 2020-02-20 18:49 评论(0)阅读(7)
0

Ambari HDP 下 SPARK2 与 Phoenix 整合

1、环境说明 | 操作系统 | CentOS Linux release 7.4.1708 (Core) | | | : : | | Ambari | 2.6.x | | HDP | 2.6.3.0 | | Spark | 2.x | | Phoenix | 4.10.0 HBase 1.2 | 2 ...

跟着大数据和AI去旅行 发布于 2020-02-20 17:53 评论(0)阅读(4)
0

关于索引我能说的那些事儿

本文是自己对MySQL的 索引的理解,如有错误,还望不吝指出。 1 索引 索引这两个字着实有些太泛,而在我的理解中,其就是一个查字典的过程,比方说现在我们要从一本字典中查一个 字,那么我们可以从目录中的 字母找到这个 字,发现在 页,然后翻到 就可以看到关于 这个的解释、用法等。 可以看到我们不是从 ...

张小云的博客 发布于 2020-02-20 17:22 评论(2)阅读(94)
0

修改数据库默认位置

手动方法: 使用SQL语句: USE [master] GO DECLARE @Reg_Key NVARCHAR(40) = N'HKEY_LOCAL_MACHINE' DECLARE @Reg_Soft_Path NVARCHAR(100) = N'Software\Microsoft\MSSQL ...

Insus.NET 发布于 2020-02-20 16:45 评论(0)阅读(8)

页面底部区域 foot.htm