自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Laurence的技术博客

// 专注是最好的修行

原创 重磅推荐:建大数据平台太难了!给我发个工程原型吧!
原力计划

故事缘起:我们需要工程原型! 大数据平台的架构体系庞大,技术堆栈非常深,从事大数据开发的同学对此应该都深有体会。而在很多细分领域(例如实时计算、作业调度)也没有像样的工程模板,这导致很多团队在启动大数据平台建设时往往感到无所侍从,也使得希望深入学习大数据技术的开发者由于缺少工程级的示例参考而感到...

2020-06-19 11:27:26 3636 4

原创 时间序列大数据平台建设经验谈

版权声明:本文由本人撰写并发表于2018年1月刊的《程序员》杂志,本文版权归《程序员》杂志所有,未经许可不得转载。 引言 在大数据的生态系统里,时间序列数据(Time Series Data,简称TSD)是很常见也是所占比例最大的一类数据,几乎出现在科学和工程的各个领域,一些常见的时间序列...

2018-02-07 10:37:25 12905 6

原创 从函数字面量发现函数式编程

版权声明:本文由本人撰写并发表于2015年3月下半月的《程序员》杂志,原文题目《从字面量发现函数式编程》,本文版权归《程序员》杂志所有,未经许可不得转载。 引言 我相信很多像我一样初次接触函数式编程的程序员来说,对于“函数字面量”这个概念会感到迷惑和不解。伴随着深入地学习,在清晰地理解了这个概...

2015-04-27 11:54:09 9015 5

原创 HBase高性能复杂条件查询引擎

版权声明:本文由本人撰写并发表于2014年7月份的InfoQ,HBase的PMC成员Ted Yu先生参与了审稿并于给予了肯定。该方案设计之初仅寄希望于通过二级索引提升查询性能,由于在前期架构时充分考虑了通用性以及对复杂条件的支持,在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。HBase在大...

2014-06-17 20:10:36 43217 35

原创 数据库分库分表(sharding)系列(五) 一种支持自由规划无须数据迁移和修改路由代码的Sharding扩容方案

版权声明:本文由本人撰写并发表于2012年9月份的《程序员》杂志,原文题目《一种支持自由规划的Sharding扩容方案——主打无须数据迁移和修改路由代码》,此处作为本系列的第五篇文章进行转载, 本文版权归《程序员》杂志所有,未经许可不得转载!作为一种数据存储层面上的水平伸缩解决方案,数据库Shar...

2012-09-12 12:19:52 68185 57

原创 Spring基于ThreadLocal的“资源-事务”线程绑定设计的缘起

题目起的有些拗口了,简单说,这篇文章想要解释Spring为什么会选择使用ThreadLocal将资源和事务绑定到线程上,这背后有着什么样的起因和设计动机,通过分析帮助大家更清晰地认识Spring的线程绑定机制。本文原文链接:http://blog.csdn.net/bluishglc/articl...

2012-07-25 14:17:56 25774 12

原创 数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示

本文原文连接: http://blog.csdn.net/bluishglc/article/details/7696085 ,转载请注明出处!本文着重介绍sharding切分策略,如果你对数据库sharding缺少基本的了解,请参考我另一篇从基础理论全面介绍sharding的文章:数据库Shar...

2012-06-27 14:32:44 172966 24

原创 从MVC框架看MVC架构的设计

从MVC框架看MVC架构的设计尽管MVC早已不是什么新鲜话题了,但是从近些年一些优秀MVC框架的设计上,我们还是会发现MVC在架构设计上的一些新亮点。本文将对传统MVC架构中的一些弊病进行解读,了解一些优秀MVC框架是如何化解这些问题的,揭示其中所折射出的设计思想与设计理念。MVC回顾作为一种经典...

2011-08-16 09:57:37 91136 82

原创 领域驱动设计(Domain Driven Design)参考架构详解

领域驱动设计(Domain Driven Design)参考架构详解摘要本文将介绍领域驱动设计(Domain Driven Design)的官方参考架构,该架构分成了Interfaces、Applications和Domain三层以及包含各类基础设施的Infrastructure。本文会对架构中一...

2011-08-12 11:33:02 60073 12

原创 Hadoop/Yarn的日志清理

Hadoop/Yarn的日志清理可以分为两个子话题讨论: Hadoop/Yarn的本地日志(非Yarn Container生成的日志) Yarn的Container生成的日志 我们这里讨论的日志清理并不是通过定时的日志删除命令去实现,这一做法显然优雅, 具体的做法下面会分别进行讨论。 1. H...

2020-09-22 11:50:39 79 0

原创 如何制作一个AWS EMR客户端节点( Client Node / Edge Node / Gateway Node )

1. 为什么需要EMR客户端节点? 对于AWS EMR不提供专职的客户端节点( Edge Node / Gateway Node )一事,作为一名架构师,我持保留意见。个人认为这并不明智,其客观上削弱了EMR的易用性。尽管云计算的“处世哲学”认为:计算与存储应该是分离的,这使得计算资源变成动态可调...

2020-09-11 10:26:32 143 0

原创 JMeter实用案例讲解:生成Mockup/Dummy JSON压测REST API

JMeter实用案例:生成Mockup/Dummy JSON数据压测Restful API 在实际工作中我们经常需要做一些性能测试,过去我基本上使用的都是JMeter,这么多年使用下来的一个感受是:JMeter并不太容易上手,但确实强大灵活,可以应对一些复杂的测试场景,一但掌握了,基本就不再需要其...

2020-09-04 09:34:13 1169 0

原创 中台架构详解(下)| 建设数据中台系列(五)

本质上,中台是一种中心化、平台化的企业组织架构和业务形态,当这样的组织和业务架构投射到IT 系统上时会自然地形成我们今天讨论的IT 意义上的“中台”。笔者曾经参与过不少定位为统一平台的项目,其中有不少失败的案例,对于这个问题有一点个人的思考:也许中心化系统都是反传统管理体制的,烟囱式的生态系统是企...

2020-09-01 13:44:37 219 0

原创 OpenTSDB 2.4安装报org.hbase.async.TableNotFoundException: “tsdb“错误

使用rpm包安装目前最新的OpenTSDB 2.4时,会在启动时报: org.hbase.async.TableNotFoundException: "tsdb" 经过排查,发现是由于OpenTSDB使用的HBase数据库初始化脚本/usr/share/opentsdb/to...

2020-08-26 09:43:25 456 0

原创 OpenTSDB 2.4安装报FileNotFoundException: LOG_FILE_IS_UNDEFINED (Permission denied)错误

使用rpm包安装目前最新的OpenTSDB 2.4时,会在启动时报: FileNotFoundException: LOG_FILE_IS_UNDEFINED (Permission denied) 经过排查,发现是由于OpenTSDB使用的logback配置文件/usr/share/opent...

2020-08-26 09:30:10 268 0

原创 中台架构详解(上)| 建设数据中台系列(四)
原力计划

中台打破了应用系统的壁垒,从企业全局梳理和规划业务程,重构了组织架构、业务架构与IT 架构。 在梳理了企业的IT 现状并回顾了SOA 的历史之后,我们需要对中台架构进行一番详细的介绍,阿里巴巴的Aliware 团队曾经给中台下过这样的定义: 将企业的核心能力随着业务不断发展以数字化形式沉淀到平台...

2020-08-15 13:59:57 1535 0

原创 Git常用操作备忘

分支类操作 查看远程分支 git branch -a 删除远程分支 git push origin --delete <branchName>

2020-08-12 16:58:05 120 0

原创 SOA为什么不“香”了?| 建设数据中台系列(三)
原力计划

SOA 所有的理念都是基于现有应用系统展开的,不管是对服务的梳理还是服务之间的交互,都是以现有应用系统为载体的,中台不同于SOA 的地方在于:中台是一种平台化思维,它并不是从系统集成的角度去思考问题,而是从架构层面上重构了整个IT 生态。相比之下,中台无疑是一种更深刻、更底层的变革,因为它完全破除...

2020-08-01 09:32:37 334 0

原创 怎么走着走着就变“烟囱”了呢?| 建设数据中台系列(二)
原力计划

这两年,随着中台概念的兴起,一种IT过去的常态,现在的明星反面教材——“烟囱式架构”被反复提及并为大家所熟知。作为中台的对立面,烟囱式架构不幸地成为了业界合力吐槽的“倒霉孩子”,那些对比中台理念审视过自身IT系统的传统企业都不禁心虚地喃喃自语道:“嗯,我有病,得治!” 开个玩笑,其实我们并不打算在...

2020-07-23 09:32:53 257 0

原创 可以复用的数据中台架构与建设实践 | 数据中台公开课

数据中台的概念满天飞,但是数据中台的落地始终是一个难点,很难统一。 最近几年,随着企业数据的爆炸式增长,以及大数据与人工智能的普及和推广,越来越多的企业意识到“数据”对企业的重要性。建设“数据驱动型”企业也成了越来越多企业的战略目标之一。加大数据领域的投入,促使了IT部门开启了新一代数据平台的建...

2020-07-22 09:17:24 396 0

原创 企业数据能力测评:认清现状,布局未来 | 建设数据中台系列(一)
原力计划

“我的企业目前在数据应用上处于什么水平?接下来应该朝哪个方向努力?”本文试图帮助企业决策者和IT负责人解答这一问题。 今天,数据之于企业的重要性已经勿须多言,建设数据驱动型企业已成为众多企业的战略目标之一。在这一趋势的引领下,很多企业开始了新一代数据平台(例如数据中台)的建设工作,然而在启动这一...

2020-07-10 11:13:18 1422 0

原创 Java应用/JDBC/Squirrel在Kerberos认证时报Unable to obtain Principal Name for authentication的解决方法

Java应用/JDBC/Squirrel在Kerberos认证时报Unable to obtain Principal Name for authentication的解决方法 关于如何在Windows本地安装配置Kerberos客户端,以及进行相关的配置,网上有很多现成的文档可以参考,其中: h...

2019-07-12 15:59:20 4860 0

原创 Kerberose安装与CDH集成

Kerberose安装与CDH集成 文章目录Kerberose安装与CDH集成1.Kerberose安装1.1. 软件版本1.2. 集群角色1.3. 安装JCE Policy File1.4. 安装Kerberos1.5. 配置Kerberos1.6. 创建数据库1.7. 启动Kerberos服务...

2019-05-31 09:15:25 666 0

原创 提升小规模HDP集群的作业并行度

对于团队使用的一些小型的Hadoop集群来说,由于资源有限,团队成员又多,并行开发和测试又密集,很容易出现资源紧张,作业被pending无法执行的情况,最大化的配置集群作业的并行度是开发环境的集群所必须的。 1. Yarn Queue的作业分配粗策略 默认情况,Yarn作业的提交顺序使用FIFO...

2019-01-30 18:18:54 828 1

原创 Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法

Hive JDBC连接Tez(AM)容器长期不释放问题的解决方法 问题 有这样一个问题是很常见的:如果我们的Hive使用默认使用Tez作为执行引擎,当我们使用IDE通过Hive JDBC连接时,会出现在一个很“有趣”的想象:即如果我们不断开这个JDBC连接,则在Yarn上会持续有有一个Tez的AM...

2019-01-30 15:31:09 2702 1

原创 Spark SQL和Hive在处理日期/时间上的差异

注: 本文使用的环境是:Spark:2.2, Hive: 1.2.1 最近在编写一个SQL的过程中遇到了这样一个陷阱:为了便于工作,SQL的编写是通过一个SQL的IDE环境以Hive JDBC驱动的方式连接到HIVE上去执行的,SQL在HIVE上执行正常,有结果数据返回。但是SQL开发好在程序执行...

2018-12-27 12:05:22 3015 0

原创 Kerberos笔记

本文以《Hadooop Security》等资料为基础,罗列关于Kerberos的一些重要内容的笔记。 文章目录Kerberos的基本思想没有Kerberos时,Hadoop是如何工作的?Kerberos概述1. Principal2. Realm3. KDC3.1 Kerberos数据库3.2...

2018-12-08 13:59:47 3143 0

原创 数仓CUBE操作术语备忘

SLICE (切片) 将某一个(或多个)维度上的值锁定,只观察当这个维度取这个值时的情形,相当于将一个立方体做了一个切片。 DICE (切块) 将某一个(或多个)维度上的值固定在一个区间内,观察这个取值区间内cube的情形,相当于将一个立方体做了一个切块。 ROLL UP (上卷) 沿着某一个(...

2018-11-06 17:23:23 1722 0

原创 Spark Structured Stream的流关联(Stream-Stream Joins)

自Spark 2.3开始,Spark Structured Streaming开始支持Stream-stream Joins。两个流之间的join与静态的数据集之间的join有一个很大的不同,那就是,对于流来说,在任意时刻,在join的两边(也就是两个流上),数据都是“不完全”的,当前流上的任何一...

2018-08-01 10:48:04 4239 4

原创 Spark报java.util.NoSuchElementException: head of empty list错误的解决方法

如果在Spark Structured Streaming上使用了Arbitrary Stateful Operations, 也就是使用了mapGroupsWithState或flatMapGroupsWithState方法,而其中GroupState[S]的S又偏偏是一个自定义的类型,那么你就...

2018-07-25 18:33:48 3532 0

原创 Spark Structured Streaming: 自维护(任意)状态流的“超时”(Timeout)问题

此“超时”非彼“超时” 在我们开始这篇文章之前,我们必须要先弄清除一下问题:为什么流的上的状态会有“超时”问题?超时机制是为什么样的业务场景而设计的?通常情形下,人们一种直白的想法是:某种状态在长时间没有得到来自新数据的更新时,我们可以认为这个状态是“超时”了,它应该不复存在了,应该永远的被移除...

2018-06-28 15:42:41 2307 2

原创 Spark基于事件时间的“状态”流的深层分析 - withWatermark与mapGroupsWithState的关系

不管是基于watermark的窗口计算还是自维护的状态流,它们都是有状态的,watermark只是规定了数据进入“状态”(有资格参与状态计算)的条件,并没有(也不适合)声明状态的“退出”机制。对于watermark的窗口计算来说,它们的“退出”机制是:如果最近某个还处于active状态的窗口它的E...

2018-06-27 09:48:27 3474 2

原创 Spark性能调优系列二:Spark流计算重要性能参数测试与分析

参数介绍 spark.scheduler.mode spark.streaming.concurrentJobs scheduler线程池 测试用例 Test Case Group 1: FIFO vs. FAIR Test Case 1-1: FIFO Test Case 1-2: FAIR...

2018-06-21 09:39:41 3689 2

原创 Spark性能调优系列一:Spark的作业模型

Job Spark的整个作业体系中,处于顶层的是Job, Job和Spark中的Action是一一对应的,每一个Action都会触发一个Job的执行,这个Job包含的处理逻辑是Action以及Action之前的所有Transformation, 所有这些逻辑会被Spark转换成一张关于RDD的D...

2018-06-11 16:12:44 1050 0

原创 Spark Structured Streaming多流multiple streams)多查询(multiple queryies)问题

Structured Streaming作为Spark新一代的流计算编程模型,针对流计算提供了很多新的的高级的API进行支持,这使得它比DStream要好用的多,同时编码量也大幅度地减少,但是在当前版本V2.3下, Structured Streaming无法支持 多流(multiple stre...

2018-06-08 09:56:32 2797 6

原创 Flink初探

编程模型 应该说Flink的编程编程模型和Spark Streaming的DStream还是非常相似的,也是抽象出了Stream概念也表示没有边界的数据流,针对Stream所施加操作是被称之为”transformation”,它会把一个流转换成另一个流作为转换的输出。与很多流计算模型一样,流的起...

2018-05-25 10:05:25 5501 3

原创 《Spark Structured Streaming》 官方文档解读

模型思想 从Spark 2.0开始,Spark Streaming引入了一套新的流计算编程模型:Structured Streaming,开发这套API的主要动因是自Spark 2.0之后,以RDD为核心的API逐步升级到Dataset/DataFrame上,而另一方面,以RDD为基础的编程模型...

2018-05-23 17:33:16 6545 1

原创 应该广泛使用case语句简化函数字面量的实现

这篇文章很短,但足以单独作为一篇文章存在,因为这里介绍的这个Scala编程技巧非常的实用和高效。 在Scala里我们需要大量地编写一些函数字面量作为参数传递给高阶函数,而很多时候,被要求提供的函数字面量的参数是一些复合类型,比如tuple,在函数字面量的实现体中,往往第一步就是通过模式匹配从复合...

2018-05-03 15:40:23 686 0

原创 谨慎使用Scala Map的mapValues, 你需要的可能是transform

没有踩过mapValues的坑之前,我相信大多数人会认为mapValues和所有其他map类方法的逻辑是一样的:对Map里所有的value施加一个map函数,返回一个新的Map。但实际情况却并不这么简单,还是先看一段“诡异”的代码吧 (本文原文出处: 本文原文链接: http://blog.csd...

2018-05-01 14:07:48 8755 2

原创 MySQL常见问题与常用语句汇总

root用户初始登入与重置密码 允许root用户远程登入 为特定数据库创建特定用户并赋予权限 导出完整的数据库到SQL脚本包含schema和insert语句 执行SQl脚本 把MySQL中的一些常见问题与常用语句汇总一下,以备后查。 root用户初始登入与重置密码 初次安装M...

2018-02-24 11:18:59 621 0

提示
确定要删除当前文章?
取消 删除