自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Laurence的技术博客

// 专注是最好的修行

  • 博客(6)
  • 资源 (105)
  • 论坛 (10)
  • 收藏
  • 关注

原创 在AWS Glue中使用Apache Hudi

文章目录1. Glue与Hudi简介2. 集成的可行性分析3. 在Glue作业中使用Hudi3.1. 资源列表3.1.1. 示例程序3.1.2. 依赖JAR包3.2. 创建基于Hudi的Glue作业3.2.1. 创建桶并上传程序和依赖包3.2.2. 添加作业3.3. 在Glue作业中读写Hudi数据集3.4. 将Hudi元数据同步到Glue Catalog4. 常见错误4.1. `hoodie only support KryoSerializer as spark.serializer`4.2. `Can

2021-04-21 11:00:47 261

原创 Hudi同步Hive表报“HoodieException : Got runtime exception when hive syncing”错误的解决方法

1 问题描述闯过第二关之后,普通的元数据同步基本就没什么问题了。但是当遇到下面这种场景时,同步再次“翻了车”:如果在一个SparkSession下,先读取一个Hudi数据集,得到DataFrame,在进行一些数据转换之后将变换后DataFrame再次以Hudi的形式写入另一张表,此时,Hudi会在同步这张新表的元数据时离奇失败。而这类操作其实是最典型不过的ETL操作流程,所以你大概率会遇上这个问题。这一问题并不在配置上,所有配置与前面完全一样,起初在遇到这一问题时,我试过修改各种操作与配置进行验证,可

2021-04-16 17:30:27 177

原创 Hudi同步Hive表报“Cannot create hive connection jdbc:hive2://localhost:10000/”错误的解决方法

让Hudi自动同步元数据到Hive Metastore,我们需要对Hudi进行一些必要的配置,根据官方文档( https://hudi.apache.org/docs/configurations.html#hive-sync-options )给出的说明,标准的Hudi Hive Sync配置应该是这样的:首先是最基本的三项:DataSourceWriteOptions.HIVE_SYNC_ENABLED_OPT_KEY -> "true"DataSourceWriteOptions.HIVE

2021-04-16 15:48:48 143

原创 AWS Glue集成Apache Hudi同步元数据深度历险(各类错误的填坑方案)

Glue集成Hudi有几个很“深”的坑,一不小心掉进去就会耽误大量时间,像Got runtime exception when hive syncing / Failed to check if database exists / Cannot create hive connection jdbc:hive2://localhost:10000/ 这些错误怎么解决? 本文会一一解决!1. 第一关:标配无效,使用替代方案2. 第二关:找到关键配置,开启同步3. 第三关:同Session先读再写,再次失败

2021-04-16 11:10:50 206

原创 Hudi的Record Key是全局唯一的吗?

答案:不是!默认情况下,Record Key只保证在同一分区内是唯一的。如果我们需要让Record Key变成全局唯一主键,按官方文档的说法:Record keys uniquely identify a record/row within each partition. If one wants to have a global uniqueness, there are two options. You could either make the dataset non-partitioned, o

2021-04-09 12:15:41 133

原创 Hudi COW表的数据膨胀(清除历史版本)问题

本文要讨论的是这样一个问题:使用Hudi的COW表时,有一个很明显的现象:当表中有大量的更新数据写入时,落地的parquet文件往往总大小往往要double,每写入一次就会double一次,对于数据体量非常大,且每次都有大量更新的数据来说,不禁会让人担心:这种数据膨胀是否会快速耗尽存储资源?有没有可以克制的方法?其实,这并不是一个问题,而是Hudi表的正常表现,我们先从原理上来看一下产生这个问题背后的原因。对于Huidi COW表的工作方式,下图有非常清晰的演示:我们要注意到:Copy-On-Writ

2021-04-08 20:52:53 166

RESTful Java with JAX-RS 2.0

RESTful Java with JAX-RS 2.0.pdf

2013-12-22

OpenSSH for Windows

OpenSSH for Windows, 内附两个cyg相关文件,如果安装后无法启动opensshd服务,请使用这两个文件覆盖安装目录\bin\下的对应文件。

2013-02-06

SecureCRT.v6.7.3.292.x64(含注册码和破解补丁)

SecureCRT.v6.7.3.292.x64(含注册码和破解补丁),最新最好的版本,完全破解! 破解时进行patch,然后再填入key,user等信息!

2012-06-13

Skype 5.10.32.114 国际版 最新版

目前最新的skype国际版 Skype 5.10.32.114 找一个国际版不容易,特别是最新的哦。

2012-06-27

绝对PE工具箱 Win7可用

一个非常好的PE工具箱,可在windows 7下使用

2012-12-05

SecureCRT.v6.7.3.292(含注册码和破解补丁),

SecureCRT.v6.7.3.292(含注册码和破解补丁),最新最好的版本,完全破解! 破解时进行patch,然后再填入key,user等信息!

2012-06-13

Big_Data_SMACK.pdf

SMACK(Spark, Mesos, Akka, Cassandra, Kafka) 这本书讲解了大数据的一种技术架构选型:SMACK涉及的方方面面。

2016-10-14

AutoHotkey安装程序和常用热键脚本

这是AutoHotkey安装程序和一份常用热键脚本

2012-03-14

snagit 11 含注册码 Keygen

最好的截屏软件snagit 11 含注册码 Keygen

2012-03-18

Snagit Linux 下可用

snagit 8.2.3.14, 经测试,改版本可在linux下通过wine启动,特别珍贵,特别收藏了

2012-04-11

Code Complete 2nd Edition

这是标准的PDF版,不是之前从CHM转换的版本,看上去整洁清晰。

2013-04-22

log4e pro 1.4.2 含注册码

log4e pro 1.4.2 含注册码

2013-08-14

Developing Web Services with Apache CXF and Axis2, 3rd Edition Jan 2010.pdf

Developing Web Services with Apache CXF and Axis2, 3rd Edition Jan 2010.pdf

2010-04-18

后台管理页面 登入页面

包含13个后台管理页面 后台管理系统界面 和 登入页面

2009-05-31

Zan Image Printer 5 含注册码

Zan Image Printer 5 含注册码

2015-02-23

网站模板 后台管理页面

包含68个精美的网站模板,包含后台管理页面.

2009-05-29

HTML, XHTML, & CSS,Visual QuickStart Guide

HTML, XHTML, & CSS,Visual QuickStart Guide.

2009-05-29

Manning Dependency Injection.pdf

Manning Dependency Injection

2009-09-10

AspectJ in Action 2nd Edition.pdf

关于AOP思想和aspectj的一部好书。

2009-12-03

log4j.xml template

一个比较通用的log4j.xml配置模板

2013-08-14

AxureRP-Pro 6.5 含注册码

最新的AxureRP-Pro 6.5 含注册码。

2013-03-23

Web Performance Daybook Volume 2

Web Performance Daybook Volume 2 是一本web开发不错的参考书

2012-08-03

Techsmith Snagit 11.3.0.107 含注册码

Techsmith Snagit 11.3.0.107 含注册码

2013-12-22

jQuery Visual QuickStart Guide.pdf

一本关于jQuery的不错的书。。。   。

2009-12-21

《程序员》杂志2012年第9期

高清pdf 《程序员》杂志2012年第9期

2012-11-01

Red.Gate.SQL.Toolbelt.v1.8.2.238.Incl.Keygen

Red.Gate.SQL.Toolbelt.v1.8.2.238.Incl.Keygen SQL Toolbelt Bundle是套可以用于开发SQL Server数据库的辅助开发工具包。16个数据库服务器工具在一个单一的安装程序包,相比分别购买节省65%以上。

2013-01-14

win7下硬盘安装Linux(Fedora17,CentOS 6.4,Ubuntu 12.10,LinuxMint 13 64-bit)

特别说明: 以Centos6.4 为例,安装程序超过4G,可以开辟一个ext3分区,将安装文件置于该分区,这个可以在windows下依赖工具Ext2Fsd完成,这是一个能够在Windows上读写EXT2/3文件系统的工具. 另该分区可以直接作为系统安装时的目标分区,不会有任何问题.

2013-08-16

snagit 12.2.2.2107 附注册码

最新版本的snagit 12.2.2.2107 附注册码

2015-02-22

eclipse editor template file

自己用的eclipse editor template file

2012-10-17

Araxis.Merge.Professional.v2012.4260.x64-BEAN

Araxis Merge Professional v2012 4260 x64 BEAN rar

2012-12-27

Manning.ActiveMQ.in.Action.Mar.2011

全版的Manning.ActiveMQ.in.Action.Mar.2011,非样章版

2011-06-16

GVIM中文帮助文档 vimcdoc-1.8.0-setup-unicode.exe

GVIM中文帮助文档 vimcdoc-1.8.0-setup-unicode.exe

2012-11-27

The.Art.of.Multiprocessor.Programming.Revised.Reprint

The.Art.of.Multiprocessor.Programming.Revised.Reprint

2014-02-06

SQL Visual Quick Start Guide,3rd Edition

一本非常好的SQL参考书,开发时可见经常参考一下。

2009-11-17

Domain-Driven Design Tackling Complexity in the Heart of Software.chm

领域驱动设计的开山之作.非常经典的书籍!

2009-11-19

PowerDesigner16.1 crack keygen 破解文件

这是最新PowerDesigner16.1的破解文件,在win7 64位下可以正常安装使用,本人已亲自验证。这是对应官方安装文件的下载地址:http://download.sybase.com/eval/PowerDesigner/PowerDesigner161_DMR.exe 破解放方法只需要将文件覆盖到安装目录即可。

2012-06-21

SQL FUNDAMENTALS,3rd Edition.pdf

A good reference book for sql!开发是可以拿来参考.

2009-11-19

snagit 10 part2 (2 parts, 含注册码)

snagit 10 part2 (2 parts, 含注册码。。。。。

2011-08-04

网站模板 后台管理系统界面

包含72个精美的网站模板,有的是后台管理系统界面。

2009-05-29

WIN7下硬盘安装Ubuntu.docx

WIN7下硬盘安装Ubuntu.docx

2012-03-17

一个函数模板显示特化的问题,请高手指教!

发表于 2005-08-19 最后回复 2005-08-20

你有什么工具写C程序呢?给些建议

发表于 2004-02-06 最后回复 2004-02-27

哥哥姐姐们:能给俺推荐几本适合初学者学习java的好书么?

发表于 2004-02-02 最后回复 2004-02-07

哥哥姐姐们:能给俺推荐几本适合初学者学习java的好书么?

发表于 2004-02-02 最后回复 2004-02-05

给个建议好么

发表于 2003-12-31 最后回复 2004-01-12

听说今年软考可以考两次是真的么?

发表于 2004-01-01 最后回复 2004-01-04

04年软考真的改成两次了么?

发表于 2004-01-01 最后回复 2004-01-01

哥哥姐姐们,大家能给我一点建义吗?

发表于 2003-12-31 最后回复 2004-01-01

哥哥姐姐们给个建议好么?

发表于 2003-12-31 最后回复 2003-12-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除