subtitle
开始阅读 Github
  我的梦想
不是每个人都应该像我这样去建造一座水晶大教堂，但是每个人都应该拥有自己的梦想，设计自己的梦想，追求自己的梦想，实现自己的梦想。梦想是生命的灵魂，是心灵的灯塔，是引导人走向成功的信仰。有了崇高的梦想，只要矢志不渝地追求，梦想就会成为现实，奋斗就会变成壮举，生命就会创造奇迹。——罗伯·舒乐
Akka实现Spark心跳机制 Akka实现Spark心跳机制
Akka实现Spark心跳机制上文我们已经具体讲解过Spark的心跳机制 在本文我们利用Akka框架来实现一个简易的Spark心跳机制 在文末，会附上具体源码 关于Akka的大致概述及用法可参考这位大佬的链接：https://juejin.
2022-08-31 kanaikee
Spark
Spark 心跳机制 Spark 心跳机制
Spark 心跳机制 心跳机制概述 我们首先要知道Spark的心跳有什么用。心跳是分布式技术的基础，我们知道在Spark中，是有一个Master和众多的Worker，那么Master怎么知道每个Worker的情况呢，这就需要借助心跳机制了。
2022-08-31 kanaikee
Spark
Scala 函数式编程 Scala 函数式编程
Scala 函数式编程说到函数式编程，那么就不得不提到几个概念 函数副作用 纯函数 非纯函数 参照透明性 副作用在计算机科学中，函数副作用指当调用函数时，除了返回可能的函数值之外，还对主调用函数产生附加的影响。例如修改全局变量（函数
2022-08-31 kanaikee
Scala
Spark执行原理 Spark执行原理
Spark执行原理Spark部署图 从部署图中可以看到 整个集群分为 Master 节点和 Worker 节点，相当于 Hadoop 的 Master 和 Slave 节点。 Master 节点上常驻 Master 守护进程，负责管理全
2022-08-30 kanaikee
Spark
Scala类、对象、继承和trait Scala类、对象、继承和trait
Scala 类、对象、继承和traitScala中的类是用于创建对象的蓝图，其中包含了方法、常量、变量、类型、对象、特质、类，这些统称为成员。 类类定义Scala中，可以在类中定义类、以在函数中定义函数、可以在类中定义object；可以在函
2022-08-30 kanaikee
Scala
hexo-prism-plugin代码高亮错误解决 hexo-prism-plugin代码高亮错误解决
hexo-prism-plugin代码高亮错误解决问题描述 使用代码高亮插件后，花括号显示为字符串‘{’和‘&#125’ 怎么办？ 已解决： 在node_modules\hexo-prism-plugin\src\index.js文
2022-08-30 kanaikee
bugfixed
Spark应用分析 Spark应用分析
Spark 应用分析Spark 作为一个流批一体的大数据处理框架，他的作用无外乎三个： 大数据处理 ETL (Data → Data) 大数据分析 BI (Data → Dashboard) 机器学习 AI (Data → Model)
2022-08-30 kanaikee
Spark杂谈
Scala基础 Scala基础
Scala基础 Scala 是 Scalable Language 的简写，是一门多范式的编程语言 联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。 Funnel是把函数式编程
2022-08-25 kanaikee
Scala
Spark 使用手册 Spark 使用手册
Spark 使用手册俗话说，工欲善其事，必先利其器，Spark无疑是现在大数据计算框架中的一颗明星，就像他的名字Spark~ 虽然Spark出道许久，现在市场也有更为先进及时的大数据处理框架 Flink ，但是现在从Spark开始认真学习
2022-08-23 kanaikee
Spark