Flink学习
Flink学习设计思想 大数据运算主要有2个领域：1：流式计算 2：批量计算。在数据操作层面可以看做如下的两类
有限数据集：数据大小有限（固定大小，比如固定的文件），用于批处理。比如说MapReduce，Spark
无限数据集：数据持续增长（属于无限大小，比如kafka中的日志数据，总是有新数据进入
...
Yarn学习
Posted on
Words count in article:
2.3k
|
Reading time ≈
8
Yarn学习设计思想作业与资源管理在学习Yarn之前，我们先学习一下作业管理和资源管理。
在MapReduce中，有一个部件是 JobTracker，它负责作业管理和资源管理
作业管理：状态监控、信息汇总、任务调度
资源管理：管理主从节点
但是，资源管理和计算框架不能结合得这样紧密(因此这也是M
...
scala初识
Posted on
Words count in article:
20.5k
|
Reading time ≈
90
Scala初识The Absolute Scala BasicsValues, Variables and Types学习一门新的语言，自然要先从数值类型入手。在scala中，常量用val定义，变量用var定义。
定义常量Int
一个量有两种定义方式，一种是显式的定义x. 指明其为类型；另外一种
...
Solidity初识
Posted on
Words count in article:
9.7k
|
Reading time ≈
38
Solidity初识Solidity是编写智能合约的语言，由于区块链课程需要我们编写Solidity智能合约，我又从来没对Solidity有过了解，因此借这篇博客了解一些有关Solidity的知识。
我们的IDE主要是在线的Remix：https://remix.ethereum.org/
我们也可
...
AI-Adversarial
Posted on
Words count in article:
3.9k
|
Reading time ≈
14
搜索树1: 博弈博弈的类型和区分axes
Deterministic or stochastic? 象棋是确定性的、足球是不确定的
One, two, or more players? 玩家数量
Zero sum? 零和、协同合作（例如王者荣耀的队友）
Perfect information (c
...
了解Spark
Posted on
Words count in article:
4.6k
|
Reading time ≈
16
了解SparkSpark 最初是基于内存计算的批处理系统，逐步发展成为内外存同时使用的批处理系统，并增加了Spark Streaming支持实时流计算，以及Structured Streaming 支持批流融合。
设计思想MapReduce首先我们必须意识到，MapReduce虽然底层透明，部署简单
...
了解以太坊
Posted on
Words count in article:
2.6k
|
Reading time ≈
8
了解以太坊以太坊简介和比特币不一样，以太坊是一个可编程的区块链平台。与比特币相比，两者都属于公有链，但是以太坊侧重于可编程的智能合同即分布式应用程序。
也就是说，以太坊可以理解为一个永不宕机的世界计算机。 可想而知，这样的系统需要满足很多条件：其中最重要的就是它不能受平台的限制，必须实现跨平台通用，
...
了解MapReduce
Posted on
Words count in article:
5.6k
|
Reading time ≈
21
了解MapReduceMapReduce引入首先，我们需要了解什么是MapReduce，它是用来做什么的？
比如说，我们有10TB的数据，放在一台机子上肯定是不现实的，因此需要存放在之前我们介绍的存储系统：HDFS中。但是，如果放在HDFS上，由于大文件被切成一个个小块，如果这时候要对这些文件建立倒
...