了解Spark Posted on 2022-03-31 Words count in article: 4.6k | Reading time ≈ 16 了解SparkSpark 最初是基于内存计算的批处理系统,逐步发展成为内外存同时使用的批处理系统,并增加了Spark Streaming支持实时流计算,以及Structured Streaming 支持批流融合。 设计思想MapReduce首先我们必须意识到,MapReduce虽然底层透明,部署简单 ... Read more »
了解以太坊 Posted on 2022-03-31 Words count in article: 2.6k | Reading time ≈ 8 了解以太坊以太坊简介和比特币不一样,以太坊是一个可编程的区块链平台。与比特币相比,两者都属于公有链,但是以太坊侧重于可编程的智能合同即分布式应用程序。 也就是说,以太坊可以理解为一个永不宕机的世界计算机。 可想而知,这样的系统需要满足很多条件:其中最重要的就是它不能受平台的限制,必须实现跨平台通用, ... Read more »
了解MapReduce Posted on 2022-03-25 Words count in article: 5.6k | Reading time ≈ 21 了解MapReduceMapReduce引入首先,我们需要了解什么是MapReduce,它是用来做什么的? 比如说,我们有10TB的数据,放在一台机子上肯定是不现实的,因此需要存放在之前我们介绍的存储系统:HDFS中。但是,如果放在HDFS上,由于大文件被切成一个个小块,如果这时候要对这些文件建立倒 ... Read more »
高级数据库系统-查询 Posted on 2022-03-23 Words count in article: 7.3k | Reading time ≈ 27 查询执行引擎数据库查询可以看做是对数据集合做运算,运算的基本单位是算子。比如投影、扫描、选择、连接、排序等 在关系数据库及其基本实现原理 这篇博客中,我们初步了解了几种算子的功能以及如何实现的。 现在我们来介绍一下在执行查询的流程: 首先SQL语言会被解析,并得到好几种不同的查询方案(plan)。 ... Read more »
AI-Searching Posted on 2022-03-08 Words count in article: 5.8k | Reading time ≈ 21 Searching搜索的方法有很多种,但是大体上可以分为两个大类——盲搜和有先验知识的搜索 Uninformed Search MethodsDepth-First SearchBreadth-First SearchInterative DeepeningUniform-Cost Search对于 ... Read more »
区块链基础-哈希 Posted on 2022-03-03 Words count in article: 1.7k | Reading time ≈ 5 区块链基础-哈希区块链中常见的Hash函数首先,我们要给出Hash函数的定义以及特征: 定义Hash函数是一种从任何种类、任何大小的数据中创建固定大小值的方法,这个值也被称为散列值。通常,用一个短的随机字母和数字组成的字符串来代表。 比如说对于sha 256算法来说,不管输入的值是什么类型、值有多大 ... Read more »
高级数据库-存储 Posted on 2022-03-02 Words count in article: 17k | Reading time ≈ 61 高级数据库-存储参考博客:https://blog.csdn.net/helloworld_ptt/article/details/105801262 衡量或者评价一个数据库的性能,通常我们会从四个方面来进行:计算、事务、存储、高可用。现在,我们主要来学习数据库架构中存储这一块的知识。 传统数据库的 ... Read more »
当代人工智能Lab1-文本分类 Posted on 2022-03-02 Words count in article: 2.6k | Reading time ≈ 9 当代人工智能Lab1-文本分类环境 python3.8 Tensorflow-text 2.8.* Tf-models-offiial 2.7.0 模型选择与构建模型选择这里我选择的是BERT模型,它是最近几年比较流行的用来做自然语言处理的模型。BERT主要采用了双向编码器架构,因此相较于RNN, ... Read more »
了解区块链 Posted on 2022-02-24 Words count in article: 11.8k | Reading time ≈ 40 了解区块链部分内容引用自: https://www.zhihu.com/question/37290469 思考首先我们要问自己三个问题: 一个去中心化的数字货币系统是什么样的说到数字货币,我们首先想到的就是三个最明显的特征:防篡改、可追溯以及去中心化。那么什么是去中心化?简单来说就是P2P(pee ... Read more »
Hadoop实践 Posted on 2022-02-22 Words count in article: 184 | Reading time ≈ 1 Hadoop实践Installing the MovieLens Dataset首先,我们可以进入HDFS的管理界面,我们看到在这这有一个NameNode,一个SNameNode (Secondary NameNode,即NameNode的备份,当NameNode发生故障的时候,可以使用SNameN ... Read more »