如何把数据存储到MySql中
如何把数据存储到MySql中写在前面
这篇博客主要记录了在学习了老师得课程之后如何把爬取下来的文件存储到MySql中去
数据库的安装和配置在这里略去不讲
目标如下：
数据库存储爬取的数据
爬取新闻页面之前先查询数据库，是否该url已经爬取过了
设置爬虫定时工作
用npm引入mysql模块1n
...
模仿老师的代码开始自己的爬虫项目
Posted on
Words count in article:
2.2k
|
Reading time ≈
9
模仿老师的代码开始自己的爬虫项目写在前面
这篇子博客主要是记录我写的三个爬虫得心得，主要把精力集中在第一个爬取什么值得买网站上了，剩下两个通过修改爬取信息和正则表达式，可以很快的运作起来
我会运用一一讲解代码的形式来介绍为什么要这么做，或者这么做有什么作用（第一个例子）
剩下，我爬取了十个左右的网站
...
爬虫项目中引用的包及其用法
Posted on
Words count in article:
1.1k
|
Reading time ≈
4
爬虫项目中引用的包及其用法写在前面
爬虫项目，需要用到一下几个包
fs
request
iconv
cheerio
fs模块fs模块是内置模块，无需通过npm下载，只要在一开始通过这行代码引用就行了
1var fs = require('fs');
作用fs里面的api很多，但是在爬虫项目中，
...
402移掉K位数字
Posted on
Words count in article:
292
|
Reading time ≈
1
402移掉K位数字
单调栈或者字符串解法目标就是删除几个大的数，但又要维持原来的顺序不改变，字符串是栈解法的高级版本
单调栈
123456789101112131415161718192021222324252627282930class Solution {public: string
...
394字符串解码
Posted on
Words count in article:
805
|
Reading time ≈
3
394 字符串解码下面是题目
下面是题目给出的模板12345class Solution {public: string decodeString(string& s) { }};
题解
这题不看题解我真滴很难做，思路是有一点，但是要把它编
...
331验证二叉树的前序序列化
Posted on
Words count in article:
255
|
Reading time ≈
1
331验证二叉树的前序序列化
下面是题目给出的代码123456class Solution {public: bool isValidSerialization(string preorder) { }};
解法题解
最后#的数量肯
...
1021删除最外层得括号
Posted on
Words count in article:
450
|
Reading time ≈
1
1021 删除最外层的括号下面是题目
下面是模板123456class Solution {public: string removeOuterParentheses(string S) { }};
我自己是没有办法想出很妙的算法的1
...
59-1滑动窗口的最大值
Posted on
Words count in article:
433
|
Reading time ≈
2
59-1滑动窗口最大值
题目给出的代码12345class Solution {public: vector<int> maxSlidingWindow(vector<int>& nums, int k) { }
...