nodejs中request库使用HTTPS代理的方法
正在尝试改用NodeJS编写爬虫,http请求库选择了 request ,用起来还是挺简单的。
现在有个需求,需要用Fiddler抓包我发出去的请求,以便和浏览器发出去的包进行对比。
因为需要解密HTTPS报文,需要让node要么忽略证书安全,要么信任Fiddler的CA证书。
网上找...[2019/4/30]
formidable处理node.js的post请求
前言
我们都知道在node.js中,我们最常用的请求方式是get和post。其中get请求和URL相关,通过解析URL我们可以直接获取到请求的参数。但是post请求不同,post请求是包含在请求体中,node.js并没有一个模块可以用来获取请求体(因为post传输的是较大的数据,不知道什么时候...[2019/4/29]
node.js基于socket.io快速实现一个实时通讯应用
随着web技术的发展,使用场景和需求也越来越复杂,客户端不再满足于简单的请求得到状态的需求。实时通讯越来越多应用于各个领域。
HTTP是最常用的客户端与服务端的通信技术,但是HTTP通信只能由客户端发起,无法及时获取服务端的数据改变。只能依靠定期轮询来获取最新的状态。时效性无法保证,同时更多的...[2019/4/23]
详解如何模拟实现node中的Events模块(通俗易懂版)
Nodejs 的大部分核心 API 都是基于异步事件驱动设计的,事件驱动核心是通过 node 中 Events 对象来实现事件的发送和监听回调绑定,我们常用的 stream 模块也是依赖于 Events 模块是来实现数据流之间的回调通知,如在数据到来时触发 data 事件,流对象为可读状态触发 r...[2019/4/16]
node.js 基于cheerio的爬虫工具的实现(需要登录权限的爬虫工具)
公司有过一个需求,需要拿一个网页的的表格数据,数据量达到30w左右;为了提高工作效率。
结合自身经验和网上资料。写了一套符合自己需求的nodejs爬虫工具。也许也会适合你的。
先上代码。在做讲解
''use strict'';
引入模块
const superagent...[2019/4/11]
Nodejs模块
一、模块:模块是一个独立的功能体。
1.在nodejs下模块分为核心模块、自定义模块、第三方模块
2.在nodejs下每一个文件(包括目录)都可以称为模块
3.在nodejs下,任意一个脚本文件都自动被一个构造函数所包含
(function(exports,requ...[2019/4/8]
NodeMCU学习(二) : 如何使用NodeMCU进行开发
NodeMCU的GPIO口
Arduino的引脚号与NodeMCU的GPIO口直接对应,NodeMCU的GPIO函数pinMode, digitalWrite, DigitalRead也是和Arduino中相同,如果要读取GPIO2引脚的电平,可以使用digitaiR...[2019/4/8]
在node中使用jwt签发与验证token的方法
1.什么是token
token的意思是“令牌”,是服务端生成的一串字符串,作为客户端进行请求的一个标识。
token是在服务端产生的。如果前端使用用户名和密码向服务端发送请求认证,服务端认证成功,那么在服务端会返回token给前端。
前端可以在每次请求的时候带上token证明自己的合...[2019/4/3]
Node.js+Express+Mysql 实现增删改查
这次选用nodejs+expre +mysql 使用http作为客户端,expre 框架搭建服务端,从而实现数据的增删改查。这篇文章可以算作上篇文章的升级篇,加入了和数据库的交互。
安装
node 直接去官网下载选择下载即可https: nodejs.org/en/download/cur...[2019/4/3]
NodeJs之word文件生成与解析的实现代码
一,介绍与需求
1.1,介绍
1, officegen 模块可以为Microsoft Office 2007及更高版本生成Office Open XML文件。此模块不依赖于任何框架,您不需要安装Microsoft Office,因此您可以将它用于任何类型的 JavaS...[2019/4/2]
node(koa2) web应用模块介绍详解
在自己的koa2 web项目中,用到了几个模块,感觉都是不错的,特地来分享下这些模块。
一、前言
我们都知道可以通过koa2 工程名的方式来初始化koa2项目,官方为我们增加了koa-bodyparser、koa-josn、koa-router等非常不错的模块,但是,仍不够,所以我将搜...[2019/3/29]
node中使用es6/7/8(支持性与性能)
前言
这几年react、vue的快速发展,越来越多的前端开始讲es6的代码运用在项目中,因为我们可以通过babel进行转译为低版本的js以便于运行在所有浏览器中,import、export、let、箭头函数等等,对于node端,当然我们也希望使用这些高级语法,但是需要提前了解到node支持哪些...[2019/3/28]
Node.js 多线程完全指南总结Node.js 多线程完全指南总结
很多人都想知道单线程的 Node.js 怎么能与多线程后端竞争。考虑到其所谓的单线程特性,许多大公司选择 Node 作为其后端似乎违反直觉。要想知道原因,必须理解其单线程的真正含义。
JavaScript 的设计非常适合在网上做比较简单的事情,比如验证表单,或者说创建彩虹色的鼠标轨迹。 在20...[2019/3/27]
Nginx设置为Node.js的前端服务器方法总结
1、安装node.js
首先安装node.js安装所需的软件包,并在启动板上添加可用的nodejs的PPA。之后使用以下命令安装nodejs。
$ sudo apt-get install python-software-properties python g++ make
...[2019/3/27]
Node.js使用supervisor进行开发中调试的方法
如果你有 PHP 开发经验,会习惯在修改 PHP 脚本直接刷新浏览器以查看结果,而你 在开发 Node.js 实现的 HTTP 应用时会发现,无论你修改了代码的哪一个部分,都必须终止Node.js然后重新运行。
这是因为 Node.js 只有在第一次引用到某一部分时才会去解析 本文件,以后都会...[2019/3/27]
如何从零开始手写Koa2框架如何从零开始手写Koa2框架
01、介绍 Koa-- 基于 Node.js 平台的下一代 web 开发框架 Koa 是一个新的 web 框架,由 Expre 幕后的原班人马打造, 致力于成为 web 应用和 API 开发领域中的一个更小、更富有表现力、更健壮的基石。 与其对应的 Expre 来比,Koa 更加小巧、精壮,本...[2019/3/22]
使用node搭建自动发图文微博机器人的方法
本文仅供学习交流,请勿用于商业用途,并遵守新浪微博相关规定。
代码目录
此微博机器人的实现功能如下:
模拟登陆新浪微博,获取cookie;
自动上传图片至微博图床;
自动发送内容不同的图文微博;
通过定时任务,实现周期性发微博任务。
效果图
...[2019/3/22]
浅谈KOA2 Restful方式路由初探浅谈KOA2 Restful方式路由初探
前言
最近考虑将服务器资源整合一下,作为多端调用的API
看到Restful标准和ORM眼前一亮,但是找了不少版本路由写的都比较麻烦,于是自己折腾了半天
API库结构
考虑到全部对象置于顶层将会造成对象名越来长,同时不便于维护,故采取部分的分层结构
如workf...[2019/3/15]
详解NodeJS Https HSM双向认证实现
工作中需要建立一套HSM的HTTPS双向认证通道,即通过硬件加密机(Ukey)进行本地加密运算的HTTPS双向认证,和银行的UKEY认证类似。
NodeJS可以利用openSSL的HSM plugin方式实现,但是需要编译C++,太麻烦,作者采用了利用Node Socket接口,纯JS自行实现...[2019/3/13]
详解nodejs 开发企业微信第三方应用入门教程
最近公司要开发企业微信端的 Worktile,以前做的是企业微信内部应用,所以只适用于私有部署客户,而对于公有云客户就无法使用,所有就准备开发企业微信的第三方应用,本文主要介绍在调研阶段遇到的山珍海味。
开发之前你需要前注册为第三方服务商,然后用第三方服务商的账号创建应用,创建之后只需要管理员...[2019/3/13]
node.js安装使用express框架
官网:http: www.expre js.com.cn/
使用方式(如果后面需要添加路由等推荐第二种方式,不然需要需要手动添加): 一、自己动手搭建
1、 新建项目文件夹,如test,并在命令行中进入目录: cd test 2、初始化 npm init,简单使用不需要配置就全部回车...[2019/2/22]
Nodejs对postgresql基本操作的封装方法
基于nodejs平台对postgresql的增删改查基本操作进行了封装,能满足基本的实际应用,比较复杂的SQL需另外实现。
PG.js文件如下:
var pg = require(''pg'');
var conString = "postgres: username:pa wo...[2019/2/21]
Node.js 串口通讯 node-serialport
安装:npm install serialport
使用:
var SerialPort = require(''serialport'');
var port = new SerialPort(''COM5'');
port.on(''open'', function() {
port....[2019/2/11]
深入理解nodejs搭建静态服务器(实现命令行)深入理解nodejs搭建静态服务器(实现命令行)
静态服务器 使用node搭建一个可在任何目录下通过命令启动的一个简单http静态服务器 完整代码链接 安装:npm install yg-server -g 启动:yg-server 可通过以上命令安装,启动,来看一下最终的效果 TODO 创建一个静态服务器 通过yargs来创建命令行工具 ...[2019/2/11]
element-ui + vue + node.js 与 服务器 Python 应用的跨域问题element-ui + vue + node.js 与 服务器 Python 应用的跨域问题
跨越问题解决的两种办法:
1. 在 config => index.js 中配置 proxyTable 代理:
proxyTable: {
''/charts'': {
target: ''http: localhost:5001'',
...[2019/1/30]
命令行批量截图Node脚本示例代码
批量截图任务
作为一个软件工程师,不只是做好自己的本职工作(iOS),而是需要解决项目中的技术问题。这次就是解决自动截图的问题
早期公司的数据工程师利用 phantomjs 来截图,后期不断发现截图效率低,加之开发者团队不再维护,因此决定将截图这部分跟你剥离开来,以后方便开发维护。...[2019/1/28]
nodejs操作文件和数据流
前言 node中有一组流api,它们可以像处理网络流一样处理文件。流api用起来非常方便,本节学习介绍文件处理基础和流的概念。目录 处理文件路径 fs核心模块简介 操作流 慢客户端问题1. 处理文件路径 处理文件路径需要用到一个核心模块(path),path模块可以规范化、连接、解析路径,还...[2019/1/16]
npm i --save-dev prettier安装警告saveError enoent
出现问题的情况:
或者:
D:\Program Files\nodejs>npm i --save-dev prettier
npm WARN saveError ENOENT: no such file or directory, open ''D:\Program ...[2019/1/3]
学习Node.js笔记(一)
从最简单的一个node服务器开始说起
nodejs最常用的就是搭建服务器,今天就从0开始搭建自己的服务器,要想使用node来进行搭建服务器首先肯定是得下载node,直接百度一下node,从官网下载。下载完成后,直接安装软件就可以了。
这样就可以愉快的撸我们的服务器了。
我们创建一个文件叫ser...[2019/1/3]
node.js学习笔记之koa框架和简单爬虫练习
Koa -- 基于 Node.js 平台的下一代 web 开发框架
koa是由 Expre 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑...[2018/12/14]
Nodejs-第一篇(什么是NodeJS)Nodejs-第一篇(什么是NodeJS)
NodeJS 介绍
Node.js 是什么?
1.Node.js 是一个开发平台,就像Java开发平台、.Net开发平台、PHP开发平台、Apple开发平台一样;
什么是开发平台?它们有对应的编程语言、有语言运行时、有能实现特定功能的API(SDK:Softw...[2018/11/29]
详解如何在Node.js的httpServer中接收前端发送的arraybuffer数据
最近使用了protobuf进行数据交互,发送在node.js接收前端的二进制数据出现了数据错误等问题。后来发现思路上面的问题,在req.on(''data'',()=>{})事件中的处理不适当才引发数据错乱。借此发
我先直接贴正确接收二进制数据代码
const serve...[2018/11/12]
node版本管理工具n包使用教程详解
1. 安装n管理包
终端使用npm install -g n命令全局安装,
安装成功后在终端输入n --version或n查看。
~ npm install -g n
/usr/local/bin/n -> /usr/local/lib/node_module ...[2018/11/9]
node.js 监听message事件 message字符串丢失信息
1 const dgram = require("dgram");
2 const server = dgram.createSocket("udp4");
3
4 server.on("me age", (msg, rinfo) => {
5 log.info("recv...[2018/11/2]
快速上手IOT视觉化开发工具Node-RED快速上手IOT视觉化开发工具Node-RED
作者:何信昱 现在有越来越多非专业背景但有创造热诚的Maker,想要进入物联网领域大展身手,但常常苦于无法撰写艰深难懂的程序代码,以及想要连接各种硬件与时下最流行的社群软件,却不知道如何使用开放给开发者应用的API的窘境。 没关系!IBM发行了一套开源可视化界面开发工具- Node-RE...[2018/10/25]
util.promisify 的那些事儿
util.promisify是在node.js 8.x版本中新增的一个工具,用于将老式的Error first callback转换为Promise对象,让老项目改造变得更为轻松。 在官方推出这个工具之前,民间已经有很多类似的工具了,比如es6-promisify、thenify、bluebird...[2018/10/18]
Electron 创建一个空白的界面
添加应用 首先添加一个Lorikeet版本的Electron应用。 1 'use strict' 2 const electron = require('electron'); ...[2018/10/15]
npm scripts 使用指南详解
Node 开发离不开 npm,而脚本功能是 npm 最强大、最常用的功能之一。 本文介绍如何使用 npm 脚本(npm scripts)。 一、什么是 npm 脚本? npm 允许在package.json文件里面,使用scripts字段定义脚本命令。 {
...
...[2018/10/10]
nodejs fastdfs
node端fastdfs客户端上传文件 var FdfsClient = require('fdfs');
var fdfs = new FdfsClient({
&n...[2018/9/27]
webpack打包nodejs项目的方法
适用情况 首先说明,此情况不具备普遍性。若你的情况与笔者类似那么希望这篇文章能够帮到你。 我的项目情况是这样的:用node.js做后台,ejs做模板引擎(即整个页面是一个ejs文件)由node.js将数据渲染完成后,再将完整页面返回给用户。 那么这样做会遇到的问题: 1. 本项目没有html页面,...[2018/9/27]
Node.js模拟发起http请求从异步转同步的5种用法
使用 Node.js 模拟发起 http 请求很常用的,但是由于 Node 模块(原生和第三方库)提供里面的方法都是异步,对于很多场景下应用很麻烦,不如同步来的方便。下面总结了几个常见的库 API 从异步转同步的几种方法。模块有: request , request-promise , reque...[2018/9/27]
Nodejs如何把接收图片base64格式保存为文件存储到服务器上Nodejs如何把接收图片base64格式保存为文件存储到服务器上
app.post('/upload', function(req, res){ 接收前台POST过来的base64 var imgData = req.body.imgData; 过滤data:...[2018/9/26]
express-session deprecated undefined resave option; provide resave option app.js
nodejs使用expre -se ion报错 代码如下 app.use(se ion({
secret: 'hubwiz app', ecret的值建议使用随机字符串
&n...[2018/9/25]