阿里云ECS部署Pyspider总结

一、简述

最近用pyspider写了个爬虫需要部署到云服务器,所以入手了阿里云ECS,来完成最后的部署工作。当然在部署pyspider过程中,碰到些许问题,这里做些记录和总结。

二、部署工作

主要用到的命令(git-bash):

1
2
3
1. ssh连接服务端:ssh root@host
2. 公钥copy至服务端:scp ~/.ssh/id_rsa.pub root@host:~/.ssh/authorized_keys,需要先在服务端创建~/.ssh文件夹
3. 查看当前系统版本:cat /etc/redhat-release

查看更多

评论

公司内网透过Cntlm代理上网

一、简述

在公司内网中,所有网络请求都是通过公司内部的代理服务器验证后再进行请求的,造成cmd终端无法访问网络资源。
所以pip,npm,maven等等开发工具在终端下都不能正常下载外部的资源包,当初这个问题一直困扰着我,最后是使用Cntlm解决了我的问题。办法是通过Cntlm先在本地机子进行代理,再由Cntlm转发请求到内网的代理服务器。

查看更多

评论

Oracle 同一栏位数值相乘的解决办法

一、简述

Oracle 聚合函数有SUM, MAX, MIN, AVG之类的,唯独没有对同一栏位的值做乘积运算。
所以在这里借用举例来解决我们处理乘积运算的需求,核心是借用对数函数的运算逻辑。

举例说明

假设Table同一栏位数值有:0,99, 0.88, 0.90,各个数值相乘可以利用对数函数做转换:

1
product = e^(ln0.99 + ln0.88 + ln0.90) = e^ln(0.99 * 0.88 * 0.90)  = 0.99 * 0.88 * 0.90

查看更多

评论

Oracle 构造虚表方法

一、简述

有时候做一些相关报表的程序,免不了拼接业务SQL,因此涉及到表与表外连接(左连接与右连接),根据业务需求需要补全表连接资料。补全表连接资料可以有两个办法,通过程序遍历结果集做资料补全或者通过拼接SQL构造Table与其他表做左右外连接。当然这两个办法各有区别:业务复杂度高的还是建议通过程序作处理,假若是通过拼接SQL的办法,就会造成业务SQL变复杂;业务复杂度低的采用拼接SQL的办法能够快速构造出业务数据,这也未必是个坏办法。下面就总结下通过 Oracle 构造虚表的办法。

查看更多

评论

2017前半年总结

我的小总结

  隔了好长的一段时间没更新博客了,想记录总结的东西也很多。但是有时任务也挺多的,所以占用了大多数的时间,事后也忽略将它们写下来。所以,从今天开始逐步更新自己的博客。在工作中,我的大多数任务是根据业务需求开发报表程序,而这些报表也往往跟业务有很大的关系。这意味着对业务越熟悉的话,开发任务就更能得心应手。

查看更多

评论