Startup News爬虫

前言

  其实周末就想总结下一些Python爬虫的技巧,但是最近几天一直忙着,没来得及写博客记录下来。今天就写写关于自己爬虫的固定代码模式,下面就用伪代码模拟下爬虫队列的模式,并以爬Starup News为例。

查看更多

评论

糗事百科热门段子爬虫

前言

  学习的成果只有通过实践才能体现,这样子进步空间才会更大。最近一段时间在看Python,其实目的就是用来写爬虫。当然少了一些简单的练手的机会,这次是通过爬虫糗事百科的热门段子作为练习目的。

第三方库

  Python的强大可能少不了众多的第三方库,做任何事总可以信手拈来。同样,解析html页面有PyQuery,用法与jQuery基本相似,所以能很快上手PyQuery的用法。

查看更多

评论

Python中文乱码问题解决

前言

  趁着周末,赶紧学习充电,开始入门Python的学习,其实是想用Python来写写爬虫,爬些一些网页。当然对于Python,爬虫写起来确实不费劲,也很简洁。所以,周末抽点时间学习下Python的语法。在学习的过程中,有很多东西可以写总结,下面就Python对中文字符集编码处理的记录。

默认字符集

  无论哪种语言都离不开对中文乱码问题的处理,所以Python也不例外。在最新的Python 3版本中,字符串是以Unicode(2个字节)编码的,对很多语言是支持的。对于编码的历史进程,可以在这里看看,可能看后还是懵逼的,但是简单总结就是使用utf-8编码来解决字符编码的历史遗留问题。

查看更多

评论

图片裁剪组件cropper

前言

  对于大多数网站,在图片上传到服务器之前,会对图片进行一些裁剪操作,以便得到更好规格的图片(个人头像)。这里就可以借助前端的组件cropper实现对图片的裁剪。当然,这里需要解决一个问题,如何获取即将上传到服务器的图片,显示在网页以便后期的操作。在图片显示在网页上,方法有大体有两种:前者,将图片先上传到服务器再返回图片url地址,这方法即牺牲了服务器的性能,又脱离当前的需求(不满足图片上传到服务器之前实现对图片的裁剪操作);后者,直接获取本地图片的资源并加载在当前的网页上,这种方法是最恰当不过了,不过在实现之前需要考虑不同浏览器之间的兼容性,保证不同浏览器都达到相同的效果。
  在这里,我总结一些js获取本地图片资源的方法,记录这些走过的坑。同时,也记录cropper一些使用方法。

查看更多

评论

Bootstrap's progress bar

前言

  前几天,github个人入口页面改版了,当然改版的小细节也很多,确实比以前体验度更好。今天我拿其中一点来讲讲,点击页面链接请求时顶端会有一条滑动的进度条,这一点做的很细心,用户体验就很好。在浏览器向服务器发送请求到服务器响应的这一小段时间,将用户的注意力吸引集中在滑动的进度条上,这样子用户就不会觉得是在干等数据请求。当然,进度条也是作为请求的小提示。说那么多,还是动手写写个小demo仿制请求进度条玩玩。

查看更多

评论