git使用SSH进行认证链接并解决github的push每次都需要输入用户名和密码

每次push推送都需要输入用户名密码进行push非常麻烦,配置了SSH的话就能够免除这些繁琐的步骤了。

而在github上创建了ssh key,并成功启用后,每次push仍然需要输入用户名密码。

那原因是之前默认用了https的方式进行push了,下面也会把它替换成ssh方式推送。

《数据结构》学习记录

啃《数据结构-C语言版》,目的是弄明白各种笔试中干瞪眼的题目。

基于webmagic的煎蛋网段子爬虫

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发,webmagic就是为了解决爬虫开发的一些重复劳动而产生的框架。

用了一两天时间研究了下使用方式和代码,抓煎蛋网的段子页面走了不少的弯路,同样也学会了很多不同方面的知识,比如xpath,regex,jdbc等等,经过不断的调试,终于还是几乎爬下了所有的文本,然后持久化到mysql中去了(有几条由于编码问题没法持久化到mysql)。

用Jsoup造最简单的网页爬虫

本文介绍利用jsoup写的简易网页爬虫,爬自己的Blog作为测试。

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

解决Ubuntu系统下sublime text3无法输入中文的问题

装上sublime text3来格式化看一些jquery代码不要太方便,用来编辑文本的时候却意外发现不能输入中文,搜了一下搜出好多的答案,下面整理了一个可用的。