章节 简介 投稿

序

爬虫篇

一只小爬虫赵晨旭

引子

预习材料

课前准备

ulipad : python代码编辑器

easy_install ：python的包管理命令

requests : for Humans 的 网络库

wget : 命令行的下载工具

firebug: 前端工程师的神器

爬虫是什么?

爬虫代码

代码分析

运行爬虫

课后练习

扩展阅读

Linux : 大三学生的作品张沈鹏

引子

预习材料

课前准备

Linux 与 发行版

Xshell : windows下的免费SSH客户端

Linux / Mac 下连接SSH

创建普通用户

设置gentoo系统编码

添加 sudo 权限

配置SSH密钥登录 (无需每次输入密码)

Xshell 中 设置显示编码

通过FillZilla的sftp上传/下载文件

命令行小技巧

tmux : 掉线后恢复会话 / 命令行分屏

扩展阅读

Vim : 编辑器之神张沈鹏

引子

预习材料

基本操作

配置文件说明

插件 : super tab

插件 : mru

撤销(Undo)与重做(Redo)功能

# 搜索 / 高亮光标所在的词

替换选中部分

批量注释多行代码

缩进/反缩进 多行代码

ctrl + q 解锁

课后练习

扩展阅读

使用IPython增强交互式体验张沈鹏

一只并发的小爬虫张沈鹏

引子

课前准备

安装 nginx & gevent (依赖于libevent) & requests & mako

hg clone (克隆)演示代码

购买域名

注册 DNSPOD 帐号

预习材料

爬虫的目录结构

抓取流程解析

ecocn_org.py

spider/spider.py 爬虫框架

gevent的注意点

nginx : 高性能 的 HTTP 和 反向代理 服务器

xtail : 监控日志

crontab : 定时运行抓取脚本

dnsmasq : 域名解析缓存

nginx 的 反向代理缓存 (proxy cache)

dstat : 监控 CPU使用率 / 网络流量 / 磁盘IO

课后练习

扩展阅读

前端篇

后端篇

mysql 数据库张沈鹏

安装 mysql

配置 phpmyadmin

redis 内存数据库张沈鹏

安装

notepad.cc C2C张沈鹏

tornado : python 的 web 框架

创建数据库和表

配置nginx目录

coffee script

配置文件 config.py

重载 tornado 的 RequestHandler

主文件 main.py

html/_base.html

html/index.html

coffee/index.coffee

课后作业

基于xapian的搜索张沈鹏

安装分词库

gentoo下安装xapian

扩展阅读

运维篇

发布软件包到PyPi张沈鹏

编写 setup.py

编写 MANIFEST.in

打包发布

扩展阅读

磁盘目录占用空间计算排序工具 - ncdu张沈鹏

Gentoo中使用ebuild安装非官方软件吕大超

性能篇

cython 3分钟入门赖勇浩

扩展阅读

杂谈篇

关于程序员新人张沈鹏

或是邮件反馈可也:
askdama[AT]googlegroups.com

订阅 substack 体验古早写作:

关注公众号, 持续获得相关各种嗯哼:

自怼圈/年度番新