Scrapyd 部署

https://www.jianshu.com/p/93ccb59ce9b3

 

scrapy爬虫写好后,需要用命令行运行,如果能在网页上操作就比较方便。scrapyd部署就是为了解决这个问题,能够在网页端查看正在执行的任务,也能新建爬虫任务,和终止爬虫任务,功能比较强大。[……]

继续阅读

python–threading多线程总结

https://www.cnblogs.com/tkqasn/p/5700281.html

 

threading用于提供线程相关的操作,线程是应用程序中工作的最小单元。python当前版本的多线程库没有实现优先级、线程组,线程也不能被停止、暂停、恢复、中断。

threa[……]

继续阅读

Python多线程详解

http://python.jobbole.com/85050/

 

1、多线程的理解

多进程和多线程都可以执行多个任务,线程是进程的一部分。线程的特点是线程之间可以共享内存和变量,资源消耗少(不过在Unix环境中,多进程和多线程资源调度消耗差距不明显,Unix调度较快)[……]

继续阅读

python 多线程就这么简单

https://www.cnblogs.com/fnng/p/3670789.html

 

  多线程和多进程是什么自行google补脑

  对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂。所以,这里力图用简单的例子,让你对多线程有个初步的认识。

[……]

继续阅读

用Python生成MySql数据字典

https://segmentfault.com/a/1190000008909299

 

项目的数据库字典表是一个很重要的文档。通过此文档可以清晰的了解数据表结构及开发者的设计意图。
通常为了方便我都是直接在数据库中建表,然后通过工具导出数据字典。

在Mysql数据库[……]

继续阅读

pip 使用豆瓣源

https://www.cnblogs.com/clockwork/p/6133720.html

 

原因

国内使用官方的pypi源不稳定,经常出现timeout的情况,所以使用豆瓣的源代替(本人使用python3)

方法

  1. 新建配置文件

    windows 下:[……]

    继续阅读

详解Python的装饰器

https://www.cnblogs.com/cicaday/p/python-decorator.html

 

Python中的装饰器是你进入Python大门的一道坎,不管你跨不跨过去它都在那里。

为什么需要装饰器

我们假设你的程序实现了say_hello()say_[......]

继续阅读

高效使用Python字典的清单

https://zhuanlan.zhihu.com/p/28738634

 

字典(dict)对象是 Python 最常用的数据结构,社区曾有人开玩笑地说:”Python企图用字典装载整个世界”,字典在Python中的重要性不言而喻,这里整理了几个关于高效使用字典的清单,希望[……]

继续阅读

Python 语法速览与实战清单

https://zhuanlan.zhihu.com/p/31331277?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

 

本文是对于 现代 Python 开发:语法基础与工程实践的总结[……]

继续阅读

Python学习笔记四–字典与集合

https://www.cnblogs.com/xiaobing-zombie/p/4230996.html

 

字典是Python中唯一的映射类型。所谓映射即指该数据类型包含哈希值(key)和与之对应的值(value)的序列。字典是可变类型。字典中的数据是无序排列的。[……]

继续阅读