石家庄旭洁净化设备有限公司 欢迎您! 产品知识   |   在线留言  |   网站地图  |   施工现场  |  
 > 热门资讯 > 热门查询

大家都用python写过哪些有趣的脚本

时间:2022-01-12 00:36:20 阅读:

简单列举下我写过的脚本吧,相关的脚本是本人练习使用而已。

大家都用python写过哪些有趣的脚本

大家都用python写过哪些有趣的脚本

大家都用python写过哪些有趣的脚本

1.模拟京东签到打卡

因为人的精力是有限的,所以一些重复性的工作,能免则免,你说对不对?

2.模拟京东农场浇水

有兴趣可以观看我的视频::///6850853762894938627/

3.查询开源软件的最新版本

4.查询基金的数据

最近老婆开始研究基金,那就先自己获取下基金的数据,还没成型。

5.自动化操作抖音刷视频

这个需要手机插入电脑,安装相应驱动,然后用python脚本进行模拟操作。

6.自动化操作简书点击抽奖

7.写个加密算法储存网站密码

8.获取照片原图里的地理位置

写这个,主要是因为看到之前网上报告说微信原图泄露地理信息。

有兴趣的可以查看我的视频::///6848256405950956036/,希望可以提高大家的安全意识。

最后当然还有很多脚本,这里就不一一列举了,只是想说一点:你只要想得到的事情,用Python就可以轻松获取,但是注意不要违法。

用Python写一个爬虫,做一个冷门行业的搜索引擎,能实现吗

简单的做法呢,就是写个百度爬虫,自己架构一个网站,直接跳转百度搜索的结果~

大家都用python写过哪些有趣的脚本

稍微复杂的做法,就是在上述的基础上增加筛选功能,把非本行业的内容全部剔除一下!

在复杂一些的,搜集一些专业的信息,比如几个论坛或者相关信息的发布机构的网页,然后做相应的爬虫,写如数据库,在写一个网站……

因为冷门行业,也存在的受众小、内容少(相对)的问题,完全可以自行架构网站,但是要想扩大你的影响力,那就需要下不少的功夫了,起码,本行业的人得认可你!

当然,如果只是自用的话,那就简单了,哪怕你做个命令行版本的查询系统,都可以的,无非就是数据的整合,实时爬取等等!

记得之前有想写个爬虫,将几个盗版小说的网站的爬虫整合到一起,实现搜索后,选择不同站点下载小说的功能~写了一半,然后找到了可以实现的软件。。。很崩溃。。。

后来发现,其实写一个百度爬虫,然后指定关键字来显示搜索结果的方式其实很方便,也适合我这种懒人。。。

希望能帮到你!

Python什么爬虫库好用

Python下的爬虫库,一般分为3类。

大家都用python写过哪些有趣的脚本

抓取类

urllib(Python3),这是Python自带的库,可以模拟浏览器的请求,获得Response用来解析,其中提供了丰富的请求手段,支持Cookies、Headers等各类参数,众多爬虫库基本上都是基于它构建的。建议学习了解一下,因为有些罕见的问题需要通过底层的方式解决。

requests,基于urllib,但是更方便易用。强烈推荐掌握。

解析类

re:正则表达式官方库,不仅仅是学习爬虫要使用,在其他字符串处理或者自然语言处理的过程中,这是绕不过去的一个库,强烈推荐掌握。

BeautifulSoup:方便易用,好上手,推荐掌握。通过选择器的方式选取页面元素,并获取对应的内容。

lxml:使用

lxml.etree

将字符串转换之后,我们可以使用XPath表达式来解析网页,终极推荐。XPath对于网页解析的支持非常强大,而且很容易上手。它本来是设计出来进行XML元素选择的,但是它同样支持HTML。

pyquery:另一个强大的解析库,感兴趣的可以学习下。

综合类

selenium:所见即所得式爬虫,综合了抓取和解析两种功能,一站式解决。很多动态网页不太容易通过requests、scrapy直接抓取,比如有些url后边带了加密的随机数,这些算法不太好破解,这种情况下,只能通过直接访问网址、模拟登陆等方式请求到页面源码,直接从网页元素中解析内容,这种情况下,Selenium就是最好的选择。不过Selenium最初设计出来,是用于测试的。强烈推荐。

scrapy:另一个爬虫神器,适合爬取大量页面,甚至对分布式爬虫提供了良好的支持。强烈推荐。

以上这些是我个人经常使用的库,但是还有很多其他的工具值得学习。比如Splash也支持动态网页的抓取;Appium可以帮助我们抓取App的内容;Charles可以帮助我们抓包,不管是移动端还是PC网页端,都有良好的支持;pyspider也是一个综合性的框架;MySQL(pymysql)、MongoDB(pymongo),抓到了数据就要存储,数据库也是绕不过去的。

掌握了以上这些,基本上大部分的爬虫任务都难不倒你啦!

你也可以关注我的头条号,或者我的个人博客,里边会有一些爬虫类的分享。数洞: /