自动获取招标信息

主要观点总结

文章主要介绍了关于通过爬虫自动获取招标信息并定时发送邮件给同事的相关内容。

关键观点总结

关键观点1: 自动获取招标信息

文章提到通过编写爬虫定时获取指定网站的招标信息。

关键观点2: 使用Scrapy框架编写爬虫

作者使用Scrapy框架进行爬虫编写，通过精装修毛坯房的方式实现对每个网站的特定数据抓取。

关键观点3: Scrapyd和Scrapyweb进行可视化管理

作者通过Scrapyd调度器进行爬虫管理，并使用Scrapyweb进行可视化的任务设置和查看。

关键观点4: 邮件自动发送及数据管理

文章提到编写代码以每天定时为不同团队发送包含关键词的招标信息邮件，并对数据库中的数据进行标记和清理。

关键观点5: 利用AI辅助编写代码

作者在编写过程中遇到问题时，利用AI（如chatgpt）快速获取代码帮助，提高了效率。

文章预览

所里每天通过邮件发招标信息。 但不同的审计团队还会关注一些指定客户的招标信息。 同事让帮忙自动获取下关注的网站的信息（主要是四川省的）。 所以这几天大概写了 40 多个爬虫，定时获取招标信息，并定时将含有指定关键词的信息发送邮件给同事。 scrapy 编写爬虫 scrapy 是个爬虫框架，相当于一个毛坯房，大部分功能是写好的，我要做的就是稍微精装修下。 针对每个网站，只需要浏览器中通过 F12 抓包获取信息， 模拟网页请求，获取数据。 每个网页其实大概 10 几行代码，就可以写完。 一般 10 多分钟就可以搞定。 scrapyd + scrapyweb 可视化管理 Scrapyd 是一个用于运行分布式 scrapy 爬虫的调度器，可以对爬虫进行管理。 将项目直接部署在后台运行。 scrapyweb 是一个可视化管理工具，可以方便的设置定时任务： 可以通过设置间隔多久执行一次任务 ………………………………