本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，详细内容见获取到的字段。如果只需要用户信息，可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。
爬取结果可写入文件和数据库，具体的写入文件类型如下：
同时支持下载微博中的图片和视频，具体的可下载文件如下：
[TOC]
本部分为爬取到的字段信息说明，为了与免cookie版区分，下面将两者爬取到的信息都列出来。如果是免cookie版所特有的信息，会有免cookie标注，没有标注的为二者共有的信息。
用户信息如果想要知道程序的具体运行结果，可以查看示例文档，该文档介绍了爬取迪丽热巴微博的例子，并附有部分结果文件截图。
运行环境本程序有两个版本，你现在看到的是python3版，另一个是python2版，python2版位于python2分支。目前主力开发python3版，包括新功能开发和bug修复；python2版仅支持bug修复。推荐python3用户使用当前版本，推荐python2用户使用python2版，本使用说明是python3版的使用说明。
1.安装程序本程序提供两种安装方式，一种是源码安装，另一种是pip安装，二者功能完全相同。如果你需要修改源码，建议使用第一种方式，否则选哪种安装方式都可以。
源码安装$ git clone https://github.com/dataabc/weiboSpider.git
$ cd weiboSpider
$ pip install -r requirements.txtpip安装
$ python3 -m pip install weibo-spider2.程序设置
要了解程序设置，请查看程序设置文档。
3.运行程序源码安装的用户可以在weiboSpider目录运行如下命令，pip安装的用户可以在任意有写权限的目录运行如下命令
$ python3 -m weibo_spider
第一次执行，会自动在当前目录创建config.json配置文件，配置好后执行同样的命令就可以获取微博了。
如果你已经有config.json文件了，也可以通过config_path参数配置config.json路径，运行程序，命令行如下：
$ python3 -m weibo_spider --config_path="config.json"
如果你想指定文件（csv、txt、json、图片、视频）保存路径，可以通过output_dir参数设定。假如你想把文件保存到/home/weibo/目录，可以运行如下命令：
$ python3 -m weibo_spider --output_dir="/home/weibo/"
如果你想通过命令行输入user_id，可以使用参数u，可以输入一个或多个user_id，每个user_id以英文逗号分开，如果这些user_id中有重复的user_id，程序会自动去重。命令行如下：
$ python3 -m weibo_spider --u="1669879400,1223178222"
程序会获取user_id分别为1669879400和1223178222的微博用户的微博，后面会讲如何获取user_id。该方式的所有user_id使用config.json中的since_date和end_date设置，通过修改它们的值可以控制爬取的时间范围。若config.json中的user_id_list是文件路径，每个命令行中的user_id都会自动保存到该文件内，且自动更新since_date；若不是路径，user_id会保存在当前目录的user_id_list.txt内，且自动更新since_date，若当前目录下不存在user_id_list.txt，程序会自动创建它。
个性化定制程序（可选）本部分为可选部分，如果不需要个性化定制程序或添加新功能，可以忽略此部分。
本程序主体代码位于weibo_spider.py文件，程序主体是一个 Spider 类，上述所有功能都是通过在main函数调用 Spider 类实现的，默认的调用代码如下：
config = get_config()
wb = Spider(config)
wb.start() # 爬取微博信息
用户可以按照自己的需求调用或修改 Spider 类。通过执行本程序，我们可以得到很多信息。
点击查看详情
wb.weibo：除不包含上述信息外，wb.weibo包含爬取到的所有微博信息，如微博id、微博正文、原始图片url、发布位置、发布时间、发布工具、点赞数、转发数、评论数等。如果爬的是全部微博(原创 转发)，除上述信息之外，还包含被转发微博原始图片url、是否为原创微博等。wb.weibo是一个列表，包含了爬取的所有微博信息。wb.weibo[0]为爬取的第一条微博，wb.weibo[1]为爬取的第二条微博，以此类推。当filter=1时，wb.weibo[0]为爬取的第一条原创微博，以此类推。wb.weibo[0]['id']为第一条微博的id，wb.weibo[0]['content']为第一条微博的正文，wb.weibo[0]['publish_time']为第一条微博的发布时间，还有其它很多信息不在赘述
定期自动爬取微博（可选）要想让程序每隔一段时间自动爬取，且爬取的内容为新增加的内容（不包括已经获取的微博），请查看定期自动爬取微博。
如何获取cookie要了解获取cookie方法，请查看cookie文档。
如何获取user_id要了解获取user_id方法，请查看user_id文档，该文档介绍了如何获取一个及多个微博用户user_id的方法。
如何获取评论转发后私信
,
Copyright © 2008-2022 秒下下载站
m.down10s.com .All Rights Reserved
