如何使用 Web Scraper API 高效采集 Facebook 用户帖子信息
Web Scraper API是一种基于云的服务，可以简化网页数据提取，提供自动处理IP轮换、CAPTCHA解决方案，并将数据解析为结构化格式。它可以高效、可扩展地收集数据，专为需要无缝访问有价值网页数据的企业量身定制。
目录
前言
如今很多企业依赖于实时数据来把握市场趋势，Web Scraper API 提供了一种高效、自动化的数据获取方式，使公司能够低成本地收集到大规模的公开数据。相较于手动收集信息，Web Scraper API 不仅更快更准确，还能帮助企业获得竞争情报、客户偏好等信息，尤其对于大模型和各种数据应用场景都非常有帮助。本文中的案例将使用 bright data 的 Web Scraper API 采集 Facebook 用户帖子信息。
官方地址：https://get.brightdata.com/pzwebscraper
一、什么是Web Scraper API
Web Scraper API是一种基于云的服务，可以简化网页数据提取，提供自动处理IP轮换、CAPTCHA解决方案，并将数据解析为结构化格式。它可以高效、可扩展地收集数据，专为需要无缝访问有价值网页数据的企业量身定制。
二、Web Scraper API 的优势：
-
自动化数据采集：通过API接口，可以轻松抓取互联网上的大量数据，无需人工手动提取，
节省时间和人工成本。支持抓取结构化和非结构化的数据，能处理各种网页布局（如HTML、JavaScript渲染内容等）。 -
高效与可定制化：适用于不同的网页内容和结构，可以根据需求定制抓取规则。
支持批量抓取和定时抓取，保证了数据采集的持续性和一致性。 -
无需复杂配置：无需编写复杂的爬虫代码，API调用更为简便，适合那些没有编程背景的用户。
大多数Web Scraper API都提供了图形化的界面来配置抓取规则，降低了技术门槛。 -
实时数据提取：可实现
实时获取互联网上的数据，使得获取的内容更加时效，适用于需要最新数据的应用。 -
数据清洗与格式化：很多API在数据抓取后可以直接进行初步清洗和格式化处理，输出结构化的数据（如CSV、JSON等），方便后续使用。
那么网页爬虫API对于手动爬虫的优势？
爬虫API克服了手动网页爬取的局限性，例如应对网站结构变化、遭遇封锁和验证码，以及与基础设施维护相关的高成本。它提供了一种自动化、可扩展且可靠的数据提取解决方案，大大降低了运营成本和时间。
三、Web Scraper API 适用场景
- 大模型数据训练和更新：大模型依赖大量的数据训练和优化，Web Scraper API可以帮助从互联网上快速收集特定领域的数据，为模型提供最新的训练数据。可以帮助提供动态更新的输入数据，尤其是对于市场趋势、消费者行为等需要实时反馈的领域。
- 市场调研与竞品分析：自动抓取竞争对手的产品信息、价格、评论等数据，帮助分析市场趋势和消费者反馈。
- 新闻和社交媒体分析：从新闻网站、社交媒体平台抓取实时热点、舆情分析数据，有助于做情感分析、趋势预测等。
- 金融行业：从金融新闻、股票分析、市场报告等网页抓取数据，帮助建立预测模型和风险评估。
- 电商和零售分析：抓取电商平台的产品详情、价格动态、用户评价等信息，进行销售预测和市场洞察。
- 科学研究与学术论文抓取：自动从学术网站和数据库抓取最新的研究成果、论文摘要等数据，帮助建立科学文献分析工具。
四、实践案例
目标需求
爬取下面三位FaceBook用户的10条帖子信息
| 网址 | 主页 |
|---|---|
| https://www.facebook.com/LeBron/ |  |
| https://www.facebook.com/apple |  |
| https://www.facebook.com/gagadaily/ |  |
视频讲解
如何使用 Web Scraper API 高效采集 Facebook 用户帖子信息
1、选择Web Scraper API
爬虫API的独特性在于其专门功能，如批量请求处理、数据发现和自动验证，并由包括住宅代理和JavaScript渲染等先进技术支持。这些功能需要确保广泛访问、高数据完整性和整体效率，因此我选用 bright data 的 Web Scraper API 作为抓取数据的工具。
2、登录注册
首先进入 bright data 官方网站 进行注册。点击网站右上方“注册”按钮后，填写姓名、邮箱、手机号、公司规模即可注册完成✅
3、进入用户控制面板
可以看到左侧第二个菜单就是Web Scraper API，点击之后就可以看到 Web Scraper API 的详细信息。
其中我们可以看到一些比较受欢迎的API，比如：Facebook、Instagram、TikTok、Twitter等相关信息的APi，另外也可以看到我们在运行的 API logs
4、选择API
我们可以在列表中有上百种API，包括了市场数据、B2B数据、电子商务数据、财务数据、新闻资料、房地产数据、社交媒体数据、旅行数据等。这里我选择社交媒体数据中比较受欢迎的Facebook - Comments - Collect by URL API 。
5、触发数据收集 API
这里需要填写收集数据的网址、帖子数量（num_of_posts）、不包括的帖子（posts_to_not_include）、开始日期（start_date）、结束日期（end_date），这里我们爬取三位Facebook用户的10条帖子信息。
添加爬虫的细节
这里勾选了Include errors report with the results选项，且修改了下面四个选项的内容，如下：
接着需要获取 API Token，点击Get API token即可生成你的Token，注意保存在本地，在下面请求API时需要用到。
然后执行请求命令
这里我选择是Linux Bash版本的命令，注意一定要把命令中的API_TOKEN换成上面你生成的TOKEN。随后执行生成快照id。
生成的快照id结果为如下：
{"snapshot_id":"s_m342n89p1h56iw97em"}%
6、获取爬虫结果
提供了两种，一种是通过下载快照，另一种是发送至仓库，这里我选择下载快照的方式，并且选择文件的格式为 JSON 、Compress files (.gz)，然后执行右侧的代码命令，需要注意先填写快照id，然后用生成的TOKEN替换掉 API_TOKEN
随后执行下载结果命令，则会出现下面的提示，状态处于running运行中，稍等片刻（注意如果前面选择的日期或者数据量比较大的话，等待时间会略长）。
随后我们继续执行上面的代码，会看到快照正在构建中
{"status":"building","message":"Snapshot is building, try again in 10s"}%
等待一段时间，继续执行上面的代码，就可以看到我们最终爬取的数据啦！
直接在终端查看数据不是很方便，可以生成json文件便于查看，只需要在刚刚的命令后面加上--output data.json，就可以在当前目录下生成 data.json文件
生成的data.json文件。
7、分析爬虫结果
（1）错误的数据
生成的json数据中，其中爬取地址为https://www.facebook.com/gagadaily/和https://www.facebook.com/apple/在各自设置下的start_date和end_date时间范围爬取失败，
"post_id": null,
"page_name": null,
"post_external_image": null,
"post_type": null,
"following": null,
"link_description_text": null,
"timestamp": "2024-11-05T06:31:43.199Z",
"input": {
"url": "https://www.facebook.com/gagadaily/",
"num_of_posts": 10,
"start_date": "10-20-2024",
"end_date": "10-20-2024"
},
"warning": "posts for the specified period were not found",
"warning_code": "dead_page"
},
{
"timestamp": "2024-11-05T06:36:23.938Z",
"input": {
"url": "https://www.facebook.com/apple/",
"num_of_posts": 10,
"start_date": "10-20-2024",
"end_date": "11-01-2024"
},
"error": "Crawler error: Timed out waiting for graphql response",
"error_code": "timeout"
},
（2）正确的数据
因为数据太多，这里截取其中一条数据
{
"url": "https://www.facebook.com/LeBron/videos/7922013201234317/",
"post_id": "1112318133592414",
"user_url": "https://www.facebook.com/LeBron",
"user_username_raw": "LeBron James",
"content": "What are we even talking about here?? When I think about my kids and my family and how they will grow up, the choice is clear to me. VOTE KAMALA HARRIS!!!",
"date_posted": "2024-10-31T21:28:41.000Z",
"num_comments": 1983,
"num_shares": 4085,
"num_likes_type": {
"type": "Like",
"num": 2556
},
"page_name": "LeBron James",
"profile_id": "100044427126625",
"page_intro": "The Official LeBron James Facebook page.\n\nwww.lebronjames.com",
"page_category": "Athlete",
"page_logo": "https://scontent.fmnl17-3.fna.fbcdn.net/v/t39.30808-1/461936413_1091563265667901_6592324197866706840_n.jpg?stp=dst-jpg_s200x200&_nc_cat=1&ccb=1-7&_nc_sid=f4b9fd&_nc_ohc=qTe8zYXlYsQQ7kNvgHBfFD2&_nc_zt=24&_nc_ht=scontent.fmnl17-3.fna&_nc_gid=AYpf7yucZIySMKrlXBSh-pJ&oh=00_AYAZuaCma8ReH0PhBPf2K46WnXGbnxsc6N4OEP1crs2mkA&oe=672F87E7",
"page_followers": 27000000,
"page_is_verified": true,
"attachments": [
{
"id": "7922013201234317",
"type": "Video",
"url": "https://scontent.fmnl17-6.fna.fbcdn.net/v/t15.5256-10/465066739_890906873146323_7371909864090599845_n.jpg?stp=dst-jpg_p296x100&_nc_cat=109&ccb=1-7&_nc_sid=7965db&_nc_ohc=GAT9utKXJdoQ7kNvgEDaPy4&_nc_zt=23&_nc_ht=scontent.fmnl17-6.fna&_nc_gid=Ab94zEj6O3ME80PjpwtPl_C&oh=00_AYCYKzhNEZ6FLxoQoEKI1uQgrhK58t6sh4iGrC5mOq_skA&oe=672F7951",
"video_length": "75108",
"attachment_url": "https://www.facebook.com/LeBron/videos/7922013201234317/",
"video_url": "https://video.fmnl17-3.fna.fbcdn.net/o1/v/t2/f2/m69/AQM4uas0Hm2iFEVJe8Z0ww2is_mZJJlW2zUYYO3FOi_88_3uUPuhZuDPQvFUcK4xVKwBhM-vKp2fFCDt7l-s78hX.mp4?efg=eyJ4cHZfYXNzZXRfaWQiOjEyNzAzNTIyNDM5OTUwMTcsInZlbmNvZGVfdGFnIjoieHB2X3Byb2dyZXNzaXZlLkZBQ0VCT09LLi5DM2UuNzIwLmRhc2hfaDI2NC1iYXNpYy1nZW4yXzcyMHAifQ&_nc_ht=video.fmnl17-3.fna.fbcdn.net&_nc_cat=104&strext=1&vs=45419d027a7075ba&_nc_vs=HBksFQIYOnBhc3N0aHJvdWdoX2V2ZXJzdG9yZS9HTHB0dHh1QU9UUkZYbnNFQVBZOXdWVEtVQlZUYm1kakFBQUYVAALIAQAVAhg6cGFzc3Rocm91Z2hfZXZlcnN0b3JlL0dFaFp1UnNHUkJid01zWU5BQmRpRDZZdjhHby1ickZxQUFBRhUCAsgBACgAGAAbAogHdXNlX29pbAExEnByb2dyZXNzaXZlX3JlY2lwZQExFQAAJpLG8eOd2MEEFQIoA0MzZSwXQFLG6XjU_fQYGWRhc2hfaDI2NC1iYXNpYy1nZW4yXzcyMHARAHUCAA&ccb=9-4&oh=00_AYBtuf70c0Pv2GUxzxMa5xQg403E4P1OzWYe-T_iE758ZA&oe=672BAE2B&_nc_sid=1d576d"
}
],
"post_external_image": null,
"page_url": "https://www.facebook.com/LeBron",
"header_image": "https://scontent.fmnl17-1.fna.fbcdn.net/v/t1.6435-9/139267227_247937373363832_6589163605052708194_n.jpg?stp=dst-jpg_s960x960&_nc_cat=100&ccb=1-7&_nc_sid=cc71e4&_nc_ohc=jxGtOqQH7PQQ7kNvgElz9kR&_nc_zt=23&_nc_ht=scontent.fmnl17-1.fna&_nc_gid=AYpf7yucZIySMKrlXBSh-pJ&oh=00_AYBH8GeOiJeU3E69PAzYJEIL2b5YCczNFLKfNzBdzuH2aA&oe=6751412E",
"avatar_image_url": "https://scontent.fmnl17-3.fna.fbcdn.net/v/t39.30808-1/461936413_1091563265667901_6592324197866706840_n.jpg?stp=dst-jpg_s200x200&_nc_cat=1&ccb=1-7&_nc_sid=f4b9fd&_nc_ohc=qTe8zYXlYsQQ7kNvgHBfFD2&_nc_zt=24&_nc_ht=scontent.fmnl17-3.fna&_nc_gid=AYpf7yucZIySMKrlXBSh-pJ&oh=00_AYAZuaCma8ReH0PhBPf2K46WnXGbnxsc6N4OEP1crs2mkA&oe=672F87E7",
"profile_handle": "LeBron",
"is_sponsored": false,
"shortcode": "1112318133592414",
"video_view_count": 55668,
"likes": 2556,
"post_type": "Post",
"following": 114,
"link_description_text": null,
"timestamp": "2024-11-05T06:31:43.816Z",
"input": {
"url": "https://www.facebook.com/LeBron/",
"num_of_posts": 10,
"posts_to_not_include": "",
"start_date": "10-20-2024",
"end_date": "11-01-2024"
}
},
我们在他的Facebook账号首页可以看到爬虫的这条数据信息
8、获取快照列表
在Management APIs菜单下，可以看到Get snapshots list，需要设置Dataset ID以及Status (ready, running, failed)。使用此 API 检索数据快照列表，显示收集的数据的已保存版本，其状态为“就绪”、“正在运行”或“失败”以指示处理阶段。
复制右侧代码，在终端执行命令，注意替换TOKEN
得到如下数据，是我的快照列表
[
{
"id": "s_m33ruu64vapj5x5e",
"dataset_id": "gd_lkaxegm826bjpoo9m5",
"status": "ready",
"dataset_size": 1110,
"created": "2024-11-05T01:29:04.060Z"
},
{
"id": "s_m33rva5t1901k40t9f",
"dataset_id": "gd_lkaxegm826bjpoo9m5",
"status": "ready",
"dataset_size": 1358,
"created": "2024-11-05T01:29:24.785Z"
},
{
"id": "s_m33vhh4y1sqjtfgmws",
"dataset_id": "gd_lkaxegm826bjpoo9m5",
"status": "ready",
"dataset_size": 1683,
"created": "2024-11-05T03:10:39.106Z"
},
{
"id": "s_m341tbg4lwht5mr2e",
"dataset_id": "gd_lkaxegm826bjpoo9m5",
"status": "ready",
"dataset_size": 11,
"created": "2024-11-05T06:07:49.300Z"
},
{
"id": "s_m342n89p1h56iw97em",
"dataset_id": "gd_lkaxegm826bjpoo9m5",
"status": "ready",
"dataset_size": 9,
"created": "2024-11-05T06:31:04.861Z"
}
]
9、监控进度API
使用此 API 检查您的数据收集状态。输入“触发数据收集 API”响应提供的快照 ID。它将在数据收集期间返回“正在运行”，并在数据可用时返回“就绪”。
执行右侧的命令，注意需要替换TOKEN
可以看到输出结果，该快照已经处于ready的状态。
{"status":"ready","snapshot_id":"s_m33rva5t1901k40t9f","dataset_id":"gd_lkaxegm826bjpoo9m5","error_codes":{"timeout":1},"records":1358,"errors":1,"collection_duration":2170955}
10、API logs
在API logs 菜单中看到当前快照id对应的数据收集状态，如下：可以看到目前正在爬取数据中。
五、使用 bright data 的 Web Scraper API 优势
1、一次API调用，大量数据
bright data 的 Web Scraper API 适用于各种使用场景的抓取，无需开发和维护网页抓取工具。使用网页一次API调用，轻松提取大量网页数据，并且在爬取数据过程中具有以下特点。
- 数据发现：检测数据结构和模式，以确保高效、有针对性的数据提取。
- 批量请求处理：减少服务器负载，并优化大规模抓取任务的数据收集。
- 数据解析：高效地将原始HTML转换为结构化数据，简化数据集成和分析。
- 数据验证：确保数据可靠性，节省手动检查和预处理的时间。
2、不用担心代理和验证码
总结
在本文案例中，使用 bright data 的 Web Scraper API 真的是非常的高效！它支持自定义配置，可以根据需求选择抓取的页面、数据量、日期，非常适合应对不同的数据需求。还能够轻松集成到现有的数据处理或分析管道中。尤其对开发人员来说，通常只需少量代码即可调用和处理数据。在抓取数据过程中，效率真的很高，么有出现任何个人信息泄露的状况，并且成本也不是很高，完全可以hold住。
总的来说，Web Scraper API 带来了强大的数据获取能力和灵活性，强烈推荐使用！
助力广东及东莞地区开发者，代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展，成为松山湖开发者首选的工作与学习平台
更多推荐
47
0- 0
已为社区贡献7条内容
所有评论(0)