CURL采集技术

2024-10-15 08:28:27

curl是“模拟登录/信息采集”技术跨域请求:① file_get_contents(); get方式请求② curl:get/post方式都可以请求③ snoopy:get、post方式请求④ 制作form表单submit提交请求:get、post都可以,单项请求有的时候进行信息采集要求必须登录状态才可以此时就只能使用curl或snoopy

工具/原料

电脑,代码编辑器

一、模拟信息采集:

1、 模拟信息采集要求登录状态才可以采集相关的信息。使用file_get_contents()向其他地址页面(本域名下)做请求被请求页面 与 请求页面 的session不能共享。原因:它们cookie中的session_id不是同一个信息

CURL采集技术

2、curl可以解决 请求页面与 被请求页面不同cookie的问题模拟登录信息采集实现:

CURL采集技术CURL采集技术

3、记录登录状态。

CURL采集技术

4、访问代码编写。

CURL采集技术CURL采集技术

二、模拟登录信息采集(验证码):

1、域名1 向 域名2 (两个)做请求,采集“商品信息”

CURL采集技术

2、被采集出来的信息。

CURL采集技术
猜你喜欢