使用方式
~~~
$keyword="自媒体";
$keyword = urlencode($keyword);
$catchUrl = "https://www.toutiao.com/search_content/?offset=0&format=json&keyword={$keyword}&autoload=true&count=20&cur_tab=1";
$h=new JqHttp();
$htmlcode = $h->ihttp_get($catchUrl);
$htmlcode = $htmlcode['content'];
$htmlcode = base64_encode($htmlcode);
$htmlcode = $h->ihttp_post('http://we7cc.csdn123.net/toutiao_news/now.catch.php', array('htmlcode' => $htmlcode));
$htmlcode = $htmlcode['content'];
$htmlcode = preg_replace('/^\s+|\s+$/', '', $htmlcode);
$htmlcode = base64_decode($htmlcode);
$linkArr = unserialize($htmlcode);
print_r($linkArr);
~~~
类实现
~~~
<?php
namespace jqstu;
class JqHttp
{
var $curlconf=[
'TIMEOUT'=>60,
'useCert'=>false,
'SSLCERT_PATH'=>'',
'SSLKEY_PATH'=>'',
];
public function __construct($conf=[])
{
$this->curlconf=array_merge($this->curlconf, $conf);
}
/**
* @param $url
* @return array
* @throws \Exception
*/
public function ihttp_get($url)
{
return self::ihttp_request($url);
}
/**
* @param $url
* @param $data
* @return array
* @throws \Exception
*/
public function ihttp_post($url, $data) {
$headers = array('Content-Type' => 'application/x-www-form-urlencoded');
return self::ihttp_request($url, $data, $headers);
}
/**
* @param $url
* @param string $post
* @param array $extra
* @param int $timeout
* @return array
* @throws \Exception
*/
public function ihttp_request($url, $post = '', $extra = array())
{
$timeout=$this->curlconf['TIMEOUT'];
if (function_exists('curl_init') && function_exists('curl_exec') && $timeout > 0) {
$ch = self::ihttp_build_curl($url, $post, $extra, $timeout);
$data = curl_exec($ch);
$status = curl_getinfo($ch);
$errno = curl_errno($ch);
$error = curl_error($ch);
curl_close($ch);
if ($errno || empty($data)) {
Jqutil::JqException($error,$errno);
} else {
return self::ihttp_response_parse($data);
}
}
$urlset = self::ihttp_parse_url($url, true);
if (!empty($urlset['ip'])) {
$urlset['host'] = $urlset['ip'];
}
$body = self::ihttp_build_httpbody($url, $post, $extra);
if ($urlset['scheme'] == 'https') {
$fp = self::ihttp_socketopen('ssl://' . $urlset['host'], $urlset['port'], $errno, $error);
} else {
$fp = self::ihttp_socketopen($urlset['host'], $urlset['port'], $errno, $error);
}
stream_set_blocking($fp, $timeout > 0 ? true : false);
stream_set_timeout($fp, ini_get('default_socket_timeout'));
if (!$fp) {
Jqutil::JqException($error,1);
} else {
fwrite($fp, $body);
$content = '';
if($timeout > 0) {
while (!feof($fp)) {
$content .= fgets($fp, 512);
}
}
fclose($fp);
return self::ihttp_response_parse($content, true);
}
}
private function ihttp_socketopen($hostname, $port = 80, &$errno, &$errstr, $timeout = 15) {
$fp = '';
if(function_exists('fsockopen')) {
$fp = @fsockopen($hostname, $port, $errno, $errstr, $timeout);
} elseif(function_exists('pfsockopen')) {
$fp = @pfsockopen($hostname, $port, $errno, $errstr, $timeout);
} elseif(function_exists('stream_socket_client')) {
$fp = @stream_socket_client($hostname.':'.$port, $errno, $errstr, $timeout);
}
return $fp;
}
private function ihttp_build_httpbody($url, $post, $extra) {
$urlset = self::ihttp_parse_url($url, true);
if ($urlset) {
return $urlset;
}
if (!empty($urlset['ip'])) {
$extra['ip'] = $urlset['ip'];
}
$body = '';
if (!empty($post) && is_array($post)) {
$filepost = false;
$boundary = Jqutil::random(40);
foreach ($post as $name => &$value) {
if ((is_string($value) && substr($value, 0, 1) == '@') && file_exists(ltrim($value, '@'))) {
$filepost = true;
$file = ltrim($value, '@');
$body .= "--$boundary\r\n";
$body .= 'Content-Disposition: form-data; name="'.$name.'"; filename="'.basename($file).'"; Content-Type: application/octet-stream'."\r\n\r\n";
$body .= file_get_contents($file)."\r\n";
} else {
$body .= "--$boundary\r\n";
$body .= 'Content-Disposition: form-data; name="'.$name.'"'."\r\n\r\n";
$body .= $value."\r\n";
}
}
if (!$filepost) {
$body = http_build_query($post, '', '&');
} else {
$body .= "--$boundary\r\n";
}
}
$method = empty($post) ? 'GET' : 'POST';
$fdata = "{$method} {$urlset['path']}{$urlset['query']} HTTP/1.1\r\n";
$fdata .= "Accept: */*\r\n";
$fdata .= "Accept-Language: zh-cn\r\n";
if ($method == 'POST') {
$fdata .= empty($filepost) ? "Content-Type: application/x-www-form-urlencoded\r\n" : "Content-Type: multipart/form-data; boundary=$boundary\r\n";
}
$fdata .= "Host: {$urlset['host']}\r\n";
$fdata .= "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:9.0.1) Gecko/20100101 Firefox/9.0.1\r\n";
if (function_exists('gzdecode')) {
$fdata .= "Accept-Encoding: gzip, deflate\r\n";
}
$fdata .= "Connection: close\r\n";
if (!empty($extra) && is_array($extra)) {
foreach ($extra as $opt => $value) {
if (!Jqutil::strexists($opt, 'CURLOPT_')) {
$fdata .= "{$opt}: {$value}\r\n";
}
}
}
if ($body) {
$fdata .= 'Content-Length: ' . strlen($body) . "\r\n\r\n{$body}";
} else {
$fdata .= "\r\n";
}
return $fdata;
}
/**
* @param $url
* @param $post
* @param $extra
* @param $timeout
* @return resource
* @throws \Exception
*/
private function ihttp_build_curl($url, $post, $extra, $timeout)
{
if (!function_exists('curl_init') || !function_exists('curl_exec')) {
Jqutil::JqException("curl扩展未开启");
}
$urlset = self::ihttp_parse_url($url);
// print_r($urlset);
if (!empty($urlset['ip'])) {
$extra['ip'] = $urlset['ip'];
}
$ch = curl_init();
if (!empty($extra['ip'])) {
$extra['Host'] = $urlset['host'];
$urlset['host'] = $extra['ip'];
unset($extra['ip']);
}
if ($urlset['port']=80){
$urlset['port']='';
}
if(empty($urlset['query'])){
$urlset['query']='';
}
curl_setopt($ch, CURLOPT_URL, $urlset['scheme'] . '://' . $urlset['host'] . $urlset['port'] . $urlset['path'] . $urlset['query']);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
@curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);
@curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);
if ($post) {
if (is_array($post)) {
$filepost = false;
foreach ($post as $name => &$value) {
if (version_compare(phpversion(), '5.5') >= 0 && is_string($value) && substr($value, 0, 1) == '@') {
$post[$name] = new \CURLFile(ltrim($value, '@'));
}
if ((is_string($value) && substr($value, 0, 1) == '@') || (class_exists('CURLFile') && $value instanceof CURLFile)) {
$filepost = true;
}
}
if (!$filepost) {
$post = http_build_query($post);
}
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
}
}
$proxy=array('host'=>'127.0.0.1','auth'=>'');
if (!empty($proxy['host']) || !empty($proxy['auth'])){
$urls = parse_url($proxy['host']);
if (!empty($urls['host'])){
curl_setopt($ch, CURLOPT_PROXY, "{$urls['host']}:{$urls['port']}");
$proxytype = 'CURLPROXY_' . strtoupper($urls['scheme']);
if (!empty($urls['scheme']) && defined($proxytype)) {
curl_setopt($ch, CURLOPT_PROXYTYPE, constant($proxytype));
} else {
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
}
if (!empty($proxy['auth'])) {
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxy['auth']);
}
}
}
if (defined('CURL_SSLVERSION_TLSv1')) {
curl_setopt($ch, CURLOPT_SSLVERSION, CURL_SSLVERSION_TLSv1);
}
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
//安全证书检查
$curlconf=$this->curlconf;
if ($curlconf['useCert'] && !empty($curlconf['SSLCERT_PATH']) || !empty($curlconf['SSLKEY_PATH'])){
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,TRUE);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,2);//严格校验
curl_setopt($ch,CURLOPT_SSLCERTTYPE,'PEM');
curl_setopt($ch,CURLOPT_SSLCERT, $curlconf['SSLCERT_PATH']);
curl_setopt($ch,CURLOPT_SSLKEYTYPE,'PEM');
curl_setopt($ch,CURLOPT_SSLKEY,$curlconf['SSLKEY_PATH']);
}else{
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_SSLVERSION, 1);
}
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:9.0.1) Gecko/20100101 Firefox/9.0.1');
if (!empty($extra) && is_array($extra)) {
$headers = array();
foreach ($extra as $opt => $value) {
if (Jqutil::strexists($opt, 'CURLOPT_')) {
curl_setopt($ch, constant($opt), $value);
} elseif (is_numeric($opt)) {
curl_setopt($ch, $opt, $value);
} else {
$headers[] = "{$opt}: {$value}";
}
}
if (!empty($headers)) {
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
}
}
return $ch;
}
/**
* @param $url
* @param bool $set_default_port
* @return mixed
* @throws \Exception
*/
private function ihttp_parse_url($url, $set_default_port = false)
{
if (empty($url)) {
Jqutil::JqException("url参数没有填写");
}
$urlset = parse_url($url);
if (!empty($urlset['scheme']) && !in_array($urlset['scheme'], array('http', 'https'))) {
Jqutil::JqException("只能使用 http 及 https 协议");
}
if (!empty($urlset['query'])) {
$urlset['query'] = "?{$urlset['query']}";
}
if (Jqutil::strexists($url, 'https://') && !extension_loaded('openssl')) {
if (!extension_loaded("openssl")) {
Jqutil::JqException("请开启您PHP环境的openssl");
}
}
if ($set_default_port && empty($urlset['port'])) {
$urlset['port'] = $urlset['scheme'] == 'https' ? '443' : '80';
}
if (empty($urlset['host'])) {
$siteroot = $_SERVER['SERVER_NAME'];
$current_url = parse_url($siteroot);
$urlset['host'] = $current_url['host'];
$urlset['scheme'] = $current_url['scheme'];
$urlset['path'] = $current_url['path'] . '/' . str_replace('./', '', $urlset['path']);
$urlset['ip'] = '127.0.0.1';
} elseif (!self::ihttp_allow_host($urlset['host'])) {
Jqutil::JqException('host 非法');
}
if (array_key_exists("port",$urlset)) {
$urlset['port']=$urlset['port'];
} else {
$urlset['port']=80;
}
return $urlset;
}
/**
* @param $data
* @param bool $chunked
* @return array
*/
private function ihttp_response_parse($data, $chunked = false){
$rlt = array();
$headermeta = explode('HTTP/', $data);
if (count($headermeta) > 2) {
$data = 'HTTP/' . array_pop($headermeta);
}
$pos = strpos($data, "\r\n\r\n");
$split1[0] = substr($data, 0, $pos);
$split1[1] = substr($data, $pos + 4, strlen($data));
$split2 = explode("\r\n", $split1[0], 2);
preg_match('/^(\S+) (\S+) (.*)$/', $split2[0], $matches);
$rlt['code'] = $matches[2];
$rlt['status'] = $matches[3];
$rlt['responseline'] = $split2[0];
$isgzip = false;
$ischunk = false;
$header = explode("\r\n", $split2[1]);
foreach ($header as $v){
$pos = strpos($v, ':');
$key = substr($v, 0, $pos);
$value = trim(substr($v, $pos + 1));
$rlt['headers'][$key] = $value;
if(!$isgzip && strtolower($key) == 'content-encoding' && strtolower($value) == 'gzip') {
$isgzip = true;
}
if(!$ischunk && strtolower($key) == 'transfer-encoding' && strtolower($value) == 'chunked') {
$ischunk = true;
}
}
if($chunked && $ischunk) {
$rlt['content'] = self::ihttp_response_parse_unchunk($split1[1]);
} else {
$rlt['content'] = $split1[1];
}
$rlt['content'] = $split1[1];
if($isgzip && function_exists('gzdecode')) {
$rlt['content'] = gzdecode($rlt['content']);
}
if($rlt['code'] == '100') {
return self::ihttp_response_parse($rlt['content']);
}
return $rlt;
}
/**
* @param null $str
* @return bool|null|string
*/
private function ihttp_response_parse_unchunk($str = null) {
if(!is_string($str) or strlen($str) < 1) {
return false;
}
$eol = "\r\n";
$add = strlen($eol);
$tmp = $str;
$str = '';
do {
$tmp = ltrim($tmp);
$pos = strpos($tmp, $eol);
if($pos === false) {
return false;
}
$len = hexdec(substr($tmp, 0, $pos));
if(!is_numeric($len) or $len < 0) {
return false;
}
$str .= substr($tmp, ($pos + $add), $len);
$tmp = substr($tmp, ($len + $pos + $add));
$check = trim($tmp);
} while(!empty($check));
unset($tmp);
return $str;
}
/**
* @param $host
* @return bool
*/
private function ihttp_allow_host($host)
{
if (Jqutil::strexists($host, '@')) {
return false;
}
$pattern = "/^(10|172|192|127)/";
if (preg_match($pattern, $host)) {
return false;
}
return true;
}
}
~~~
- 序言
- 基础知识
- thinkphp基础知识
- Thinkphp5CURD
- 数据库创建
- 数据库删除
- 数据库更新
- 数据库查询
- thinkphp5控制器
- 空操作空控制器
- 控制器基类
- 请求信息
- 行为和钩子
- thinkphp5路由设置
- 变量路由
- 常用方法清单
- 环境搭建
- lnmp
- 升级php
- window环境
- Thinkphp小案例
- 分类管理
- 数据库设计
- 模型
- 控制器
- 视图
- 文件上传
- 上传接口
- 视图
- 表单提交
- 视图设计
- 控制器
- 权限控制
- 案例解释说明
- 登录验证
- Laravel5.3登录模式
- redis使用
- 一键安装
- 程序设计与实现
- 页面设计
- 功能设计
- 安装功能实际
- 函数库
- 配置文件
- 清除缓存
- 状态值修改
- 数据库备份还原
- controller.php
- common.php
- index.html
- importlist.html
- 完整的增删查改
- 查询语句
- 多语言支持
- JpGraph图表类库
- 微信支付
- payBase.php
- Order.php
- Oauth.php
- Jspay.php
- 下载远程地址中的图片
- URL重写隐藏入口文件
- 图片水印
- 整合百度编辑器
- Ueditor
- ueditor完整配置项
- 配置信息常见的方式
- HTTP 断点续传（PHP实现）
- layui.upload上传文件或图片
- QQ微信域名防封 预防域名封禁 强制跳转至浏览器
- 蜘蛛篇
- 超简单实现php谷歌验证
- 采集金山词霸每日一句
- think-swoole
- 原生PHP小案例
- 查询修改数据库
- mysql支付回调源码
- pdo连接微信退款
- 前端小案例
- html快捷查询
- layui经验总结
- layui 表单增强插件
- Vue列表Ajax实战教程
- PHP基础
- 类的自动载入
- php基础函数- 字符串函数
- php基础函数-数学函数
- php基础函数-数组函数
- PHP常见排序算法学习
- 请求第三方
- 从网络下载文件
- 检查网站是否宕机
- file_get_contents
- 算法
- php 抽奖算法（适合九宫格和大转盘）
- 自己动手丰衣足食
- 入口文件
- start.php
- app.php
- load.php
- route.php
- JqHttp
- Jqfile
- Jqutil
- pdo连接数据库类
- 常见的php类
- php数据接口类
- 生成多层树状下拉选框的工具模型
- 上传下载类
- 微信用户相关类
- Zip压缩类
- 列表树生成工具类
- 日期时间操作类
- 文件及文件夹处理类
- 字符串处理类
- php守护进程类
- RSA算法类
- php支持中英文的加密解密类
- CURL多线程请求
- 通用数据库操作类
- 缓存类
- cookie类
- 常见的验证方法
- 随机密钥
- 日志Log
- php-redis 操作类 封装
- OpensslRsa 加密、解密、签名、验签类
- 模板输出类
- 发送邮件
- 封装的mysqli类
- PHP时间段分割类库
- PHP apk解包识版本号信息和ipa包信息
- 访问客户端信息
- http请求
- PHP 无数据库读写配置文件
- 自己动手写一个jwt类
- php实现对图片对称加解密（适用身份证加密等场景）
- 常见php函数
- 无限分类
- 获取文章图片
- 加密解密
- JSON数据输出（适合在tp中）
- 删除目录和文件
- 判断是否为手机访问
- 获取客户端真实IP
- 随机生成ip地址
- 字符串与二进制进行转换
- 对数组进行排序
- 格式化字节大小
- 时间戳格式化
- 获取数据的所有子孙数据的id值
- 取得视频文件的缩略图
- 图片裁剪函数
- 按照每过0:00算一天
- 下载文件
- PHP随机密码生成
- 判断数字大小
- 报文组成
- 通过ip定位城市
- PDO方式连接MySQL数据库
- 数组与xml
- php字符串处理函数
- 判断是否ajax提交
- 生成概率,用于抽奖
- 断点续传
- PHP使用星号替代用户名手机和邮箱
- 获取毫秒级别的时间戳
- php日志函数
- 随机颜色生成器
- 时间差异计算函数
- 黑名单过滤
- 常见PHP 正则表达式
- php获取浏览器类型
- 邮件发送
- 获取qq昵称
- 正则获取手机号归属地
- 判断是否是移动客户端 移动设备
- gbk和utf8编码自动识别方法
- 人性化时间显示
- 请求API接口
- 数据库备份
- PHP并发下安全读写文件函数
- PHP读取exe软件版本号
- PHP为任意页面设置访问密码
- PHP利用百度当图床
- 秒/分钟/小时前
- 常见的js函数
- 短信验证函数
- 上下收缩菜单
- jQuery 树插件zTree
- 页面刷新跳转
- jquery导出报表
- js实现定时效果
- 获取当前经纬度
- JQuery实现图片大小自适应
- 网站运行时间
- 判断浏览器类型
- 百度推送
- js对指定数据进行排序
- 常见工具方法
- JSPinyin
- 技术相关文章
- 高级PHP工程师所应该具备哪些技能
- 最简洁的PHP程序员学习路线及建议
- 优化PHP代码的一些建议
- TP5性能优化建议
- 程序猿专用代码注释:佛祖保佑，永无BUG
- 一组匹配中国大陆手机号码的正则表达式
- Apache/Nginx/PHP服务器反爬虫代码大全
- 番外
- 配置shadowsocks服务端
- python
- go
- 如何在1分钟内黑掉任何网站！
- 百度贴吧敏感词
- 贴吧手工养号发帖教程
- 搞笑的注释代码
- Heroku