初步观察

主要分类如下:
分类

影片的基本信息,是可以直接爬取的

集数和分集介绍 是通过js加载出来的,单纯是爬取页面的话,其中不会有目标数据

尝试抓包,抓取到了剧集介绍

https://v.sogou.com/vc/tvIntros?key=teleplay_680703&start=1&end=29

key: 影片标识
start:开始的剧集
end:结束的剧集

影片标识:
在影片介绍页面找到
无图片描述

目前,可以完善影片的基本信息,以及分集介绍

播放链接,简单抓包,没搞明白原理

可以使用Pyppeteer 来完成爬虫功能,效率上是慢一些,不过既然没有找到接口,也就只能通过浏览器加载出完整页面再去获取数据了。

之前也没有使用过Pyppeteer,所以依靠这次机会,来熟练使用一下也是不错的选择。

最终目标

  • 爬取所有影片的基本信息,封面图,播放链接
  • 入库

2020/1/7

搜狗剧集链接分析

获取指定剧集的集数播放链接

https://v.sogou.com/vc/eplay?
query=%BE%AB%D3%A2%C2%C9%CA%A6%2024%20site:qq.com
&title=%BE%AB%D3%A2%C2%C9%CA%A6
&key=teleplay_680703
&j=24
&st=6
&tvsite=qq.com

query:剧集名称+空格+集数+空格+平台

title:剧集名称

key:剧集唯一标识

j:剧集

st:6

tvsite:平台

获取剧集步骤:

  1. 打开视频详情页
  2. 从中获取视频唯一标识key以及能够播放的平台
  3. 拼接搜狗的链接

在视频详情页完成的工作:

  • 获取影片的基本信息及介绍
  • 获取key及播放平台

链接处理

  • 由搜狗链接转为平台方链接

    import requests
    res = requests.get('搜狗链接')
    real_url = res.url
  • 去除平台链接多余参数

    芒果TV:https://www.mgtv.com/b/335604/7395902.html?cxid=94n3624ea&fromvsogou=1
    [https://www.mgtv.com/b/335604/7395902.html]
    爱奇艺:https://www.iqiyi.com/v_19rwlr9fn0.html?vfm=m_502_sgss&fc=bb04f8ebddb43838&fv=p_05_01&fromvsogou=1&fv=bf562ffc1cd15119
    [https://www.iqiyi.com/v_19rwlr9fn0.html]
    腾讯视频:https://v.qq.com/x/cover/mzc00200bqxuhqe/z0033cjcdvz.html?ptag=sogou.tv.pay&fromvsogou=1
    [https://v.qq.com/x/cover/mzc00200bqxuhqe/z0033cjcdvz.html]
    
    以`?`为分界线,只需要`?`之前的内容

视频详情页分析

影片的基本信息

        <img src="https://img01.sogoucdn.com/v2/thumb/resize/w/258/h/360/t/2/retype/ext/auto/q/75?appid=200835&url=http%3A%2F%2Fimg03.sogoucdn.com%2Fapp%2Fa%2F200803%2Fd7413e78e7dcbe4386f7e552343ec264" title="想见你" alt="想见你"  onerror="this.onerror=null;this.src='https://img02.sogoucdn.com/app/a/07/e81996f689cee803e28862b3ed9e959b'" >
        <div class="srch-result-thumb-rgt"><em class="stress"><i>9</i>.2</em></div>
        <div class="sort_lst_thumb_tag_pay">付费</div>
    </a>
    <h1 class="srch-result-tit">
        
            <a href="http://baike.sogou.com/v184146630.htm" title="想见你" class="linkto-baike" uigs="m_head_baike" target="_blank">百科词条<i></i><i></i></a>
        
        <div class="result-tit-sub">
            <span class="tit-info">更新至16集/共26集</span>
            <span class="tit-type">电视剧</span>
        </div>
    想见你
    </h1>
    <dl class="srch-result-info">
    
        <dt>年&nbsp;代:</dt>
        <dd class="srch-info-lft" uigs="m_head_year"><a href="/teleplay/list/year-2019.html" target="_blank" title="2019">2019</a></dd>
    
        <dt>地&nbsp;区:</dt>
        <dd class="srch-info-lft" uigs="m_head_zone"><a href="/teleplay/list/zone-%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE.html" target="_blank" title="中国台湾">中国台湾</a></dd>
    
        <dt>类&nbsp;型:</dt>
        <dd uigs="m_head_styles"><a href="/teleplay/list/style-%E5%A5%87%E5%B9%BB.html" target="_blank" title="奇幻">奇幻</a><a href="/teleplay/list/style-%E5%8F%B0%E6%B9%BE.html" target="_blank" title="台湾">台湾</a><a href="/teleplay/list/style-%E7%88%B1%E6%83%85.html" target="_blank" title="爱情">爱情</a><a href="/teleplay/list/style-%E6%8E%A8%E7%90%86.html" target="_blank" title="推理">推理</a><a href="/teleplay/list/style-%E6%82%AC%E7%96%91.html" target="_blank" title="悬疑">悬疑</a></dd>
    
        <dt class="lft_newline">导&nbsp;演:</dt>
        <dd class="srch-info-lft" uigs="m_head_directors"><a href="/star/%E9%BB%84%E5%A4%A9%E4%BB%81.html?ie=utf8" target="_blank" title="黄天仁">黄天仁</a></dd>
    
        <dt>主&nbsp;演:</dt>
        <dd uigs="m_head_actors"><a href="/star/%E6%9F%AF%E4%BD%B3%E5%AC%BF.html?ie=utf8" target="_blank" title="柯佳嬿">柯佳嬿</a><a href="/star/%E8%AE%B8%E5%85%89%E6%B1%89.html?ie=utf8" target="_blank" title="许光汉">许光汉</a><a href="/star/%E6%96%BD%E6%9F%8F%E5%AE%87.html?ie=utf8" target="_blank" title="施柏宇">施柏宇</a><a href="/star/%E9%A2%9C%E6%AF%93%E9%BA%9F.html?ie=utf8" target="_blank" title="颜毓麟">颜毓麟</a><a href="/star/%E4%B8%A5%E8%89%BA%E6%96%87.html?ie=utf8" target="_blank" title="严艺文">严艺文</a></dd>
    
        <dt class="lft_newline">别&nbsp;名:</dt>
        <dd><a title="Someday or One Day" href="/series/orswyzlqnrqxsxzwg44tkmzrbfadgojtgyysyu3pnvswiylzebxxeicpnzssardbpe.html" target="_blank" uigs="m_head_alias">Someday or One Day</a><a title="想見你" href="/series/orswyzlqnrqxsxzwg44tkmzrbfadcmbqgm3szt7l2kfmjyy.html" target="_blank" uigs="m_head_alias">想見你</a></dd>
    
        <dt>更&nbsp;新:</dt>
        <dd>每周日23点同步台湾地区更新2集 VIP抢先看10集</dd>
    
        <dt class="dtd-intro lft_newline">简&nbsp;介:</dt>
        
        <dd id="detail_intro" class="dtd-intro">黄雨萱永远记得,当王诠胜第一次跟她告白,跟她说他喜欢她,要她当他女朋友的时候,黄雨萱反问了他一个问题,为什么他会喜欢她,那时的王诠胜,就只是带着一切该是如此的笃定微笑,回答她了一句“因为打从我第一眼看到你的时候,我就知道,我喜欢你…” 黄雨萱...<a id="detail_btn" href="javascript:void(0)" class="btn-info-more">更多<i></i></a></dd>
        
    </dl>

可能用到的参数

<script>
var playInfo = {"finished":false,"format":"serial","item_list":[{"episode_range":{"all":[[1,16]],"fee":[[7,16]]},"finish_episode":"26","icon":"ico_tengxun","site":"qq.com","siteName":"腾讯","st":"","trailer":null},{"episode_range":{"all":[[1,16]],"fee":[[7,16]]},"finish_episode":"26","icon":"ico_aiqiyi","site":"iqiyi.com","siteName":"爱奇艺","st":"","trailer":{"link_list":[{"episode":"17","url":"/vc/np?type=play&link=gy3tkzjqgntdoylcgiywgnjwmzrtey3emi2dqnbzmjrtmnbtgfrqsmjvg44dimbxgy4teclumvwgk4dmmf4v65dsmfuwyzlsl5ygyylzbfuhi5dqhixs653xo4xgs4ljpfus4y3pnuxxmxzrhfzhoztknjwg44zonb2g23a&query=%CF%EB%BC%FB%C4%E3"}]}}],"suggLastEpisodeCount":1,"title":"想见你","url":""};
if(playInfo && playInfo.item_list) {
    playItemSize = playInfo.item_list.length;
}
</script>

finished判断是否已完结
all可以免费观看的剧集范围
fee需要付费观看的剧集范围
finish_episode总集数
site观看平台的顶级域名
siteName观看平台名

通过此处,可以知道具体哪些平台在播放此影片,便于获取所有平台的链接

Last modification:January 19th, 2020 at 10:13 pm