欧美极品高清xxxxhd,国产日产欧美最新,无码AV国产东京热AV无码,国产精品人与动性XXX,国产传媒亚洲综合一区二区,四库影院永久国产精品,毛片免费免费高清视频,福利所导航夜趣136

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

搜索
查看: 1062|回復: 0
打印 上一主題 下一主題
收起左側

關于用socket實現一個超簡單的爬蟲

[復制鏈接]
跳轉到指定樓層
樓主
ID:436060 發表于 2018-11-29 20:42 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
#僅供參考
import socket
import ssl
import re       
import os


url = "http://csse.xjtlu.edu.cn/classes/CSE205/"
protocol = url.split('://')[0]

u = url.split('://')[1]
i = u.find('/')
host = u[:i]
path = u[i:]
file_path='D:\\{}'.format(host)

def  get_html(url):

    if protocol =='https':
        sock= ssl.wrap_socket(socket.socket())
        port = 443

    else:
        sock = socket.socket()
        port = 80

    sock.connect((host,port))

    request = 'GET {} HTTP/1.1\r\nhost:{}\r\n\r\n'.format(path, host)
    print( request)

    sock.send(request.encode())
    response = b''
    buffer_size = 1024
    while True:
        r = sock.recv(buffer_size)
        response += r
        if len(r) < buffer_size:
            break

    response = response.decode()
    print(response)
    return response



def get_img(response):

    imgre = re.compile(r"""<img\s.*?\s?src\s*=\s*['|"]?([^\s'"]+).*?>""",re.I)
    imglist = re.findall(imgre,response)

    for src in imglist:

        if protocol =='https':
            sock2= ssl.wrap_socket(socket.socket())
            port = 443
        else:
            sock2= socket.socket()
            port = 80

        sock2.connect((host,port))
        request2='GET {}{} HTTP/1.1\r\nhost:{}\r\n\r\n'.format(path,src,host)
        print(request2)
        sock2.send(request2.encode())
        response2 = b''
        buffer_size = 1024
        while True:
            r = sock2.recv(buffer_size)
            response2 += r
            if len(r) < buffer_size:
                break
        data=response2.split("\r\n\r\n".encode())[1]

        src=src.replace('/','.');
        file_path='D:\\{}\{}'.format(host,src)

        with open (file_path,'wb') as f:
            f.write(data)


def mkdir(file_path):

    isExists=os.path.exists(file_path)
    if not isExists:
        os.makedirs(file_path)
        return True
    else:
        return False


mkdir(file_path)
response = get_html(url)
get_img(response)

分享到:  QQ好友和群QQ好友和群 QQ空間QQ空間 騰訊微博騰訊微博 騰訊朋友騰訊朋友
收藏收藏 分享淘帖 頂 踩
回復

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

小黑屋|51黑電子論壇 |51黑電子論壇6群 QQ 管理員QQ:125739409;技術交流QQ群281945664

Powered by 單片機教程網

快速回復 返回頂部 返回列表