编程论坛

 找回密码
 立即注册
广告联系qq1031180668广告位
查看: 255|回复: 2

[python] python爬取豆瓣图书新书速递

[复制链接]
  • ta_mind

    2018-8-17 21:57
  • classn_01: 71 classn_02

    [LV.6]常住居民II

    981

    主题

    1702

    帖子

    3331

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    3331

    最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

    发表于 2018-6-19 18:29:32 | 显示全部楼层 |阅读模式
    [Python] syntaxhighlighter_viewsource syntaxhighlighter_copycode
    import requests,os
    from bs4 import BeautifulSoup
    def GetDesktopPath():
        return os.path.join(os.path.expanduser("~"), 'Desktop')
    #resp = requests.get('https://book.douban.com/top250?start=0 
    
    ')
    resp = requests.get('https://book.douban.com/latest?icn=index-latestbook-all 
    
    ')
    
    #print(resp.text)
    soup=BeautifulSoup(resp.text,"lxml")
    
    #获取书名
    alldiv = soup.find_all('div', class_='detail-frame')
    names=[a.find('a').get_text() for a in alldiv]
    print(names)
    #获取作者信息
    allp=soup.find_all("p",class_="color-gray")
    authors=[p.get_text().strip() for p in allp]
    print(authors)
    
    #获取评分
    starspan=soup.find_all("span",class_="font-small")
    scores=[s.get_text().strip() for s in starspan]
    print(scores)
    
    #获取简介
    
    sumspan=soup.find_all("p",class_="detail")
    sums=[i.get_text().strip() for i in sumspan]
    print(sums)
    data=""
    for name,author,score,sum in zip(names,authors,scores,sums):
        name="书名:"+str(name)+"\n"
        author="作者:"+str(author)+"\n"
        score="评分:"+str(score)+"\n"
        sum="简介:"+str(sum)+"\n"
        data+=name+author+score+sum+"\n"
    
    fileName="豆瓣图书新书速递.txt"
    with open(GetDesktopPath()+"\\"+fileName,"w",encoding="utf_8") as f:
        f.write(data+"============")
    print("已经爬取完毕 保存到桌面")
    
    

    python爬取豆瓣图书新书速递

    python爬取豆瓣图书新书速递


    不积跬步,无以至千里

    classn_11

    0

    主题

    42

    帖子

    88

    积分

    注册会员

    Rank: 2

    积分
    88
    发表于 2018-7-5 12:54:10 | 显示全部楼层
    回复

    使用道具 举报

  • ta_mind
    奋斗
    2018-7-19 14:51
  • classn_01: 1 classn_02

    [LV.1]初来乍到

    0

    主题

    35

    帖子

    61

    积分

    注册会员

    Rank: 2

    积分
    61
    发表于 2018-7-19 15:13:31 | 显示全部楼层

    顶顶顶顶顶顶
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    手机版|Archiver|小黑屋|sitemap|编程论坛 - 一个单纯的编程学习交流论坛 ( 豫ICP备15032706号 )

    GMT+8, 2018-9-26 13:05 , Processed in 1.085387 second(s), 27 queries .

    Powered by Discuz! X3.4

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表