发 帖  
原厂入驻New

[经验] 【技术杂谈】用python实现自己的小说阅读器

2019-7-16 04:00:00  690 python Python爬虫 人工智能
分享
3
前一段时间书荒的时候,在喜马拉雅APP发现一个主播播讲的小说-大王饶命。听起来感觉很好笑,挺有意思的,但是只有前200张是免费的,后面就要收费。一章两毛钱,本来是想要买一下,发现说的进度比较慢而且整本书要1300多张,算了一下,需要200大洋才行,而且等他说完,还不知道要到什么时候去。所以就找文字版的来读,文字版又有它的缺点,你必须手眼联动才行。如果要忙别的事情,但是又抑制不住想看的冲动,就很纠结了。在网上找了一圈,没有其他的音频。而且以前用的那些有阅读功能的软件,比如微信阅读、追书神器也都开始收费了。那怎么办呢?这能难倒一个程序员吗?必须滴、坚决滴不能。我用的可是世界上最好的编程语言-Python
1.jpg 于是乎,自己动手丰衣足食,接下来就让我们实现自己的小说阅读器吧。
语音合成选择
要想读文字,就必须要用到语音合成。现在这种语音合成的软件有很多,其中讯飞和百度是比较好的两种,我们这里就使用百度语音合成API来实现。

创建语音合成应用
首先注册百度账号,然后登录到百度AI开放平台,创建一个应用
2.jpg
创建应用
3.jpg
填写应用名和描述信息提交
4.png
记住AppID、API Key、Secret Key,在使用API的时候会用到,查看一下技术文档,使用pip install baidu-aip安装完API,文档内有详细的示例代码,很容易就上手了。里面有各种参数解释,比如音量、语调、语速、发声人等。现在语音合成已经有了,已经有了阅读的前提,下面就是获取小说内容了。


获取小说内容


小说内容的获取我们从笔趣阁网站上获取,一方面免费,另一方面没有反爬,找到网站首页https://www.biquge.info/40_40289/,使用requests大法就可以了。简单分析一下页面
5.jpg
所有章节信息都在dd元素下,而且链接也是很有规律的,直接用xpath获取所有章节列表信息。  
  1. def get_chapters(self):
  2.     url = "https://www.biquge.info/40_40289/"
  3.     r = self.session.get(url)
  4.     r.encoding = chardet.detect(r.content).get("encoding", "utf-8")
  5.     html = etree.HTML(r.text)
  6.     for item in html.xpath("//dl/dd/a"):
  7.         yield item.attrib["title"], url + item.attrib["href"]
复制代码
章节内容获取也非常简单,就不分析了
  1. def get_content(self, url):
  2.     r = self.session.get(url)
  3.     r.encoding = chardet.detect(r.content).get("encoding", "utf-8")
  4.     html = etree.HTML(r.text)
  5.     title = html.xpath(r'//*[@class="bookname"]/h1')[0].text
  6.     for info in html.xpath("//div[@id='content']"):
  7.         text = info.xpath("string(.)")
复制代码
这里有一点要注意的,获取的章节内容中有html元素,xpath为我们提供了string(.),提取多个子节点的文本,非常好用。

合成存储
小说内容获取成功了,与语音合成结合一下,小说阅读器的雏形就有了。简单实现如下:
  1. import chardet
  2. import requests
  3. from lxml import etree
  4. from aip import AipSpeech

  5. class CollectNovels:
  6.     def __init__(self):
  7.         self.session = requests.session()
  8.         self.session.headers["user-agent"] = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"

  9.         """ 你的 APPID AK SK """
  10.         APP_ID = '16416498'
  11.         API_KEY = 'oEWGafQkaUGqmsmPbfkE5OMx'
  12.         SECRET_KEY = '6jdsUcH0PXz5TYoELU47u58W5vPV9lwf'
  13.         self.client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)

  14.     def get_chapters(self, url):
  15.         r = self.session.get(url)
  16.         r.encoding = chardet.detect(r.content).get("encoding", "utf-8")
  17.         html = etree.HTML(r.text)
  18.         for item in html.xpath("//dl/dd/a"):
  19.             yield item.attrib["title"], url + item.attrib["href"]

  20.     def get_content(self, url):
  21.         r = self.session.get(url)
  22.         r.encoding = chardet.detect(r.content).get("encoding", "utf-8")
  23.         html = etree.HTML(r.text)
  24.         for info in html.xpath("//div[@id='content']"):
  25.             text = info.xpath("string(.)")
  26.             for line in text.split("。"):
  27.                 content = self.client.synthesis(line, 'zh', 1, {"per": 0})
  28.                 with open("auido.mp3", "rb") as fp:
  29.                     fp.write(content)

  30. IF __name__ == '__main__':
  31.     novel = CollectNovels()
  32.     home_url = "https://www.biquge.info/40_40289/"
  33.     for title, url in novel.get_chapters(home_url):
  34.         novel.get_content(url)
复制代码
这里是生成了mp3文件,按行生成以后,再使用合成软件合成后,我们就可以放在任意地方去听了。但是这样也有缺陷,必须提前生成,然后才能使用播放器听,这样不是很方便。如果可以边生成边播放是不是更好呢?

播放合成语音
我们可以使用python的pygame库,其他的好几个库都不太好用,有些已经年久失修了,所以就不用了。
  1. import time
  2. import pygame
  3. from io import BytesIO

  4. pygame_mixer = pygame.mixer
  5. pygame_mixer.init(frequency=frequency)
  6. byte_obj = BytesIO()
  7. byte_obj.write(content)
  8. byte_obj.seek(0, 0)
  9. pygame_mixer.music.load(byte_obj)
  10. pygame_mixer.music.play()
  11. while pygame_mixer.music.get_busy():
  12.     time.sleep(0.1)
  13. pygame_mixer.stop()
复制代码
这里使用BytesIO将语音合成的二进制文件存储在内存中,就不需要再保存成本地mp3了,有一个需要注意的地方pygame_mixer.init(frequency=frequency),这个frequency参数是音频频率,如果不设置的话默认是22050,播放出来的声音和mp3播放相差太大了,一直以为是这个库有问题,换了好几个,有的是用不了,有的有问题,后来我才发现需要设置这个参数,那么这个参数从哪里来呢?查看之前生成的mp3文件属性
6.png
然后将频率设置为16000就可以了。

最终处理

要生成我们最终可以使用的阅读器还有几个问题需要处理。
  • 合成一句播放一句,这样会有停顿,所以要使用并行处理。
  • 每次合成如果不进行存储,下一次就必须要重新合成。所以我们使用数据库存储合成的语音。
  • 获取章节内容、合成语音、播放内容需要独立处理。

后期规划


后期可以增加前端页面,通过前端增加爬取小说信息,显示合成进度、播放进度、选择章节播放等功能。




管亚狮 2019-7-16 15:25:36
优秀,太优秀,灰常优秀
回复

举报

评论

高级模式
您需要登录后才可以回帖 登录 | 注册

发经验
关闭

站长推荐 上一条 /10 下一条

快速回复 返回顶部 返回列表