首页 科技内容详情
环球国际娱乐网址多少:只要3秒语音合成模型VALL‧E就能完美的模仿任何人的声音,连环境背景音也能模仿

环球国际娱乐网址多少:只要3秒语音合成模型VALL‧E就能完美的模仿任何人的声音,连环境背景音也能模仿

分类:科技

标签: # Phương pháp chơi tài xỉu

网址:

SEO查询: 爱站网 站长工具

点击直达

game bài đổi thưởng caovietnet(www.84vng.com):game bài đổi thưởng caovietnet(www.84vng.com) cổng Chơi tài xỉu uy tín nhất việt nam。game bài đổi thưởng caovietnet(www.84vng.com)game tài Xỉu game bài đổi thưởng caovietnet online công bằng nhất,game bài đổi thưởng caovietnet(www.84vng.com)cổng game không thể dự đoán can thiệp,mở thưởng bằng blockchain ,đảm bảo kết quả công bằng.

ADVERTISEMENT

只需3秒钟,一个根本没听过你说话的AI,就能完美模仿出你的声音。 

这是微软最新AI成果——语音合成模型VALL‧E,只需3秒语音,就能随意复制任何人的声音。 

它脱胎于DALL‧E,但专攻音讯领域,语音合成效果在网上放出后引起相当的关注了:

DALL-E generates pixels from text. Now meet its cousin, VALL-E, that generates audio from text @MSFTResearch!

VALL-E’s resemblance to DALL-E v1 and Parti @GoogleAI is striking. Image and audio are both continuous signals, but they can be quantized into discrete tokens.

1/ pic.twitter.com/CLiGKhFKoD

— Jim Fan (@DrJimFan) January 6, 2023

 

有网友表示,要是将VALL‧E和ChatGPT结合起来,效果简直爆炸: 

看来与GPT-4在Zoom里聊天的日子不远了。

还有网友调侃,(继AI搞定作家、画家之后)下一个就是配音演员了。

 

所以VALL‧E究竟怎么做到3秒钟模仿「没听过」的声音?

用语言模型来分析音讯

基于AI「没听过」的声音合成语音,即零样本学习。 

语音合成趋于成熟,但之前零样本语音合成效果并不好。 

主流语音合成方案基本是预训练+微调模式,如果用到零样本场景下,会导致生成语音相似度和自然度很差。 

基于此,VALL‧E横空出世,相比主流语音模型提出了不太一样的思路。

相比传统模型采用梅尔频谱提取特征,VALL‧E直接将语音合成当成了语言模型的任务,前者是连续的,后者是离散化的。 

具体来说,传统语音合成流程往往是「音素→梅尔频谱(mel-spectrogram)→波形」这样的方式。

但VALL‧E将这一流程变成了「音素→离散音讯编码→波形」:

 

具体到模型设计上,VALL‧E也和VQVAE类似,将音讯量化成一系列离散tokens,其中第一个量化器负责捕捉音讯内容和说话者身份特征,后几个量化器则负责细化讯,使之听起来更自然:

 

随后以文本和3秒钟的声音提示作为条件,自回归地输出离散音讯编码:

,

casino trực tuyến(www.84vng.com):casino trực tuyến(www.84vng.com) cổng Chơi tài xỉu uy tín nhất việt nam。casino trực tuyến(www.84vng.com)game tài Xỉu đánh bạc online công bằng nhất,casino trực tuyến(www.84vng.com)cổng game không thể dự đoán can thiệp,mở thưởng bằng blockchain ,đảm bảo kết quả công bằng.

,

 

VALL‧E还是个全能选手,除了零样本语音合成,同时还支援语音编辑、与GPT-3结合的语音内容创建。

那么在实际测试中,VALL‧E的效果如何呢? 

连环境背景音都能还原

根据已合成的语音效果来看,VALL‧E能还原的绝不仅仅是说话人的音色。 

不仅语气模仿到位,而且还支援多种不同语速的选择,例如这是在两次说同一句话时,VALL‧E给出的两种不同语速,但音色相似度仍然很高:

同时,连说话者的环境背景音也能准确还原。 

除此之外,VALL‧E还能模仿说话者的多种情绪,包括愤怒、困倦、中立、愉悦和恶心等好几种类型。 

值得一提的是,VALL‧E训练用的资料集不算特别大。 

相比OpenAI的Whisper用了68万小时的音讯训练,在只用了7000多名演讲者、6万小时训练的情况下,VALL‧E就在语音合成相似度上超过了经过预训练的语音合成模型YourTTS。 

而且,YourTTS在训练时,事先已经听过108个演讲者中的97人声音,但在实际测试中还是比不过VALL‧E。

 

有网友已经在在想像它可以应用的地方了: 

不仅可以用在模仿自己的声音上,例如帮助残障人士和别人完成对话,也可以在自己不想说话时用它代替自己发语音。

当然,还可以用在有声书的录制上。 

Wondering if @EMostaque or Eleuther AI has a team working on a publicly available version of VALL-E. https://t.co/YONfC85Nr8

— Ralph Brooks (@ralphbrooks) January 6, 2023 

 

不过,VALL‧E目前还没开源,要想试用可能还得再等等。

 

 

 

论文连结:

  • Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers 

音讯试听连结:

  • Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers

 

,

环球国际娱乐网址多少www.ugbet.us)开放环球UG代理登录网址、会员登录网址、环球UG会员注册、环球UG代理开户申请、环球UG电脑客户端、环球UG手机版下载等业务。

 当前暂无评论,快来抢沙发吧~
  • ug环球官网(www.ugbet.us) @回复Ta

    2023-01-27 00:01:26 

    海清这套造型看似随性简约,细节搭配tips很值得借鉴。灰色毛衣与牛仔马甲搭配,惬意温柔,但这两种单品结合,就巧妙运用了前卫的叠穿术,虽然颜色较浅,却丝毫不妨碍突出层次感。打破循规蹈矩的穿法,只穿半边的造型,满是时髦活力的风韵。不看电视了,看你

发布评论