开心六月综合激情婷婷|欧美精品成人动漫二区|国产中文字幕综合色|亚洲人在线成视频

    1. 
      
        <b id="zqfy3"><legend id="zqfy3"><fieldset id="zqfy3"></fieldset></legend></b>
          <ul id="zqfy3"></ul>
          <blockquote id="zqfy3"><strong id="zqfy3"><dfn id="zqfy3"></dfn></strong></blockquote>
          <blockquote id="zqfy3"><legend id="zqfy3"></legend></blockquote>
          打開APP
          userphoto
          未登錄

          開通VIP,暢享免費電子書等14項超值服

          開通VIP
          【保姆級教程】突破開源天花板,實操利用ChatTTS與Kimi API聯(lián)手打造個人語音AI助手,讓自然流暢的智能對話成為現(xiàn)實!

          背景介紹

          之前給大家分享關(guān)于語音大模型訊飛星火、天工等等,但都是必源的。最近發(fā)現(xiàn)一個超酷開源的語音轉(zhuǎn)文本ChatTTS項目,生成的語音文本效果逼真,支持中文和英文。結(jié)合kimi api,我給大家手搓一個語音AI助手,讓大模型自然流暢地說出來!下面我給大家詳細(xì)介紹,文末有實測對應(yīng)的效果展示哦~

          本文目錄

          • ChatTTS開源語音天花板

            • ChatTTS項目介紹

            • 效果展示: 利用ChatTTS實現(xiàn)中文文本轉(zhuǎn)語音

            • 效果展示:  利用ChatTTS實現(xiàn)英文語音轉(zhuǎn)文本

          • kimi api接口介紹

            • 為什么要用api的方式來調(diào)用大模型?

            • kimi大模型介紹

            • kimi api相關(guān)限速介紹

            • 如何配置自己的api

            • 查看目前免費api的用量限制:

            • 充值來提高api接口的限制:

          • kimi api+ChatTTS打造個人語音AI助手

            • 配置對應(yīng)的庫

            • kimi大模型驗證

            • 將其封裝成函數(shù)

            • 問答對話語音展示

          • 參考文檔

          ChatTTS開源語音天花板

          ChatTTS項目介紹

          ChatTTS 文本轉(zhuǎn)語音項目在github爆火出圈,引來大家極大的關(guān)注。短短三天時間,在 GitHub 上已經(jīng)斬獲了15.8k的Star量

          ChatTTS是專門為對話場景設(shè)計的文本轉(zhuǎn)語音模型,例如LLM助手對話任務(wù)。它支持英文和中文兩種語言。

          作者本人也在 x (原推特)上表示,ChatTTS 突破了開源天花板。不過,目前開源的只是基礎(chǔ)大模型,沒有經(jīng)過 SFT 監(jiān)督微調(diào)。 

          項目github地址: https://github.com/2noise/ChatTTS

          其具有下面特點:

          • 對話式 TTS: ChatTTS針對對話式任務(wù)進行了優(yōu)化,實現(xiàn)了自然流暢的語音合成,同時支持多說話人。
          • 細(xì)粒度控制: 該模型能夠預(yù)測和控制細(xì)粒度的韻律特征,包括笑聲、停頓和插入詞等。
          • 更好的韻律: ChatTTS在韻律方面超越了大部分開源TTS模型。同時提供預(yù)訓(xùn)練模型,支持進一步的研究。
          下面我將給大家實操ChatTTS的效果展示。

          效果展示: 利用ChatTTS實現(xiàn)中文文本轉(zhuǎn)語音

          配置對應(yīng)的運行環(huán)境

          from IPython.display import clear_output
          !git clone https://github.com/2noise/ChatTTS
          %cd ChatTTS
          !pip install -r requirements.txt
          !pip install openai==1.30.1
          !pip install pynini==2.1.5 Cython   WeTextProcessing torchaudio
          clear_output()

          下載模型權(quán)重

          import ChatTTS
          import torch
          torch._dynamo.config.cache_size_limit = 64
          torch._dynamo.config.suppress_errors = True
          torch.set_float32_matmul_precision('high')
          from IPython.display import Audio

          chat = ChatTTS.Chat()
          chat.load_models()

          進行模型推理實現(xiàn)中文文本轉(zhuǎn)語音

          輸出的語音效果展示: 

          效果展示:  利用ChatTTS實現(xiàn)英文語音轉(zhuǎn)文本

          輸出的語音效果展示: 

          效果是不是很驚艷,下面我將結(jié)合大模型來搭建個人語音AI助手~
          kimi api接口介紹

          為什么要用api的方式來調(diào)用大模型?

          1. 部分大模型未開源:  即沒有開放模型參數(shù)權(quán)重,所以沒法實現(xiàn)本地加載。
          2. 本地設(shè)備無法支持大模型推理: 大模型的參數(shù)量高達(dá)幾百元甚至千億的參數(shù)量,光是參數(shù)文件就高達(dá)幾十G設(shè)置上百G的參數(shù),更何況本地沒有大型顯卡推理,即使下載下來權(quán)重也無法運行。大模型推理是費錢費力。
          3. 易用、高效、定制化強: 通過api接口的方式,易用高效便于用戶定制,用戶只需要幾行代碼就可以定制自己的AI助手。環(huán)境只需要CPU就行,不需要昂貴的GPU,網(wǎng)絡(luò)通暢就行。還能通過api的并發(fā)等來限制來收取會員費用。

          kimi大模型介紹

          目前kimi大模型有:

          • moonshot-v1-8k: 它是一個長度為 8k 的模型,適用于生成短文本。
          • moonshot-v1-32k: 它是一個長度為 32k 的模型,適用于生成長文本。
          • moonshot-v1-128k: 它是一個長度為 128k 的模型,適用于生成超長文本。以上模型的區(qū)別在于它們的最大上下文長度,這個長度包括了輸入消息和生成的輸出,在效果上并沒有什么區(qū)別。這個主要是為了方便用戶選擇合適的模型。

          kimi api相關(guān)限速介紹

          之前給大家介紹,就是利用coze平臺搭建的AI助手,其底層大模型對應(yīng)的是免費的moonshot-v1-128k大模型。

          1. 對應(yīng)就是并發(fā)為1
          2. RPM( request per minute)指一分鐘內(nèi)您最多向我們發(fā)起的請求數(shù)只有3次,
          3. TPM( token per minute)指一分鐘內(nèi)您最多和我們交互的token數(shù)只有32000個token數(shù),
          4. TPD(token per day)指一天內(nèi)您最多和我們交互的token數(shù)交互1.5M;

          如何配置自己的api

          首先你需要打開https://platform.moonshot.cn/console/info,進行登錄注冊,成功后進入下面界面

          點擊右邊的新建,命名后記得及時復(fù)制api密鑰,下面需要用到。

          查看目前免費api的用量限制:

          充值來提高api接口的限制:

          賬號界面預(yù)覽

          用戶新注冊免費獲得15元。

          下面我將手把手給大家介紹如何利用kimi api+ ChatTTS來打造個人語音AI助手。

          kimi api+chatTTS打造個人語音AI助手

          配置對應(yīng)的庫

          from IPython.display import clear_output
          !git clone https://github.com/2noise/ChatTTS
          %cd ChatTTS
          !pip install -r requirements.txt
          !pip install openai==1.30.1
          !pip install pynini==2.1.5 Cython   WeTextProcessing torchaudio
          clear_output()

          # 配置kimi大模型的api
          from openai import OpenAI
          client = OpenAI(
              api_key = 'kimiapi密鑰',
              base_url = 'https://api.moonshot.cn/v1',
          )

          kimi大模型驗證

          query='請問長江和嘉陵江相匯在什么地方'
          completion = client.chat.completions.create(
              model = 'moonshot-v1-128k',
              messages = [
                  {'role''system''content''你是 Kimi,由 Moonshot AI 提供的人工智能助手,你更擅長中文和英文的對話。你會為用戶提供安全,有幫助,準(zhǔn)確的回答。同時,你會拒絕一切涉及恐怖主義,種族歧視,黃色暴力等問題的回答。Moonshot AI 為專有名詞,不可翻譯成其他語言。'},
                  {'role''user''content': query}
              ],
              temperature = 0.3,
          )
          print(completion.choices[0].message.content)

          長江和嘉陵江相匯的地方位于中國重慶市。嘉陵江在重慶市渝中區(qū)的朝天門碼頭匯入長江,形成了重慶獨特的兩江交匯景觀。

          將其封裝成函數(shù)

          def kimi_chat_speak(user_query,history):
              history.append({
                  'role''user'
                  'content': user_query
              })
              completion = client.chat.completions.create(
                  model='moonshot-v1-128k',
                  messages=history,
                  temperature=0.3,
              )
              result = completion.choices[0].message.content
              history.append({
                  'role''assistant',
                  'content': result
              })
              print('kimi: ', result)
              params_infer_code = {'prompt':'[speed_5]''temperature':.3}
              params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}
              texts = [result]
              wavs = chat.infer(texts,
                            do_text_normalization=True,
                            params_refine_text=params_refine_text,
                            params_infer_code=params_infer_code)
              return wavs

          問答對話語音展示

          對話案例1效果展示:

          對話案例2效果展示:

          對話案例3效果展示:

           怎么樣,是不是很哇塞,快去嘗試吧!

          參考文檔

          1. https://kimi.moonshot.cn/
          2. https://github.com/2noise/ChatTTS

          z先生說

          今天給大家分享ChatTTS開源語音轉(zhuǎn)文本項目,結(jié)合Kimi等大模型的api可以輕松定制個人語音AI助手。如果你想進行商用,還請查看ChatTTS的github倉庫了解更多相關(guān)的信息。

          不管大模型怎么發(fā)展,終究只是一個工具,如何利用好它來提高我們的效率,這個才是最重要的!

          如果本文對你有幫助,還請你點贊在看轉(zhuǎn)發(fā)。你的支持就是我創(chuàng)作的最大動力,關(guān)注下面公眾號不迷路~
          本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報。
          打開APP,閱讀全文并永久保存 查看更多類似文章
          猜你喜歡
          類似文章
          智勝未來:國內(nèi)大模型 Agent應(yīng)用案例精選,以及主流Agent框架開源項目推薦
          我愿稱它為 AI 配音界的天花板(附一鍵安裝包和12000種音色庫)
          艸,我的聲音被克隆了
          神器降臨!當(dāng)下最強 AI 文字轉(zhuǎn)語音神器,基本解決一切痛點!
          卷入大模型,手機廠商的新敘事|甲子光年
          Kimi大模型智能助手使用介紹,怎么訪問,哪些能做,哪些做不到
          更多類似文章 >>
          生活服務(wù)
          分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
          綁定賬號成功
          后續(xù)可登錄賬號暢享VIP特權(quán)!
          如果VIP功能使用有故障,
          可點擊這里聯(lián)系客服!

          聯(lián)系客服