歡迎來到令人興奮的 AI 應(yīng)用世界！在這門課程中，你將學(xué)習(xí)到創(chuàng)建一個能夠與用戶互動、理解自然語言、處理音頻輸入，甚至分析圖像的真正智能應(yīng)用所需的技能和技術(shù)。

AI 工具和技術(shù)

你將獲得使用幾個知名 AI API 和技術(shù)的實際經(jīng)驗。這些行業(yè)領(lǐng)先的平臺將作為我們 AI 應(yīng)用的構(gòu)建塊。我們將使用的一些技術(shù)包括：

OpenAI：

我們將深入探索 OpenAI 的 Chat Completion API，這是一個革命性的工具，允許我們的應(yīng)用與用戶進(jìn)行自然而動態(tài)的對話。

Deepgram：

我們將利用 Deepgram 的語音識別 API 來轉(zhuǎn)錄音頻文件，允許我們無縫地將音頻分析集成到我們的應(yīng)用中。

Replicate：

我們將了解 Replicate，這是開源 AI 中的一場變革。我們將使用它來利用一個名為 miniGPT 的圖像分析模型，使我們的應(yīng)用能夠理解圖像內(nèi)容并智能地回答有關(guān)它們的問題。

Langchain：

我們將使用這項技術(shù)為我們的應(yīng)用賦予一種獨特的“記憶”。有了 Langchain，我們的應(yīng)用將能夠記住以前的互動，并根據(jù)積累的知識智能地做出回應(yīng)。

我們將構(gòu)建什么？

現(xiàn)在，我們對將要學(xué)習(xí)的迷人 AI 技術(shù)感到興奮，讓我們來看一下我們將要構(gòu)建的內(nèi)容。

這是一個我們可以用于分析內(nèi)容 – 文本、音頻或圖像的應(yīng)用。

對于我們的文本分析功能，我們選取一段文本，然后向 AI 提問，得到回應(yīng)。

它由幾個主要元素組成：

一個文本區(qū)域來添加我們的文本

一個輸入框和按鈕來提交問題

一個 div 來展示 AI 的回應(yīng)。

對于我們的音頻分析功能，我們將音頻文件轉(zhuǎn)錄為文本。當(dāng)我們有轉(zhuǎn)錄文本時，我們可以向 AI 提問。首先將其轉(zhuǎn)錄為文本，讓我們可以使用相同的 AI 進(jìn)行文本分析 – AI 以文本形式分析音頻。

這個功能由 Transcriber 組件和一個與文本分析功能中的聊天窗口類似的窗口組成。

我們還將添加功能，以便我們可以向 AI 提出多個問題，以便我們可以繼續(xù)向其詢問有關(guān)音頻文件的問題。

最后，我們將構(gòu)建圖像分析功能。對于這個功能，我們將添加一個圖像 URL 到輸入中。然后我們可以向 AI 提問有關(guān)圖像的問題。

我們將添加功能，以便我們能夠提出多個問題。我們將賦予我們的 AI 記憶，以便它可以記住以前的問題和答案，保留整個對話的上下文！

課程內(nèi)容大綱：

課程介紹

OpenAI 的聊天 API

分析文本功能

字符串的標(biāo)記化

使用 Deepgram 的語音轉(zhuǎn)文字 API 進(jìn)行音頻轉(zhuǎn)錄

分析音頻功能

LangChain 介紹

分析圖像功能

Langchain 和 Replicate