近日，小紅書正式推出了名為 NoteLLM 的多模態(tài)大型語言模型框架，旨在為用戶提供更精準(zhǔn)的筆記推薦服務(wù)。這個框架不僅能夠理解文本信息，還能有效處理圖像，借助其強大的語義理解能力，大幅提升了筆記推薦的準(zhǔn)確性與相關(guān)性。

NoteLLM 的核心技術(shù)在于生成筆記的壓縮嵌入與自動生成標(biāo)簽的能力。通過引入對比學(xué)習(xí)與指令微調(diào)技術(shù)，該框架可以更好地解析用戶行為數(shù)據(jù)，從而為每個筆記生成合適的標(biāo)簽和類別。這一創(chuàng)新的功能不僅優(yōu)化了用戶在平臺上的使用體驗，也極大地增強了用戶與內(nèi)容之間的互動。

值得注意的是，NoteLLM 的升級版本 NoteLLM-2引入了多模態(tài)輸入。這意味著該框架能夠同時處理文本和視覺信息，確保用戶在獲取信息時不會遺漏任何重要內(nèi)容。通過采用多模態(tài)上下文學(xué)習(xí)（mICL）和晚期融合(late fusion)機(jī)制，NoteLLM-2能有效地增強對視覺信息的理解，從而使得筆記推薦更加全面和準(zhǔn)確。

在實際應(yīng)用中，NoteLLM 已展現(xiàn)出強大的推薦能力。其應(yīng)用場景包括個性化筆記推薦、冷啟動筆記推薦、標(biāo)簽和類別生成等，能夠快速幫助用戶發(fā)現(xiàn)感興趣的內(nèi)容。對于新發(fā)布的筆記，該框架也能夠通過內(nèi)容相似性實現(xiàn)迅速曝光，打破傳統(tǒng)推薦系統(tǒng)的局限。

NoteLLM 不僅僅是一個筆記推薦工具，更是一個集成了多種先進(jìn)技術(shù)的智能系統(tǒng)，正在推動小紅書平臺的內(nèi)容推薦服務(wù)向更高水平邁進(jìn)。

項目地址：https://github.com/Applied-Machine-Learning-Lab/NoteLLM

標(biāo)簽：