国产三级网站在线观看_他也色在线视频_麻豆91在线播放_安眠药扒开女同学双腿玩弄_在线精品在线_97caopron在线视频

成果速遞丨ACM MM 2024:中科視語提出FiLo,實現工業場景零樣本異常檢測新突破

2024-07-30 16:42   來源: 互聯網

在工業生產和質量控制領域,異常檢測始終是一個關鍵問題。傳統的異常檢測方法通常依賴大量的正常樣本進行訓練,但在保護用戶數據隱私或應用于新生產線時,這些方法往往不適用。零樣本異常檢測在這種情況下應運而生,其目的是在沒有目標類別物體訓練數據的情況下,直接進行異常檢測。

近日,中科視語和中國科學院自動化研究所的研究團隊提出了一種新的零樣本異常檢測方法——FiLo。 FiLo方法通過細粒度描述和高質量定位模塊,在異常檢測和異常定位兩個方面取得了顯著的性能提升,在零樣本異常檢測工業場景中取得了業內最好性能。

現有的零樣本異常檢測方法通常依賴于多模態預訓練模型的強大泛化能力,通過計算圖像特征與手工編寫的表示“正常”或“異常”語義的文本特征之間的相似度來檢測異常,并根據文本特征和每個圖像塊特征的相似度來定位異常區域。然而,通用的“異常”描述往往無法精確匹配不同對象類別中的各種異常類型。此外,文本特征與單個圖像塊的特征的相似性計算難以準確定位具有不同大小和尺度的異常。

中科視語研究團隊提出的FiLo方法為了解決現有零樣本異常檢測方法在異常檢測和異常定位兩個方面存在的問題,提出了兩個有機結合的模塊:自適應學習的細粒度描述模塊(FG-Des)和位置增強的高質量定位模塊(HQ-Loc):

自適應學習的細粒度描述模塊(FG-Des)主要利用大語言模型(LLMs)的強大知識來生成每個物體類別可能出現的細粒度異常類型,并采用自適應學習的文本模板替代手工編寫的文本內容,提高了異常檢測的準確性和可解釋性。

位置增強的高質量定位模塊(HQ-Loc)利用Grounding DINO進行初步定位,并通過位置增強的文本提示和多尺度、多形狀的跨模態交互模塊(MMCI)來準確定位不同大小和形狀的異常。

結合了 FG-Des 和 HQ-Loc 兩個模塊的 FiLo 方法的整體結構如下圖所示:

FiLo首先通過大語言模型(LLMs)生成每個類別可能存在的細粒度異常類型列表,然后將細粒度異常描述填入可學習的文本模板中,通過 CLIP 文本編碼器后得到表示“正常”和“異常”語義的文本特征。與此同時,FiLo還將待檢測圖像和大語言模型生成的細粒度異常描述內容輸入到Grounding DINO中,以獲得初步的異常定位框,并將初步定位框的位置信息也添加到文本特征中。

接下來,FiLo將待檢測圖像輸入到CLIP圖像編碼器以提取中間層特征,這些特征通過多尺度、多形狀的跨模態交互模塊(MMCI)與含有位置信息的文本特征交互,生成異常分數圖。最后綜合各中間層的異常分數圖,即可得到最終的異常圖和全局異常得分。

通過這種方法,FiLo能夠充分利用LLMs的強大先驗知識和Grounding DINO的初步定位能力,再結合MMCI模塊的多尺度、多形狀特征交互,有效提升了異常檢測的準確性和精確定位的能力。

基于上述方法結構,FiLo研究團隊在目前流行的 MVTec-AD和VisA兩個工業異常檢測數據集上進行了實驗,與現有零樣本異常檢測方法相比,FiLo取得了最先進的性能,實驗結果如下表所示:

下圖還展示了FiLo在一些實例上的異常檢測和定位結果,可以發現相比于 CLIP 的原始輸出,經過 Grounding DINO 的定位框篩選和MMCI的多尺度交互后,FiLo 能夠更加準確地定位出異常位置。


除此之外,通過查看與圖像特征最相似的細粒度異常描述中的內容,我們還可以知道圖像中存在的具體異常種類,為模型的判斷提供了依據,提高了模型決策的可信度和可解釋性。

FiLo論文已經被人工智能和多媒體領域頂級會議 ACM MM 2024 接收,論文預印版已發布于 Arxiv 上,并開源了相關代碼。

研究團隊認為,現有異常檢測方法往往只注重判斷圖像中是否含有異常,而不重視異常的具體內容,通過借助大語言模型的豐富知識,后續研究可以增強異常檢測方法對具體異常類型的判斷,增加方法的實用性和可信度。

論文地址:[2404.13671] FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

https://arxiv.org/abs/2404.13671

代碼地址:

https://github.com/CASIA-IVA-Lab/FiLo



責任編輯:Linda
分享到:
0
【慎重聲明】凡本站未注明來源為"大眾時報網"的所有作品,均轉載、編譯或摘編自其它媒體,轉載、編譯或摘編的目的在于傳遞更多信息,并不代表本站贊同其觀點和對其真實性負責。如因作品內容、版權和其他問題需要同本網聯系的,請在30日內進行!
網站地圖 關于我們 免責聲明 投訴建議 sitemap

未經許可任何人不得復制和鏡像,如有發現追究法律責任 粵ICP備2020138440號

主站蜘蛛池模板: 亚洲人成人网站色www | 欧美高清熟妇啪啪内射不卡自拍 | 欧美VIDEOS巨大HD | 国产精品无码a∨果冻传媒 欧美人与ZOXXXX乱叫 | 亚洲AV中文无码乱人伦在线R▽ | 成人片又黄又爽免费视频 | 国产未成女一区二区 | 女人和拘做受大片免费看 | 精品日韩欧美一区二区 | 无码裸模视频在线观看 | 国产原创三级 | 国产乱码精品一区二区三区麻豆 | 中文字幕一二三区在线观看 | xxxxwwww欧美 | 成人无码视频免费播放 | 夜鲁夜鲁夜鲁视频在线观看 | 亚洲一区日韩精品中文字幕 | 色综亚洲国产VV在线观看 | 日韩激情无码不卡码 | 无码性午夜视频在线观看 | 亚洲动漫精品无码AV天堂 | 日本真人无遮挡啪啪免费 | 久久久久有精品国产麻豆 | 国产成人亚洲综合色 | 免费看黄色影片 | 国产欠欠欠18一区二区 | 亚洲一成人高清一区二区三区 | 日本高清免费在线观看 | 婷婷综合久久狠狠色 | 久久97超碰色中文字幕蜜芽 | 给我看免费播放的视频 | 久精品国产 | 轻点好疼好大好爽视频 | 丰满气质白嫩少妇呻吟高潮 | 琪琪SEE色原网色原网站18 | 日本 在线播放 | 日本久久久久久久做爰片日本 | 尹人香蕉久久99天天拍久女久 | 激情内射日本一区二区三区 | 久久久久亚洲AV色欲AV | 欧美日韩一区二区三区在线观看视频 |