能了解下 trace.moe 用的 Lire 处理一张图片平均需要耗时多久之类的指标吗？ 我在尝试学习 CBIR...想参考 trace.moe 做一个根据图片查找涩图原图/相似图的 API ~~Lire 似乎只能识别原图？从 trace.moe 的图片要求看鲁棒性好像不太行，所以没准备用但想参考下~~ 想参考下实际维护下来的可行性，以及技术栈和算力需要，现在用的 SIFT ~~啥都不会初学...高二学生实在看不懂~~ ~~owner 好像是在香港？抱歉直接用中文了~~
Activity
soruly commentedon Nov 4, 2023
需要多少運算資源完全取決於你的資料量。
LIRE 很快的, 尤其是只選用比較簡單的 ColorLayout 時, 用 7950X3D 處理 17500 張圖片(320x180px)只需要 1-2 秒。
如果你只得一萬幾千張圖，隨便一台十年前的電腦應該也足夠應付。另外也盡可能確保有足夠的記憶體把整個資料庫放在 RAM 裡, 或者使用超快的 nvme SSD 也可以。LIRE 的 ColorLayout image hash 每張大約佔用 210 Bytes.
然而 ColorLayout 只計算 global feature, 只能夠全畫面比對完整圖片, 不能像 SIFT 那樣計算畫面其中一部份的相似性。若果你例如想找出某圖片從哪裡「裁出來」的話, 就不建議用 ColorLayout 這種 global feature 的 image hash 了
當然 SIFT 需要的運算力比 ColorLayout 至少多幾倍，產生的 image hash 資料也更多。但若果你的資料量夠少的話，也許需求並不大… 我也很久沒踫 SIFT 了, 在這方面無法給你什麼參考數字……
z0z0r4 commentedon Nov 4, 2023
emmm，我现在在试着处理37部番剧里面的关键帧，用不同的算法
如果是全画面已经能满足了，但我还是想做头像识别这种，看这性能占用感觉成本会变得不低
只是这些小规模的角色识别我倒是可以不留余力地用 SIFT 或者更强的，但大规模我找不到啥公开项目做参考...
不知道该用什么才能满足需求，实在没推荐的话我尝试自己摸索看看
另外关于动漫这类的图像检索提取 hash 或者特征与实拍图片有什么不同之处吗，不清楚色彩和边缘这类有没有什么讲究之处？感觉与实景完全不同
比如采用更冒进的策略缩放原图再提取特征、降维之类？
动漫识别就根本没文献什么的可参考了...麻烦您了
soruly commentedon Nov 4, 2023
頭像識別可以看看 https://github.com/nagadomi/animeface-2009 但我目前還沒有見過大規模使用的項目
色彩上的特徵明顯，是其中一個 ColorLayout 能找到匹配圖片的關鍵，若應用在比較灰暗的真實圖片，效果會比色彩更鮮明的動漫圖片差。ColorLayout 不會分析圖片上的邊緣，所以目前 trace.moe 為了提升 hash 速度和 deldup 效率，hash 的時候會把所有影格縮小至 320x180。這相比使用 720p 來說，搜尋準確度也沒有明顯分別。但若果使用邊緣相關的算法，例如 Edge Histogram 的話，解像度太低就會有很大影響。
關於 ACG 相關的項目可以參考一下
https://github.com/soruly/awesome-acg
z0z0r4 commentedon Nov 11, 2023
感谢，我这边参考正在降低分辨率测试下识别效果🤔
z0z0r4 commentedon Nov 11, 2023
另外我想问问，看 docs 好像有写最新的 anime 6h 内能提供查询，话说这些片源是怎么获得的？有合作商？Leslie-Wong-H commentedon Feb 23, 2024
Cartoon Face Recognition: A Benchmark Dataset
https://arxiv.org/pdf/1907.13394.pdf
https://github.com/luxiangju-PersonAI/iCartoonFace