「海賊版服裝」の克星生物特徴識(shí)別、図計(jì)算測(cè)定分析技術(shù)

背後にある考え方は、服裝の地域的表現(xiàn)の検索モデルに基づいて、畫像中の服裝に対して地域化の類似性學(xué)習(xí)と測(cè)定を行うことである。

この研究成果はCVPR 2020に収録され、Oral論文に選ばれている。

アリ安全図霊実験室によると、この作業(yè)はアリのオリジナル保護(hù)プラットフォームを用いて、タオバオ、天貓などのアリ系電子商取引プラットフォームにオンライン化され、権利侵害検査能力を提供する。

精緻化剽竊魔は1尺高く、偽道はどうして1丈高いのか。

アパレル分野では、休暇が続いているが、海賊版の盜作問題は依然として普遍的に存在している。しかもオンラインからオフラインにかけて、パクリの手口はますます意地悪になり、偽物を作る難易度は年々高まっている?，F(xiàn)在のところ、アパレル分野のパクリは3種類しかない。

第1類は畫像盜用に集中している。海賊版の使用者は通常、自分の店舗の透かしを図に追加したり、畫像処理（反転、拡大、分割など）を行ったりするなど、正規(guī)ブランドの商品図を使用したり、修正したりする権限を持っていません。

このような権利侵害のパクリはコストが低いが、プラットフォームの畫像検索システムにロックされやすく、迅速に「管理」される。

2つ目はアイデアの盜用で、不良業(yè)者はオリジナル業(yè)者の全體的な商品デザインとアイデアをそのままコピーし、同型または模倣型を作る。

このような権利侵害のコストはやや高いが、商品全體の類似度メトリックに基づく同検索アルゴリズムにより、リコールとガバナンスを行うことができる。

3つ目は、襟元のデザインを変更したり、胸にプリントしたレイアウトを変更したり、服の代金を変更したりするなど、服の一部の領(lǐng)域を修正することです。

しかし、下図のように正規(guī)ブランドの服のスタイルやデザイン要素（左側(cè)が正規(guī)版、右側(cè)が海賊版）をパクっており、「スター同型」として売られていることもある。

このような海賊版のコストは最も高く、従來の商品同型検索に基づくアルゴリズムにロックされにくい。通常、電子商取引プラットフォームは人手による審査でしか発見できず、偽造コストが高い。

では、このようなパクリ現(xiàn)象をシステムに自動(dòng)的にロックさせる方法はありますか。これがアリ安全図霊実験室の最新研究の方向だ。

これまで、彼らは屬性感知細(xì)粒度類似度學(xué)習(xí)方法に基づいて、服飾著作権アルゴリズムを提案して局所パクリをロックし、AAAI 2020に収録された。

現(xiàn)在、彼らはまた1つの新しい構(gòu)想を提出して、服裝の區(qū)域性表現(xiàn)の検索モデルに基づいて、畫像中の服裝に対して區(qū)域化の類似性學(xué)習(xí)と計(jì)量を行って、それによってより効果的な休暇を取ることを?qū)g現(xiàn)します。

　袖や襟まで正確な「海賊版衣類畫像」検索アルゴリズム

「海賊版衣料品」の定義は、オリジナルの衣料品のデザインとスタイルを全體的にコピーし、既存の同じ衣料品検索モデルでスクリーニングされた衣料品のサンプルから逃れるために1、2つの領(lǐng)域で修正することです。

アルゴリズム設(shè)計(jì)において、彼らは服裝のキーが導(dǎo)く領(lǐng)域注意メカニズムを提案した。

まず、襟、袖口、肩、脇など、服裝畫像の各キー位置に分布するポイントを予測(cè)するために、服裝キー推定ブランチを利用します。

各種類の服裝のキーの數(shù)と分布には一定の違いがあり、點(diǎn)數(shù)は1枚あたり25 ~ 40個(gè)程度である。これらのキーに基づいて、アルゴリズムは、襟、袖、胸、腰の領(lǐng)域など、服の畫像を複數(shù)の領(lǐng)域に分割することができます。

領(lǐng)域分割情報(bào)はROI Pooling思想に基づく方式で導(dǎo)入され、一體化された服裝畫像特徴は複數(shù)の領(lǐng)域化された特徴表現(xiàn)に解結(jié)合され、獨(dú)立して特徴類似度の學(xué)習(xí)と測(cè)定を行う。

同時(shí)に、服裝のキー結(jié)合領(lǐng)域化の表現(xiàn)は注意力メカニズムとして、畫像検索ネットワークに導(dǎo)入することができ、キー部位の特徴重みが向上し、非キー部位の重みが削減され、モデルのキー部位に対する判別力を向上させることができる。

アパレルキー推定ブランチと畫像検索ブランチは同じHR-Netバックボーンネットワークを使用し、その多段並列構(gòu)造はマルチスケール特徴を取得しながら高解像度を維持している。

損失関數(shù)の選択において、キー推定分岐は平均分散損失関數(shù)を採用し、検索分岐は區(qū)域化設(shè)計(jì)のトリップレット損失関數(shù)を採用した。損失関數(shù)の値はピクチャ範(fàn)囲全體の特徴triplet差分ではなく、各領(lǐng)域の特徴差分の累積結(jié)果である。

本文の方法の枠組みは下図のように、ネットワークはアパレルキー推定分岐とアパレル検索分岐に分けることができ、その中で検索ネットワークは同じアパレル検索と海賊版アパレル検索の2種類の出力形式を含む：

プラットフォームの権利侵害服裝サンプルの分析を通じて、アリ研究者は、異なる種類の服裝が海賊版になりやすい領(lǐng)域は異なることを発見した。そのため、服裝畫像の特徴の類似度測(cè)定過程だけをデカップリングするのは十分ではなく、また各種類の服裝の複數(shù)の領(lǐng)域に差異化の重みを設(shè)定し、重み付けされた領(lǐng)域類似性計(jì)算を行う必要があり、より多くの海賊版衣料品のサンプルをリコールします。

そのため、彼らはプラットフォームの海賊版服裝データに基づいて、「Fashion Plagiarism Dataset」というデータセットを構(gòu)築した。このデータセットでは、各グループの「オリジナル服裝」のquery畫像はgallery中の複數(shù)の「海賊版服裝」畫像に対応し、データは半袖Tシャツ、長袖上著、コート、ワンピースの4種類のサンプルをカバーしている。

彼らはこのデータセットで、Deepfashion 2データセット上で事前に訓(xùn)練された検索ネットワークに対してFine Tune訓(xùn)練を行い、Coordinate Ascentアルゴリズムを用いて異なる服裝カテゴリの各領(lǐng)域の重みを反復(fù)的に最適化し、損失関數(shù)の數(shù)値を低減した。

「海賊版服裝」は訓(xùn)練過程の損失関數(shù)を検索し、同様にトリップレット損失関數(shù)に基づいて設(shè)計(jì)された。最終的には、訓(xùn)練後の海賊版検索ネットワークは、上図のInputアパレル畫像に基づいてOutput中の緑枠內(nèi)の海賊版アパレルサンプルをリコールすることができる。

　　休暇の効果はどうですか。負(fù)けない、そしてそれまでのSOTAを超える

論文の実験部分では、アリ研究者はまず「Fashion Plagiarism Dataset」でアルゴリズムの「海賊版服裝畫像」検索能力を評(píng)価した。

論文で提案された方法のほか、彼らは2つの方法を設(shè)定して比較した：1つは伝統(tǒng)的な検索方法で、同じbackboneネットワークとTripletの損失関數(shù)を使用して、しかし區(qū)域化特徴學(xué)習(xí)と表現(xiàn)メカニズムを含まない、もう1つは地域化特徴発現(xiàn)機(jī)構(gòu)を含むが、非Fine Tune訓(xùn)練を用いて得られた地域重みであり、評(píng)価指標(biāo)はmAPである。

表の結(jié)果から、論文で使用された方法は各服裝カテゴリで最適な効果を得ていることがわかる。

上述の「海賊版衣料品検索」の評(píng)価実験のほか、Deepfashionシリーズのデータセットで衣料品のキー推定と、同型の衣料品畫像検索タスクの実験を行った。

アパレルのキー推定部分では、アリ研究者は現(xiàn)在最も複雑度の高いDeepfashion 2データセットで評(píng)価を行い、既存のMatch-RCNNと、CPN、Simple-Baselineなどの方法に比べて、服裝キー推定モデルは各サブセットで最高のmAP結(jié)果を得た：

同じ服裝検索実験では、FashionNetを選択し、Match?RCNN，PCBなどの方法を比較として、DeepfashionとDeepfashion 2でそれぞれ実験を行った。

その中で、Deepfashionは主にIn-shop検索シーンに対して、Deepfashion 2はConsumer-to-shopシーンに対して針を打った。評(píng)価指標(biāo)はそれぞれTop-N recallとTop-N accuracyであった。

結(jié)果：下図のように、アリの方法はDeepfashionデータセット上でSOTA方法に近い効果を得て、Deepfashion 2データセット上の結(jié)果は既存のbaseline方法より明らかに優(yōu)れている。

アリババ、浙江工商大學(xué)、アリババ-浙江大學(xué)最先端技術(shù)共同研究センターから5人の研究者が參加した。

文章の第1著者Yining Lang、第2著者Yuan He、第3著者Fan Yangはアリ安全図解実験室から來た。アリ安全図霊実験室の薛暉責(zé)任者は、文章の通信著者だ。浙江工商大學(xué)Jianfeng Dongも論文著者の一人だ。

阿里安全図霊実験室は2016年に正式に設(shè)立され、前身は阿里安全基礎(chǔ)アルゴリズムチームで、主に安全とリスク方面のAIシステムの研究開発に従事し、核心技術(shù)はコンピュータ視覚、自然言語処理、生物特徴認(rèn)識(shí)、図計(jì)算及び異常検出と分析などを含み、2018年までに50以上の特許を申請(qǐng)した。