今日は Transformer 論文「Attention is All You Need」の発表 6 周年記念日です！
興味深い事実：
⭐️ Transformer は注意機構を創造したわけではありませんが、それを極限まで推し進めました。注意機構に関する最初の論文は 3 年前（2014 年）に発表され、タイトルは目立たないものでした：「共同学習による整列と翻訳を通じて神経機械翻訳を実現する」、著者は Yoshua Bengio の研究室です。この論文は RNN と「コンテキストベクトル」（すなわち注意）を組み合わせています。多くの人はこの論文を聞いたことがないかもしれませんが、自然言語処理分野における最も重要なマイルストーンの一つであり、すでに 29,000 回引用されています（対照的に、Transformer は 77,000 回引用されています）。
⭐️ Transformer と最初の注意論文は、汎用シーケンスコンピュータについては言及していません。むしろ、それらは狭く特定の問題、つまり機械翻訳を解決するために考案されました。驚くべきことに、AGI（将来の人工知能の汎用知能）は、謙虚な Google 翻訳に遡ることができます。
⭐️ Transformer は 2017 年に世界最高峰の人工知能会議 NeurIPS で発表されました。しかし、口頭発表すらされず、賞も受賞しませんでした。その年の NeurIPS では 3 つの最優秀論文があり、現在までに合計 529 回引用されています。
転載元 ->
https://twitter.com/drjimfan/status/1668287791200108544?s=46&t=J5tuuFL7Z3qsWetu4lBIXg