進化を続ける NLG （自然言語生成）について概観：ビジネスを自動化し、DXを加速させ、文書の持つ深淵に迫る

"Bios robotlab writing robot" by Mirko Tobias Schaefer under CCA2.0

本記事は、2020年10月に執筆したNLGに関する記事で、現在の生成AIにつながるポテンシャルを論じています。生成AIに関しては以下の記事を参照ください。

AIの驚異的な進化とNLP

AI、特に機械学習・深層学習ベースのAIは様々な領域で驚異的な性能を達成し、成果をもたらしています。当初は、CV（Computer Vision： 画像認識）の分野で著しい進歩がありましたが、近年は、言語を扱うNLP（Natural Language Processing： 自然言語処理）の分野において、目覚ましい進化を遂げています。

NLPに関連して、現在、NLG というキーワードが語られることが増えてきました。NLGは、NLPの中で新しく意識され始めているサブカテゴリーです。

NLG（自然言語生成）とは

NLGは、Natural Language Generation の略で、自然言語生成を意味します。自然言語を用いた AIを実現する基礎技術の一つと位置付けられ、意味の通る自然言語のフレーズや文章を生成する一連の処理にまつわる技術分野です。入力されたデータに基づいて、文章の要約を行ったり、叙述したり、詳説したりします。テンプレートやルールに基づいて専門文書を作成する等が伝統的な応用ですが、フリーな形式でまさに人が喋っているような語り口を自動的に生成するアプリケーションも存在します。チャットボットによる応答のコア技術となるケースもあります。

以前、創造性を持ったAI （Creative AI）というトレンドのその原動力となっているGAN（敵対的生成ネットワーク）に関する記事を書きました。

本記事では画像の生成を主題としていたわけですが、NLGはこの Creative AI の言語版、文書版と言えます。

そして、NLPの一分野であり、人間の言葉を解釈し、非構造のデータをコンピューターに理解可能な構造化されたデータに変換する技術であるNLU（Natural Language Understanding）と連携し、読むことと書くことの両輪を実現することができます。これにより、適用が進むRPAに加えて、多くの人手を要した複雑な業務を自動化し、DXを更に進めていくことが期待されています。

NLGの応用領域

NLG の応用領域は、文書作成の全てに及びます。例えば、会議の議事録、データに基づく財務報告書、CTRを高める商品説明文。それらの文書の作成を部分的に助ける、補完する、あるいはアプリケーションによってはそのもの完全な形で作成する、等があります。

広告のキャッチコピーを生成する例もあります。以下は、電通によるAIコピーライターAICOの説明です。

実は、ECにおいてもNLGはポテンシャルがあります。以前、筆者が楽天技術研究所にいた際に、スタンフォード大学のNLP研究の第一人者である Prof. Dan Jurafsky とより商品の販売に効果的な商品説明を分析し、商品説明文の効率的な作成を助けるという研究を行っていました。

この研究をベースに、実際に商品説明文を自動生成するというプロジェクトも行っていましたが、これもNLGの応用の一つになります。

更には、小説を書かせるというテーマへのチャレンジもあります。単純に形式として文書が成立しているだけでなく、話の筋として面白いのかどうか等、より文化的、心情的な部分も問われます。

このように、NLGはビジネス的にも活用範囲は広いのですが、同時に、AI研究としての理論的側面も持ちます。コンピューターサイエンスやエンジニアリングの領域だけでなく、認知科学や心理言語学の分野においても意義のある応用研究でもあります。

NLGはビジネスを自動化させ、拡張していく

ビジネスへのNLGの適用を考えたときに、その価値は単に文書を作成することのみに留まるものではありません。例えば、業務の自動化を推し進めるものとしての使い方は、NLGのビジネスにおける効果的な活用の一つです。RPAを適用し、業務プロセスを自動化させる試みはここ数年盛んでしたが、それでも例えば、プロセスの途中でレポートや何かしらの文書を作成したりするステップがあるがゆえに、完全な自動化が行えなかったというケースは少なくありません。そこに、NLGの文書作成のコンポーネントを導入することで文書作成を効率化・自動化させることで、RPAが自動化をカバーできる領域を広げることが可能です。

また、既存の業務の効率化だけにとどまらず、今まで、業務リソースの問題から行うことができなかったサービスも、NLGの導入によってその可能性が拓けます。例えば、文書のパーソナライズです。これまで、アナリストからのデータをとりまとめてレポートを作成していたケースにおいて、大量のデータの取りまとめと理解のための読み込み、そこからの文書の構成と内容を決めてからの執筆による作成の工数が非常に大きく、作成できるレポートは全ての想定読者に向けた一般的・汎用的な内容の一種類のみに留まっていたということもあるでしょう。ですが、もし、NLGの適用を行うことができたのなら、想定読者一人ひとりの好みや課題に向けてカスタマイズされた内容のレポートを大量に作成することも不可能ではなくなります。文書を介した顧客とのコミュニケーションが完全にパーソナライズされた際のビジネス効果は極めて大きなものとなるでしょう。

NLG の技術的な姿

NLGは従前、人間の文章を模倣しようという試みの中で、読者、文脈、話題の意図に応じて、文章の構造やスタイル、叙述のトーンを変えていくのに、様々な手法やテクニックを用いてきました。NLGを実現するためには、基本的には、以下の３つの段階が必要となります。

文書作成のプラニング： 何が書かれるべきかを決め、その文書の構造を示すアウトラインとなる抽象的な文書を作成します。

プランの詳細化：参考となる表現をベースに語彙を選択し、具体的な文書の要件を作成して提示すします。

文書の生成：文書の要件から、ドメイン知識や専門用語も用いた上で、実際の文書へと置き換えていき、最終的な文書を生成します。

この３つの段階は、NLG の処理においては一続きに実行されますが、それぞれの段階において必要とされる技術群は異なり、多岐に渡ります。それゆえ、NLGは特定の技術というよりは、幅広い技術を組み合わせたアーキテクチャという側面が強くなります。

NLG の２つのアプローチ

文章の生成に向けた主要なやり方は二つあります。テンプレートを用いる方法と、動的に文書を生成するアプローチです。テンプレートを用いる方法は歴史が長く複雑かつ高度なソリューションも存在します。動的に生成するアプローチは、機械学習ベースのものとなりますが、近年の深層学習ベースの高度な言語モデル（BERT、GPT-3）の登場により、俄然注目が高まっています。

テンプレートを用いる方法

伝統的なアプローチの一つはテンプレートを使った方法です。予め定義された構造といくつかのデータを埋めていくための空欄を持った文書（テンプレート）を用意し、そこにデータを埋めていくことで文書を作成します。テンプレートに、エクセルやデータベースから取得した値を入れることで自動的に文書が完成するため、RPA との相性もよいです。ですが、構造や表現を豊かにするためにはテンプレートを複数用意したり、プログラムをビジネスルールに合わせて複雑にしたりする必要があります。

スクリプト言語を介して汎用的なプログラミング構造で拡張する方法等もあります。スクリプトアプローチは汎用スクリプト言語の中にテンプレートを埋め込むので、複雑な条件式やループ、コードライブラリへのアクセス等が可能になりますが、ビジネスルールを記述する方法に比べると技巧的すぎるきらいがあり、保守性に欠けるという課題が出てくるかもしれません。

テンプレートを用いる手法は、様々な技術との組み合わせにより、非常に高度な文書の作成も可能です。2017年4月に、日本経済新聞社が、AI記者による決算サマリーの自動生成に着手しましたが、こちらもテンプレートアプローチでした。

動的に文書を生成するアプローチ

動的に文書を生成する手法としては、古くはマルコフ連鎖や隠れマルコフモデルを用いたアプローチがありました。 現在の単語を使って、それぞれのユニークな単語の関係を考えて、次の単語の確率を計算し、そうすることで文章における次に来るべき言葉を予測します。古くはスマホのキー入力において文中の次の単語の候補を生成するのに使われていましたが、これもNLGの構成要素の一つとして捉えることができるでしょう。

現在は、機械学習ベース、深層学習ベースのAIモデルを活用するのが主流になっています。近年の深層学習ベースの言語モデル研究の進展は非常に目覚ましいものがあり、日々驚くべき成果が報告されています。大量の文書データを学習させていくことで、語彙、順序、接続詞の適用、等様々な面で言語学的に最適なアウトプットを目指します。

RNN（Recurrent Neural Network）は、言語の抽象的な流れ（つまり、文脈）に対処するすることができ、NLGの技術開発を進化させました。RNNは前の単語をメモリに保存し、それらにより次の単語の確率を計算できるため、文脈を踏まえた文章生成に効果的でした。ですが、単語の保存には制限があるため、文脈を踏まえた長文の生成には今ひとつというところもありました。

そこで、RNNの欠点を解消し、長期の時系列データを学習することで長期の文脈を考慮できる 強力なLSTM （Long Short-Term Memory）が試されるようになりました。LSTMは任意の時間間隔で単語を覚えることができます。それだけでなく、文脈が変化する可能性がある場合、その単語を忘れることもでき、これにより、関連する情報のみを選択的に追跡しながら、長い文の構成においても適切な文章を生成できる道を開きました。

2017年に学習に必要な計算量が少ない、単語間の関係を直接的にモデル化する自己アテンションメカニズムを持つ Transformer が登場し、NLGの精度を飛躍的に向上させました。

言語生成用途のTransformer の代表的かつ最先端の事例は、Google による双方向エンコーダ表現であるBERT、OpenAI による言語モデル GPT-2と、その進化系の GPT-3 です。BERT、GPT-2 は翻訳、質問と回答、要件に従った文書の生成に向けて、極めて高い精度のモデル構築を可能にさせ、世界中の研究者、エンジニアを驚かせました。GPT-3 に至っては、プログラムの仕様を渡すとそれに基づくプログラムのソースコードを生成する使用例まで報告されており、今後の展開に熱い視線が注がれています。

NLG 商用製品・サービス

現在は、学習データが確保できるのであれば、深層学習ベースのモデルを自力で構築することもそれほど難しくはありませんが、実際のビジネス適用を考えたときは、商用製品・サービスを用いるのが手っ取り早く、ROIもよいでしょう。

例えば、Wordsmithは50以上の業種において使われているNLGツールで、英語、スペイン語、ポルトガル語、中国語、日本語、アラビア語等、20以上の言語での文書生成を可能にします。テンプレートベースのアプローチを中心としており、商品の仕様に関するデータがあれば、商品説明の文章を作成でき、売上データがあれば、売上分析報告書を自動で作成します。

AX Semanticsは、100以上の言語に対応したEC、ニュース記事、データレポーティング（BIや財務報告書等）のNLGサービスを提供しています。機械学習ベースのアプローチであり、プラットフォーム上のNLPエンジンをトレーニングさせていく開発者向けのものとなっています。

終わりに

以上、NLG について概観しました。NLGはその適用範囲が広く、またRPAや各種システムとも連携し、自動化領域を広げ、DXを後押しします。それだけでなく、更にビジネスを拡張させるポテンシャルを持ち、また近年の深層学習ベースの言語モデルの進化の恩恵を受け、今後ますます発展していく途上にあります。かつては果てしなく長い道のりと思われたあらゆる文章生成のための汎用的な言語モデル構築の世界も、今においては、Transformer を発展させた BERT、GPT-２、GPT-3 の登場によって近い将来に確実に到達するステップとして認知されています。

文書は図やイラスト等のビジュアルや、数値等のデータとは異なり、複雑な構成と流れを持つ、洞察に満ちた存在です。ビジネス文書として、会議の議事録として、営業のレポートや、財務のレポートとして。広告のコピーとして、ニュース記事として、ECの商品説明文として、チャットボットの応答として、そして小説として。NLGがますますその応用範囲を広げ、文書の持つ、その深遠な世界をどこまで生成できるか、目が離せません。