2024年12月5日～12月7日に、バリ, インドネシア／オンライン（ハイブリッド）にて開催された「The 19th International Conference on Knowledge, Information and Creativity Support Systems(KICSS2024)」において本研究室の冨澤 峻己さん（修士2年）が「Best Student Paper Award」を受賞しました。
[The 19th International Conference on Knowledge, Information and Creativity Support Systems(KICSS2024)]
◆ Shunki Tomizawa, Soichiro Yokoyama, Tomohisa Yamashita, Hidenori Kawamura: Proposal of a Haiku Evaluation Method Using Large Language Model and Prompt Engineering, The 19th International Conference on Knowledge, Information and Creativity Support Systems (KICSS2024), Online/ Bali, Indonesia, December 5 – 7 (2024)
Title:
Proposal of a Haiku Evaluation Method Using Large Language Model and Prompt Engineering
大規模言語モデルとプロンプトエンジニアリングを用いた俳句の評価手法の提案
Abstract:
In this paper we describe the development of a haiku evaluation system using Large Language Model (LLM). We propose several prompting methods for haiku evaluation and selection, and verify the performance of the proposed methods using an automatically evaluable haiku dataset. We also performed haiku evaluation and selection on a large haiku database containing over 100 million verses using the proposed methods and validated their effectiveness through a questionnaire survey of haiku poets. The main contributions of this paper are as follows. First, we investigated the effectiveness of the procedures for demonstrating the validity of a number of haiku rating systems, including the creation of rating datasets and the results of subjective ratings through questionnaires. Second, we investigated methods for conducting haiku evaluation using LLM and prompt engineering.
本稿では，大規模言語モデルを用いた俳句の評価システムの開発について述べる．俳句を評価・選択するための複数のプロンプティング手法を提案し，自動評価可能な 俳句データセットを用いて提案手法の性能を検証した．また，1 億句を超える大規模 な俳句データベースに対して提案手法を用いた俳句の評価・選択を行い，俳人へのアンケート調査により提案手法の有効性を検証した．本論文の主な貢献は以下のとおりである．第1 に，評価用データセットの作成とアンケートによる主観評価の結果を含む一連の俳句評価システムの有効性を示すためのプロセスの有効性を検討した. 第2 に，大規模言語モデルとプロンプトエンジニアリングにより俳句評価を行うための手法を検討した．
― 冨澤さんのコメント
この度KICSS2024という学会においてBest Student Paper Award を受賞することが出来ました。初めての国際学会参加、初めての英語発表ということもあり直前まで原稿や発表資料の作成を行っていました。直前までサポートしていただいた先生方と研究室のメンバーには非常に感謝しています。 また、本発表では有限会社 マルコボ．コムの方々にご協力いただき、数々のアドバイスやアンケート調査へのご協力を頂きました。関わっていただいたすべての皆さんに感謝申し上げます。また、現地では多くの教授をはじめとした様々な方と交流することができ、貴重なお話をすることができました。頂いた賞を励みにして、今後も研究活動に従事していきたいと思います。