大規模言語モデルの事後学習におけるタスク間干渉の解明と制御
大規模言語モデルは事後学習によって多様な能力を獲得できるが、複数のタスクを学習すると、一方の性能向上が他方の性能低下を招くタスク間干渉が生じることがある。ところが、タスク間干渉が発生するかどうかは、実際に学習を行うまで分からないのが現状である。本研究は、学習データがタスクに寄与・干渉度合いを事前に予測し、その結果に基づいて干渉を制御する新…
Kurage 論文トラッカー|東海・関東の大学の研究者
東京科学大学 科研費の研究 2件(生成AIと行政DX)
このシステムを作った会社が、御社の X の運用をお手伝いします。AI-SNS顧問を見る →
Kurage 論文トラッカー › 生成AIと行政DX › Ma Youmi
大規模言語モデルは事後学習によって多様な能力を獲得できるが、複数のタスクを学習すると、一方の性能向上が他方の性能低下を招くタスク間干渉が生じることがある。ところが、タスク間干渉が発生するかどうかは、実際に学習を行うまで分からないのが現状である。本研究は、学習データがタスクに寄与・干渉度合いを事前に予測し、その結果に基づいて干渉を制御する新…
大規模言語モデル (LLM)、およびそれを小型化した小規模言語モデル (SLM) の性能は、モデルのアーキテクチャや学習方法よりも、学習データの品質に左右される。本研究ではLLMにとって教育的価値の高い(=能力を高めやすい)学習コーパスの特質を分析し、その知見に基づいて学習コーパスを構築する。また、そのコーパスを用いてSLMを学習し、モデ…
研究者の情報:CiNii Research の研究者ページ
研究の内容と国会の議論は、テーマが同じものを並べています。研究者ご本人が国会で発言したという意味ではありません。
出典:CiNii Research・KAKEN(国立情報学研究所)、国会会議録検索システム(国立国会図書館)。掲載内容の訂正・削除のご依頼はお問い合わせからお送りください。