大規模言語モデル講座 応用編 2025 Autumn - 東京大学松尾・岩澤研究室（松尾研）- Matsuo Lab
2025/11/19(水) AM10:00 まで!!!
社会人枠もあります。自分は前年に参加してとても良かったのでおすすめしています。
今年は内容がボリュームアップして基礎編と応用編に分かれていて、基礎編はもうすぐ終わりそう、応用編に続きます。
各社の LLM API を雰囲気で利用していて、理解が足りてないな、もどかしいなと感じて応募したのですが、そういった Web エンジニアの方々は多くいるのではないでしょうか。
自分は参加以前から LLM を利用した新規事業に携わっていて、業務でモデルをチューニングする機会は未だないけど、LLM の仕組みを理解していることが役に立つ機会はよくあります。
前年の講義スライドは公開されている。
LLM 大規模言語モデル講座2024講義スライド - 東京大学松尾・岩澤研究室（松尾研）- Matsuo Lab
あ、応募に名刺が要る気がするな、締切2日前に言われても準備できないかもな、まあいいか
2024 年講義の最終課題コンペで優秀賞を頂きました
自分は去年の講義に参加させて頂いて、一般8位、コントリビューション3位の優秀賞を頂きました。この自慢をする機会を逸し続けていた。
講義の内容も良かったのだが、特に自分で手を動かす機会としてコンペがあったのは良かったです。
最後に受講生同士で競争するコンペがあり、LLM をチューニングして性能を競います。コントリビューション部門はコミュニティへ公開した記事のリアクション数で順位付けされます。約 3000 人が参加し、提出までいけてたのは 1300 人ほどだったかな?
コンペの内容は
- 事前学習済みモデルを訓練し ELYZA-tasks-100 の改変版に対し高いスコアを出す LLM を開発する
- 2024年9月以降の日本のテレビ番組内容で各タスクのトピックを置き換えて若干難易度を上げたもの
- 制約として、
- 利用可能な事前学習済みモデルは LLM-jp-3 または Gemma2 (自分で事前学習しても良い)
- L4 GPU 1 枚の環境で 1 時間以内に 100 問に回答
- モデルが公開可能であること(データとモデルのライセンス遵守)
- 予選は自動評価、決勝は参加者による評価
というものでした。
自分は、
- gemma-2-9b をベースに継続事前学習 → SFT → DPO したものをメインに使う
- Gemma がことわざ・慣用句などの日本語文化問題に弱かったので、llm-jp-3-13b を SFT したものをサブモデルに用意
という構成で勝負。
問題文からルーティングする分類器を作るつもりだったけど、これ問題文のバリエーション無いなと思ったので正規表現で済ませたり、締め切り直前に苦手な問題の学習データを自分で作ってみたり pokutuna/tasks-ime-and-kakko-jp、人間の目視評価ってことは TeX 記法や Markdown が丸出しなのは見栄え悪いよな...と思って置換してみたり、意味あることもないことも色々試す機会になって楽しかったです。
最初は GPU 代を払うことにケチケチしていたけど、
社会人にあって学生にないもの、それは金...
H100 は $2.39/hr...
平日昼のカラオケ代程度で 500 万の GPU が使える...安すぎる...
自分の時間のほうがよっぽど貴重のはずだ... と念じながら RunPod に円を注入することを覚えました。
個人的に衝撃を受けたのが表彰式 & 懇親会で、めちゃくちゃ色んな人が来ていたことですね。
高校生から60代、寝たきりの方、仕事で LLM 訓練している人、研究者、医師まで居て、属性が多様すぎる。
充分に人が集まって、ある面で公平に競争したらこうなるのかみたいな。間口も広く参加者のレベル感やコンペの問題設定も良い感じだったのだと思います、Kaggle トップ層バトルなら自分はこの順位に居ないだろうし。なんか多様性について考えさせられる出来事だったな。
たった 1 年前の話なのに AI の話題が色々ありすぎてもう懐かしい。
claude-dev が Cline に名前が変わったのもコンペの頃で、コーディングエージェントが普及する前の最後のコンペという風情だった。コンペ終〜表彰式の間に DeepSeek-R1 が出たりしたのも面白かったな、今同じタスクをやったらアプローチで取り組むことになりそうですね。
これは当時のな〜〜んにもわからないところからスタートした際のメモ書き、下から上に書いてある。
今読むとコイツ何も分かってないなと。
2024/11 LLM チューニング日記 - pokutuna
ちょうど Twitter で盛り上がっている話題として
松尾研発スタートアップ - 東京大学松尾・岩澤研究室（松尾研）- Matsuo Lab
胡散臭いと思われる理由の1つとして、講座を受講しただけで「松尾研卒です!!」みたいなこと言ってる例はたまにあるよな...
毎年 3000-4000 人が参加していてそういうこともある、自分はその間口の広さによって良い経験をさせてもらえたので、不届き者をシバきつつ今の感じで続いてほしいなと思います。
