1: 名無しのAIウォッチャーさん 2025-07-31(木) 10:00:00.00 ID:AbcDefGhI 最近のLLMって文章生成とか会話とかヤバかったけど、ついに数値予測まで手出し始めたらしいぞ！？ しかもGoogleが公式発表。なんか「Regression Language Model (RLM)」とかいう新概念らしい。 ソース：Simulating large systems with Regression Language Models

特徴量エンジニアリングが不要になるとか、マジで革命じゃね？ワイ、震える((((；ﾟДﾟ))))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ

2: 名無しさん＠おーぷん 2025-07-31(木) 10:01:35.22 ID:JklMnoPqR >>1 ファッ！？テキストから数値予測って、なんかSFみたいやんけ！ 今までテーブル形式じゃないと無理ゲーだったのが、文字列そのままでいけるってこと？草生えるわｗｗｗ

3: 名無しのAI研究員さん 2025-07-31(木) 10:03:10.05 ID:QrsTuvWxE >>1-2 説明しよう！ これまでの回帰分析は、入力データが「表形式」で数値ベクトルであることが前提だった。だから、複雑なログとか設定ファイルとかをわざわざ数値に変換する「特徴量エンジニアリング」っていう超絶めんどくさい作業が必要だったんだ。 しかし、この「Regression Language Model (RLM)」は、入力状態（x）をYAMLとかJSONみたいな「構造化されたテキスト文字列」として読ませて、そのまま出力（y）も数値の文字列として吐き出すんだ。つまり、テキストを直接読んで数値を予測する。これはマジで画期的だ。

　　　　　　　 　　　　　　 　 ,j;;;;;;l
　　　　　　　　　　　　　 　 ,f`ヽ`l
　　　　　　　　　　　　　 　 ll `j;;;;!
　　　　　　　　　　　　　 　 l! `j;;;!
　　　　　　　　　　　　　 　 f^ー'!
　　　　　　　　　　　　　 　 li;;;;;;;!
　　　　　　　　　　　　　 　 li;;;;;;;!　　　　説明しよう！！
　　　　　　　　　　　　　 　 l!;;;;;;;;!
　　　　　　　　　　　　　 　 l!;;;;;;;;l
　　　　　　　　　　　　　 　 l!;;;;;;;;l
　　　　　　　　　　　　　 　 l!;;;;;;;l
　　　　　　　　　　　　　 　 l!;;;;;;;l
　　　　　　　　　　　　　 　 l!;;;;;;l
　　　　　　　　　　　　　 　 l!;;;;;l
　　　　　　　　　　　　　 　 l!;;;;l
　　　　　　　　　　　　　 　 li;;;l
　　　　　　　　　　　　　 　 l!;;l
　　　　　　　　　　　　　 　 l! l

4: やらない夫 ◆YaranaiO.0 2025-07-31(木) 10:04:55.77 ID:UvwXyzAbC >>3 ふーん、まあ分からんでもないが、そんな簡単にいくか？ テキストってことは冗長性とかノイズとか半端ないだろ。 結局、内部でまた複雑な処理してるだけじゃないのか？やらない夫は疑うぞ。

5: ひろゆき＠考える人 2025-07-31(木) 10:06:30.11 ID:HiroYukiD >>3-4 それって、あなたの感想ですよね？ 結局、精度が問題なんじゃないですかね。 あと、どんなデータで学習させたんですか？なんか特定用途でしか使えないとか、そういうオチなんじゃないですか？ ちなみ、ソース元の記事、全部読みました？( ﾟДﾟ)

　　　 　　　　＿＿＿_
　　　 　　／　　 　 　＼
　　　　／　 _ノ 　ヽ､_　 ＼
　　 ／ oﾟ(（●）) (（●）)ﾟo ＼ 　
　　 |　　　　 （__人__）　　　　 |　
　　 ＼　　 　 ｀ ⌒´ 　 　 ／
　　ノ　　　　　　　　　　 　 ＼
　

6: やる夫 ◆Yaruo.Abc 2025-07-31(木) 10:08:05.43 ID:DefGhIJkl >>5 ちゃんと読んだお！Googleの超巨大インフラ「Borg」の資源効率予測で使ってるんだお！ MIPS per GCUっていう超重要な指標を予測してるんだって！精度もめちゃ高いって書いてあったお！

やる夫は信じるお！これがマジなら、どんなシステムでも効率予測できるってことだお！ 夢が広がるおー！(≧▽≦)

　　　 　　＿＿＿_
　　　　／　　 　 　＼
　　 ／　─　 　 ─　＼
　／ 　 （●） 　（●）　 ＼
　|　 　　 （__人__）　　　　|
　＼　　　 ｀ ⌒´　　 ／
　　ノ　　　　　　　　　＼
　／´　　　　　　　　 　　｀＼

7: 永遠の初心者さん 2025-07-31(木) 10:09:40.88 ID:MnoPqRsTu >>6 MIPS per GCUって何ですか？(´・ω・｀) あと、YAMLとかJSONって何ですか？プログラムのこと全然分からないです…

8: 名無しのAI研究員さん 2025-07-31(木) 10:11:15.01 ID:QrsTuvWxE >>7 MIPS per GCUは、Googleの計算資源「GCU（Google Compute Unit）」あたりで処理できる命令数（MIPS）のことだよ。つまり、どれだけ効率的に計算機を使えているかを示す指標だね。これが高いほど、無駄なく資源を使えているってこと。 YAMLもJSONも、コンピューターがデータを読み書きしやすいように整形されたテキスト形式だよ。設定ファイルとかでよく使われるんだ。プログラムの知識がなくても、RLMはそれを「読む」ことができるのがポイント。

9: 名無しさん＠おーぷん 2025-07-31(木) 10:12:50.33 ID:VwxYzAbcD つまり、設定ファイルいじったら、どれくらい速くなるかとか、事前に予測できるってことか？ しかも、精度だけじゃなくて、不確実性（確率分布）も予測できるって書いてるな。 「MIPS per GCUのバラつきもわかる」って、これヤバない？ 計画段階でリスクも考慮できるってことやん。

10: 名無しのエンジニア 2025-07-31(木) 10:14:25.66 ID:EfGhIJklM >>9 せやで。ただの点予測じゃなくて、「この設定だと、だいたいこれくらいの性能になるけど、最悪だとここまで落ちる可能性もあるよ」って分布で見せてくれるらしい。 不確実性が高い場合は予測の幅が広がるから、「あ、これはまだシミュレーションに頼った方がいいな」って判断もできると。 計算リソースの最適化に革命が起きるでこれは。Googleが本気出すとヤバいわホンマ。

11: クマー 2025-07-31(木) 10:16:00.00 ID:KumaKumaM バグで予測ミスしてシステム暴走したらクマー！ (´(ｪ)｀)

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 　 　 　 ＿＿＿
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 　 　 ／ノ '　 ヽ＼
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 　 ／ （ ●） （●） ＼
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 ／　　 （__人__）　　　 ＼
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 |　　　　 |!ﾜiﾘ　　 　 　 |
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 ＼　 　 ｀ー´　　 　 ／
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　 　 　 　 　 　 　 　 　 　 　 　 　 ＼

12: 名無しさん 2025-07-31(木) 10:17:30.99 ID:NopQrsTuv >>11 クマーも来るレベルかよｗｗｗ でもこれ、モデルサイズ60Mパラメータって書いてたし、結構コンパクトなんだよな。 そんなんでGoogleクラスのシステム予測できんの？逆にそれが怖いわ。

13: 名無しのAIウォッチャーさん 2025-07-31(木) 10:19:05.14 ID:AbcDefGhI >>12 マジかよ、60Mでいけんの？ Transformer系でそれってかなり小さいよね。 これ、オープンソースライブラリも出してるらしいから、みんなで試してみる価値ありそうじゃん！ ワイもこれで株価予測とかできないかなぁ…(遠い目)

14: 名無しさん＠おーぷん 2025-07-31(木) 10:20:40.77 ID:WxyZAbcDe >>13 株価予測は無理ゲーやろｗｗｗ でも、自分のとこのシステムログ突っ込んだりしたら、面白いことになりそう。 SREとかインフラ系エンジニアは注目すべき技術やな。

15: 名無しさん 2025-07-31(木) 10:22:15.00 ID:FghIJklMn 結局、精度がどのくらい出てんのか、散布図見てこい。 スピルマンの順位相関係数、ほぼ1に近いやんけ。 点予測もバッチリってことやろ。 特徴量エンジニアリングとかいう苦行からの解放、まじでありがとうGoogle。

---

まとめ

今回のGoogleの発表した「Regression Language Model (RLM)」に関するスレッドをまとめると、以下の点が注目されました。

1. テキストからの直接数値予測の実現: 複雑なシステムの設定ファイルやログといった「テキスト情報」を、従来の「表形式データ」に変換することなく、直接数値予測（回帰）ができるようになった点が最大の革新。これにより、時間と労力がかかる特徴量エンジニアリングが不要になる。
2. 不確実性の定量化: 単なる点予測だけでなく、予測値の確率分布（密度）も捉えることが可能。これにより、予測の信頼度を把握し、不確実性が高い場合にはより慎重な判断や別のアプローチへの切り替えが可能になる。
3. Google Borgでの実績: Googleの巨大な計算インフラ「Borg」の資源効率（MIPS per GCU）予測に応用され、その高い精度が確認されている。これにより、大規模システムのシミュレーションや最適化に大きく貢献すると期待される。
4. 効率性と汎用性: 比較的小規模な60Mパラメータのモデルで高い予測精度を達成しており、さらに新しいタスクへのFew-shot適応能力も持つ。オープンソースライブラリも公開されており、幅広いユースケースでの活用が期待される。
5. 未来への示唆: システムシミュレーションのあり方を変えるだけでなく、AIが「経験」を数値的なフィードバックとして学習する新たな道を開き、強化学習の次世代ブレイクスルーにも繋がる可能性が指摘されている。

システム運用やAI開発に携わる者にとって、まさに「時代の転換点」とも言える技術革新。今後の動向から目が離せないでしょう。