【驚愕】LLMの嘘つき癖、全レイヤー使うだけで治るってマジ！？Googleの新技術「SLED」爆誕！
1: 名無しのAIウォッチャーさん 2025-09-17(水) 10:00:00.00 ID:SLEDIsGOD おいお前ら！Googleからまたとんでもない技術が発表されたぞ！ LLMの最大の欠点だった「幻覚（ハルシネーション）」、つまり平気で嘘つく問題な。 あれを解決する新デコーディング戦略「SLED」だと！
ソース：[Making LLMs more accurate by using all of their layers - Google Research Blog]
しかもこれ、外部データいらん！追加ファインチューニングもいらん！ **「全レイヤー使うだけ」**で精度が爆上がりするらしいぞ…マジかよ…(´・ω・｀)
2: 名無しさん＠おーぷん 2025-09-17(水) 10:02:15.33 ID:KusoGatyan は？（威圧） 全レイヤー使うだけって、そんなんで解決するわけないだろｗｗｗ いつもGoogleは夢見がちだな。
3: 名無しのSLEDistさん 2025-09-17(水) 10:03:01.05 ID:AIHono >>2 いや、これがすごいらしいんだよ。 LLMって普通、最後のレイヤーの出力だけで次のトークン決めるじゃん？ SLEDは、途中のレイヤー（早期脱出ロジット）の情報も全部使うんだと。 で、その「全部のレイヤーからの推定」をいい感じに混ぜ合わせて、最終的なトークンを決めるんだって。
4: やる夫 2025-09-17(水) 10:04:40.78 ID:Yaruo007 まじかお！やる夫、最近LLMが全然嘘ばっかりつくから困ってたお！ これがあれば、もっと安心して使えるようになるお！ 早く試してみたいお！(｀・ω・´)
5: やらない夫 2025-09-17(水) 10:05:55.12 ID:YaranaiF >>3 ふーん、まあ理屈は分からんでもないが。 結局、デコード時間とかコスト増えるんじゃないのか？ 「全レイヤー」って、それなりに計算量増えるだろ。
6: できる夫 2025-09-17(水) 10:07:30.99 ID:Dekiruo00 >>5 説明しよう！ SLEDは確かに全レイヤーの情報を使用するため、デコード時間はわずかに増加します。 しかし、記事によると、競合するファクト精度向上手法「DoLa」と比較して、わずか4%程度の増加に抑えられているとのことです。 この程度のトレードオフで幻覚が大幅に削減されるなら、十分に許容範囲だと考えられます。
＿＿
＼ ヽ
） ｀
／ ＼
／ ヽ
/ ● ● |
| (_人_) |
ヽ ヽノ ノ
＞ ＜
／ ＼
（＿＿＿＿＿＿＿）
7: 名無しのAIウォッチャーさん 2025-09-17(水) 10:08:10.12 ID:SLEDIsGOD >>6 できる夫ニキ、いつもサンガツ！ なるほど、そのくらいの増加なら全然許容範囲だな。 うちのプロジェクトでも即導入したいレベルだわ。
8: 永遠の初心者さん 2025-09-17(水) 10:09:33.45 ID:DkatoOishii あの…すみません、ロジットっておいしいんですか？(´・ω・｀)
9: できる夫 2025-09-17(水) 10:10:48.01 ID:Dekiruo00 >>8 ロジットは食べ物ではありませんよ、永遠の初心者さん。 LLMが次にどのトークン（単語や文字の単位）を生成するかを予測する際の、「自信度」を示すスコアのようなものです。 このスコアが高いほど、そのトークンが選ばれる確率が高い、と理解してください。SLEDは、このスコアを全レイヤーから集めて調整することで、より正確な予測を導き出します。
10: 名無しさん＠おーぷん 2025-09-17(水) 10:11:59.67 ID:AIHono 例えば記事に書いてあった数学の問題、割引忘れちゃうLLMのやつ。 「6 x 10 = 60」って普通なら出るとこを、SLEDだと「6 x 10 x 0.9 = 54」ってちゃんと割引考慮するんだってよ。 途中のレイヤーが「次のトークンは”=”じゃなくて”x”だろ」って教えてくれるかららしい。これは草。
11: クマー 2025-09-17(水) 10:12:30.90 ID:KUMASAN クマー！クマー！(幻覚！バグ！)
12: ひろゆき＠考える人 2025-09-17(水) 10:13:45.22 ID:HiroyukiChan >>10 それって、結局、たまたまその問題にフィットしただけじゃないっすかね？ 例えば「ブリティッシュコロンビアの首都は？」って質問で、「バンクーバー」って答える間違いを「ビクトリア」に修正するってあるけど。 それって、Googleが都合のいい例だけ見せてるだけじゃないですかね？ あと、このSLEDって、GemmaとかMistralとかGPT-OSSとかいろんなモデルで試したって書いてあるけど、結局オープンソースモデルだけなんでしょ？ 最強のClaudeとかGPT-4とかには使えないんすか？(´ω｀)
13: 名無しのAIウォッチャーさん 2025-09-17(水) 10:15:10.88 ID:SLEDIsGOD >>12 ひろゆき、お前はいつもそうだなｗｗｗ オープンソースモデルで検証できるってことは、俺らも試せるってことじゃん。 しかもGitHubにコード公開してるから、みんなで検証できるんだぞ。
14: 名無しさん＠おーぷん 2025-09-17(水) 10:16:03.56 ID:RAGMustDie 外部データなしってのがデカすぎる。 RAGとか正直システム複雑になりすぎて運用大変だったからなー。 SLEDはシンプルでいい。これは革命やでホンマ。
15: ホリエモン 2025-09-17(水) 10:17:11.77 ID:HorieBussin >>14 結局、外部データ使わないと最新情報には対応できないだろ。 リアルタイム性がないのは致命的。時間のムダ。 まあ、汎用的な知識の精度が上がるのはいいけど、ビジネスで使うならRAG必須じゃね？ 併用できるって書いてるから、そういうことだろ。
16: やる夫 2025-09-17(水) 10:18:30.45 ID:Yaruo007 >>15 えー、やる夫はRAGの設定でいつもつまづくお！ SLEDだけで幻覚が減るなら、まずはこっちから試したいお！ 簡単な方がいいお！(^q^)
17: 名無しさん＠おーぷん 2025-09-17(水) 10:19:55.02 ID:SLEDIsGOD >>16 わかる。まずは手軽に精度上げられるってのが重要だよな。 SLEDと他のファクトデコーディング手法も組み合わせられるって書いてるし、 いいとこ取りで最強のLLM作れそうじゃん！胸熱！
まとめ
Googleが発表したLLMの幻覚を減らす新技術「SLED」について、2ちゃんねる風にまとめてみました。
- SLEDとは？: LLMの出力精度（ファクト精度）を向上させる新しいデコーディング戦略。特にLLMが自信満々に嘘をつく「幻覚（ハルシネーション）」を抑制します。
- 革新的な点: 外部データや追加のファインチューニングが一切不要！LLMの「最後のレイヤー」だけでなく、「全てのレイヤー」から得られる情報を統合して、次に来るトークン（単語など）の確率をより正確に計算します。
- 具体的な効果: 例えば、ブリティッシュコロンビアの首都を「バンクーバー」と間違えやすいLLMが「ビクトリア」と正しく回答したり、数学の問題で割引を考慮し忘れるミスを防いだりします。中間レイヤーからの「早期脱出ロジット」が重要な役割を果たします。
- 汎用性とコスト: Gemma、Mistral、GPT-OSSなど様々なLLMで効果が検証されており、GitHubでコードも公開されています。デコード時間はわずかに増加しますが、競合手法と比較して約4%程度の増加に留まり、実用的な範囲です。
- 将来性: 他のデコーディング手法との組み合わせや、画像Q&A、コード生成、長文ライティングなど、様々なタスクへの応用も期待されています。
手軽にLLMの信頼性を向上できる可能性を秘めたSLED、今後の発展に期待ですね！
コメント (0)
まだコメントはありません。