1: 名無しさん＠おーぷん 2025/05/12(月) 10:00:00.00 ID:MetaChanKawaii おいお前ら、またMetaがとんでもないもん発表したぞ！ なんでも「次トークン予測」っていう今のLLMの主流をぶっ壊す気らしい(ﾟдﾟ)！ BLTアーキテクチャとかいうトークナイザ不要のやつと、LCM（Large Concept Model）っつーので「概念」で思考するAIだってよ！ 人間みたいに考えられるAIが爆誕するってマジ？これもうシンギュラリティ来ちゃうんじゃね？？？ ソース：Meta AI's research on BLT and LCM

2: 名無しさん＠AI部 2025/05/12(月) 10:01:30.50 ID:TokenHaOwakon またMetaかよｗ Facebookの名前変えただけあるわ、イキリ散らしてるな (´,_ゝ｀)ﾌﾟｯ でもトークン使わないのはちょっと気になるな。どういう仕組みなんだ？

3: 名無しさん＠未来技術板 2025/05/12(月) 10:02:15.75 ID:ConceptMaster LCMってのは、文章を「概念」のベクトルシーケンスに変換して学習するらしい。 SONARっていう既存のMetaのモデルが、トークンと概念の間を翻訳する役割を担うとか。 つまり、AIが単語じゃなくて、もっと大きな意味の塊で物事を捉えようとしてるってことだな。 人間が話すときも、一言一句決めてから話すわけじゃないもんな。

4: AI専門家ニキ ◆EXPERT.AI9 2025/05/12(月) 10:03:50.12 ID:ExpertKneeKey >>3 その通り。LCMはBase-LCM、Diffusion-based LCM、Quantized LCMの3つのアーキテクチャが研究されてる。 特にTwo-Tower Diffusion LCMは長文コンテキストの扱いに優れてて、抽象的な要約とか得意らしいぞ。 Yann LeCunも次世代AIの設計図だって言ってるくらいだから、業界の期待はデカい(｀・ω・´)ｼｬｷｰﾝ BLT（Byte-Level Transformer）はバイト列で処理するから、マルチモーダルにも強い。これら全部組み合わせたらヤバいことになる予感。

5: やる夫 ◆YARUO.AbCd 2025/05/12(月) 10:05:20.69 ID:YaruoDesuYo

   　　　　　／￣￣￣＼
   　　　　/　 ノ　　＼ ヽ
   　　　 │　（●）（●）│
   　　　 │　　（__人__）│
   　　　 │　　 ｀⌒´　 │
   　　　　ヽ　　　　　 ノ
   　　　　　＞―――´
   　　　 ／　　　　　　＼

概念で考えるって、オラなんだかよくわかんねぇぞ！(´・ω・｀) でも、言葉じゃなくて「なんとなくこんな感じ」でAIが理解するってことかお？ それなら、翻訳とかも上手くなりそうだな！

6: 名無しさん＠おーぷん 2025/05/12(月) 10:06:45.88 ID:MetaSukiSugi >>5 やる夫のその「なんとなくこんな感じ」がまさに概念なんだろうなｗ MetaのJEPAとかCoconutとかとも連携するらしいし、マジでSFの世界が来そうじゃん！ワクワクすっぞ！(≧▽≦)

7: 論破王ひろゆき ◆HIRO.YukiX 2025/05/12(月) 10:08:10.33 ID:HiroyukiSan うーん、それってあなたの感想ですよね？(´<_｀) 「概念」って言っても、結局どうやってその「概念」を定義して、モデルに学習させるんですかね？ SONARがトークンベースなら、結局ボトルネックはそこにあるんじゃないすか？ あと、計算コストとか学習データとか、そういう現実的な話はどうなってるんでしょうか。 流行らないものにリソース割いてるだけって可能性、ありますよね？はい、論破です。

8: 名無しさん＠AI部 2025/05/12(月) 10:09:55.12 ID:ConceptHaTsuyoi >>7 ひろゆきさん相変わらず辛辣で草ｗ でも、記事にもあるけどBLTアーキテクチャと組み合わせることでSONARのトークン依存から脱却できるかもって話だぞ。 バイトレベルで処理できれば、言語の壁も modalities の壁も超えやすくなるはず。 人間だってトークンで考えてるわけじゃないってのは、まあ同意だわ。

9: 名無しさん＠未来技術板 2025/05/12(月) 10:11:20.45 ID:RobotNoMirai Redditでも話題になってるらしいな。 LCMで日常タスクを概念化して、Coconutでタスクについて推論して、JEPAで実世界の変動に適応するロボットとか妄想されててワロタｗ でも、そういう未来も遠くないのかもな…ｺﾞｸﾘ

10: 名無しさん＠おーぷん 2025/05/12(月) 10:13:05.99 ID:MadamadaDesuNe 今のLLMが抽象的な階層構造持ってないってのはガチ。 長文読ませても、結局表面的な単語の繋がりしか見てない感じするもんな。 概念レベルで理解できるなら、もっと深い読解とか要約ができそう。期待しちゃうぜ！

11: やらない夫 ◆YARANAI.ZOI 2025/05/12(月) 10:15:30.11 ID:YaranaiDarouKa

      　　　＿＿＿_
      　　／　　 　 　＼
      　／　─　 　 ─　＼
      ／ 　 （●） 　（●） ＼
      |　 　 　 （__人__）　 |
      ＼　　　　 ｀ ⌒´　 ／
      ／　　　　　　　　 ヽ

ふむ、人間が長文を書く時にまず構成を考えるように、AIも抽象的な計画を立ててから詳細を生成する、ということか。 ある意味、より人間の思考プロセスに近づくと言えるかもしれんな。 だが、それが本当に「知能」と呼べるものに繋がるかは、まだ未知数だ。どうでもいいけどな。

12: 名無しさん＠AI部 2025/05/12(月) 10:17:40.62 ID:WorldModelHype Sutskeverが言ってた「世界モデル」の構築にも繋がりそうだよな。 単に次に来る単語を予測するだけじゃなくて、その背景にある現実世界のプロセスや感情を理解するって話。 概念で捉えられれば、よりリッチな世界モデルが作れるかも。

13: 名無しさん＠未来技術板 2025/05/12(月) 10:19:55.81 ID:JohoSonshitsu Quantized LCMとかDiffusion-based LCMとか色々あるみたいだけど、 Base-LCMだと概念ベクトル経由する時に情報損失するリスクがあるって書いてあるな。 結局、連続的な情報を離散的なベクトルに落とし込む難しさからは逃れられないのかねぇ(´・ω・｀)

14: AI専門家ニキ ◆EXPERT.AI9 2025/05/12(月) 10:22:10.23 ID:ExpertKneeKey >>13 そのためのDiffusion-based LCMやQuantized LCMなんだろう。 特にDiffusionモデルは高品質な生成で実績があるし、連続的な概念空間をうまく扱える可能性がある。 Quantized LCMは計算量を抑えられるメリットもある。トレードオフだな。 完璧な解決策はまだないだろうけど、方向性としては面白い。

15: 名無しさん＠おーぷん 2025/05/12(月) 10:25:00.00 ID:MetaChanGanbare まあ、何はともあれMetaの本気度が伺えるな。 オープンソース勢にも刺激になるだろうし、LLM開発競争がさらに加速しそうで楽しみやで！ ワイはMeta株買い増しするわｗ (^q^)

---

まとめ

今回のMetaの発表、2ちゃんねらーの反応も様々だったけど、ポイントをまとめるとこんな感じや！

1. 「次トークン予測」の限界突破へ: Meta AIが、従来のLLMの主流である「次トークン予測」パラダイムに挑戦する新アーキテクチャ「BLT」と「LCM」を発表したで。
2. LCMは「概念」で思考するAI: LCM (Large Concept Model) は、トークンではなく、より抽象的な「概念」単位で情報を処理・生成するんや。これにより、人間のような高度な推論や多言語対応力の向上が期待されとる。
3. SONARと3つのLCMアーキテクチャ: 概念の学習には、文章と概念ベクトルを相互変換するSONARモデルを利用。Base-LCM、Diffusion-based LCM、Quantized LCMといった異なるアプローチが研究されとるで。
4. BLTや他技術とのシナジーに期待大: トークナイザを排除するBLTや、連続的思考を可能にするCoconut、世界モデル構築に役立つJEPAといったMetaの他技術との融合で、とんでもないAIが生まれるかもしれへん。
5. AIの「思考」方法が変わる？: これらの技術は、AIが情報をどのように内部表現し、推論するかの根本的な変革をもたらす可能性があり、AI研究開発の新たな方向性を示すものとして注目されとるんやな。

今後のMetaの動向から目が離せへんな！続報に期待や！(｀・ω・´)

---

source: Beyond Next-Token Prediction? Meta’s Novel Architectures Spark Debate on the Future of Large Language Models