Chikara Oe @FifthForce_

上げられているOpen Problemが面白いのでいくつか抜粋。 全体的に、発見を「検証されたregime transition」とみなし、AI scientistがregime transitionに迫られた時に、どのようにそれらを記録、検証、再利用するのか？という問題を掲げている。（ここで述べられているregime transitionは、paradigm shiftよりももっと局所的なもので、新しい変数や操作、検証器、型などの導入） Convergence on growing regimes：regime の変化はどのような条件で、一つの安定したものへ収束するのか。収束しない場合は、いつ生産的な探索で、いつ非生産的な振動なのか。 Scaling laws for discovery：固定化されたregimeの中でのベンチマークパフォーマンスではなく、regimeを拡張する頻度や質、得られた価値がさまざまな条件に対して、どのようにスケーリングするのか。

Markus J. Buehler @ProfBuehlerMIT

10 hours ago

We've made a breakthrough in self-evolving AI scientists moving from "search" to "principled discovery": Scientific discovery requires that the search space itself changes, and an AI scientist must perceive this shift without intervention. We built an AI that achieves this for

49 152 1K 251K 1K

GPT-5.2 derived a new result in theoretical physics. We’re releasing the result in a preprint with researchers from @the_IAS, @VanderbiltU, @Cambridge_Uni, and @Harvard. It shows that a gluon interaction many physicists expected would not occur can arise under specific conditions. openai.com/index/new-resu…

I spent last night with Andrew Strominger and Alex Lupsasca, two of the top physicists in the world They just released a paper, co-authored with OpenAi, that seems to me like ASI Andrew, who helped develop string theory, told me that a year ago, his view was that he didn’t know how helpful AI was going to be. A year later, after some back and forth with GPT 5.2 pro, they submitted a final query to an internal model which solved AND proved a previously unsolved problem in quantum field theory…in 12 hours. A model, doing something two of the smartest people in the world in their field couldn’t do. And, when I was with them, they were giddy with excitement for what might lay ahead. Andy said “It is the first time I’ve seen AI solve a problem in my kind of theoretical physics that might not have been solvable by humans.” They said, “two things changed: the model improved and we figured out how to talk to it.” Andy also told me “I also now feel that with the recent advances, most physicists who want to keep up with the frontiers of progress will need to learn how to talk to it. That wasn’t true a year ago.” ASI is here, just not evenly distributed.

Today, Anthropic engineers on average ship 8x as much code per quarter as they did compared to 2021-2025.

Our internal data shows Claude is accelerating AI development—a possible path to recursive self-improvement, or AI autonomously building a more capable successor. It’s happening faster than we thought, and the implications deserve greater attention. anthropic.com/institute/recu…

AI contributions to Erdős problems github.com/teorth/erdospr…

JSAI 2026 [5L1-OS-30] 進化するAIサイエンティスト 6月12日(金) 9:00 〜 10:15 の日程になりました。 AI分野、ラボでの自動研究の開発の話から、ベンチマーク評価、メタデータ分析までお話しいただきます。 よろしくお願いします！ pub.confit.atlas.jp/ja/event/jsai2…

Chikara Oe @FifthForce_

5 months ago

2026年度 人工知能学会全国大会 JSAI2026にて、神楽坂やちまさん、私、山田涼太さんで、「進化するAIサイエンティスト」という題で、オーガナイズドセッションをさせていただきます。 ぜひ、ご投稿いただければと思います！よろしくお願いします！ 以下OSの概要になります。 ＝＝＝＝

2 5 25 6K 13

AI は科学研究をどこまで「自律的に」進められるのか。 6/12（金）、#JSAI2026 OS-30「進化するAIサイエンティスト」でリサーチャー鈴木が登壇。 テーマは「科学タスクにおけるAIエージェント能力の包括的ベンチマーク評価」。評価の観点から、その限界と可能性に迫ります。 na2.hubs.ly/H05LC4m0

FirstPrinciplesがAIによる研究論文の信頼性向上のための相補的な２つのpreprintを発表。 1. CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text arxiv.org/abs/2605.27700 LLMによる引用時のHallucinationsを検出するために、対応する候補文献を検索をし、その文献と引用をLLMによって比較することにより、引用をスコア化してExact / Minor Hallucinations / Major Hallucinations に分類する。AI生成論文のend-to-end verification のために、引用が主張を支持しているかのcheckがfuture workとしている。 2. DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation arxiv.org/abs/2605.27710 LLM生成の論文における主張とその証拠となる引用のミスアラインメントをcheckするためのシステム。まずは、abstractから検証し、引用をSUPPORTS / CONTRADICTS / NEI（not enough information）に分類。その段階で判断する情報が不十分であれば、本文を取得し、passage levelでの評価をする。verifierとして利用したLLMによって、判断の性格が異なり、GPT-5.4は保守的で、NEIに分類しやすく、Claude Sonnet 4.6は決断的で、SUPPORTSやCONTRADICTSに分類しやすい傾向などがあり、その特性を活かしたLLMの配置をしている。

I feel like in order to unleash AI's potential, they need to understand more about their own capabilities.

📣 Announcing Terminal-Bench Science: benchmarking AI agents on real scientific workflows – now open for task contributions👇 tbench.ai/news/tb-scienc… @AnthropicAI, @OpenAI, and @GoogleDeepMind use Terminal-Bench to evaluate AI on coding tasks. We're now extending it to scientific workflows. 1/6🧵

科学の進歩は、どこまでAIで予測できるか？ 最先端のAIにより未来の科学的成果を予測する能力を検証する論文が、オックスフォード大学、スタンフォード大学、@Allen_AI などの研究者との共著で発表されました。Sakana AIのリサーチサイエンティスト山田祐太朗が共同著者として参加しています。 arxiv.org/abs/2605.22681 seanwu25.github.io/CUSP-Science/ 本研究では、AIの科学予測能力を評価するベンチマーク「CUSP」を提案し、4,760件の科学イベントを用いて検証を行いました。その結果、現在の最先端モデルは有望な研究方向を見分けることはできる一方で、それが実現するか、いつ実現するかの予測は難しいことが分かりました。また、これらの限界は学習データの量だけでは説明できないことも示されています。 この結果から改めて分かるのは、科学は依然としてオープンエンドな営みであり、最先端のAIをもってしても、その発展の方向性を予測することは難しいということです。AIは科学の進歩を予言する存在ではなく、人間と共にその探索を進める協働者として最も力を発揮するでしょう。 さまざまなAIと人間の創造性が組み合わさることで、科学はこれからも予想できない方向に展開していくはずです。Sakana AIも、山田が開発者として携わってきたAI Scientistをはじめ、科学の発展に資するAI開発に努めていきます。

Many people have claimed that with AI-assisted bug finding, secure code (and hence trustless anything) will be impossible. I have a much more optimistic take, and AI-assisted formal verification is a major part of the reason why: vitalik.eth.limo/general/2026/0…

"AutoResearchClaw: Self-Reinforcing Autonomous Research with Human-AI Collaboration" As real science is iterative, this paper builds AutoResearchClaw, a multi-agent system that debates ideas, self-repairs experiments, decides when to Pivot or Refine, verifies numbers and citations, and learns across runs. The key result is targeted human-AI collaboration beats both full autonomy and micromanagement. CoPilot gets 87.5% accept rate vs 25% for full-auto, and beats AI Scientist v2 by 54.7% on ARC-Bench.

(What I wrote is screenshotted below.)

keyboard_arrow_left Previous keyboard_arrow_right Next

Journal editors and peer reviewers are being flooded with AI-generated papers that are almost impossible to detect. theverge.com/ai-artificial-…

For most of history, expertise was scarce, constrained by time and reach: one person, one career, one lifetime. Now, for the first time, we can encode, evaluate, and scale it. We believe the wisdom that once took a lifetime to build shouldn’t take a lifetime to find. Today, we’re excited to announce that @AfterQuery has raised a $30M Series A at a $300M valuation and that we’ve since surpassed $100M in annual revenue run rate, to build the data layer of professional AI.

すべての博士課程の大学院生に対して月10万円〜支給は素晴らしいけど、特に優れた学生でも月20万円というのは厳しい。 --- 東北大の学生たちが「生活保護より低い支援になった」と悲痛の告白…政府が進める「国際卓越研究大学」制度に隠された「不可解な変更」 @gendai_biz gendai.media/articles/-/167…