ok2merge
開発者向けの、コード変更をAIが要約してスマホで承認できるアプリ
🛠️ 自分で作れる度★★★★★🗾 日本でやれる度★★★★★
🧩どんなサービス？ 6つのポイント
👤誰が使う？
AIを比べたい開発者と、遊びに来る一般の人。
😩困っていたこと
AIの賢さを測る試験はたくさんある。でも「面白さ」を測る物差しはなかった。
✅してくれること
複数のAIに3つの課題を出して採点する。冗談の説明、冗談づくり、人が好む冗談の予想の3つ。
🤖AIの役割
各社のAIに同じお題を出させ、その答えを自動で採点して並べる。
💰お金の仕組み
今は無料。お金の取り方はまだない。
📈うまくいっている証拠
本物の冗談の説明はどのAIも95%超。滑った冗談の説明は81〜92%に落ちた。
🛠️自分でも作れる？
🧑💻率直なところ
作れる。各社AIのAPIと簡単な投票ページがあれば2〜4週間。
🗾日本でやるなら
日本語の笑いは翻訳しづらいので、日本版を作る価値は大きい。まずは無料で公開して人を集める。その後、企業に「うちのAIの文章は面白いか」を測る道具として売る。
👣最初の一歩
日本語の冗談を100個集め、主要AIに説明させて点差が出るか試す。
✨まねするならこのアイデア
- 漫才台本向けの、AIボケ採点サイト
- 広告コピー向けの、AI心つかみ度テスト
- 接客チャット向けの、話し方やわらか採点
- 日本語ダジャレ専用のAI能力比べ
- 人気コピーを当てるAI予想ゲーム
🔬らぼのひとこと
「AIの面白さ」を測るという発想が新しい。本物の冗談は説明できるのに、滑った冗談はうまく説明できないという発見が光る。人に投票させて遊ばせながらデータを集める作りもうまい。
🔎 くわしい点数と情報源
- reddit_artificialhttps://reddit.com/r/ArtificialInteligence/comments/1wctlr7/i_built_a_benchmark_to_test_whether_llms_can
- officialhttps://lolbench.lol/
原文: a benchmark for LLM humor