Appleは本日、iPhone、iPad、Mac、Apple Watch、Apple Vision Proのユーザーエクスペリエンスを向上させる新しいApple Intelligence機能を発表しました。Apple Intelligenceにより、ユーザーはライブ翻訳などの機能を使って新しい方法でコミュニケーションしたり、ビジュアルインテリジェンスのアップデートで画面上の情報をより有効に活用したり、Image PlaygroundとGenmojiの機能強化で自己表現したりできるようになります。さらに、ショートカットはApple Intelligenceに直接アクセスできるようになり、開発者はApple Intelligenceの中核であるデバイス上の大規模言語モデルにアクセスできるようになり、パワフルで高速、プライバシーに配慮して構築され、ユーザーがオフラインの場合でも利用できるインテリジェンスに直接アクセスできるようになります。これらのApple Intelligence機能は本日よりテスト提供を開始し、対応言語に設定された対応デバイスで今秋に利用可能になる予定です。

「昨年、私たちは、ユーザーのプライバシーを守りながら、役立ち、関連性があり、使いやすく、ユーザーが必要とするまさにその場で役立つインテリジェンスをお届けするための第一歩を踏み出しました。現在、Apple Intelligenceを支えるモデルはより高機能かつ効率的になっており、各オペレーティングシステムのさらに多くの場所に機能を統合しています」と、Appleのソフトウェアエンジニアリング担当シニアバイスプレジデント、クレイグ・フェデリギは述べています。「また、Apple Intelligenceを支えるデバイス上の基盤モデルに開発者が直接アクセスできるようにするという大きな一歩を踏み出しました。これにより、開発者は強力で高速、プライバシーに配慮して構築され、ユーザーがオフラインでも利用できるインテリジェンスを活用できるようになります。これは、ユーザーが毎日利用するアプリケーションに、全く新しいインテリジェントな体験の波を起こすきっかけになると考えています。開発者の皆さんがどのようなものを生み出すのか、今から楽しみです。」

Apple Intelligence 機能は、今年末までに、デンマーク語、オランダ語、ノルウェー語、ポルトガル語 (ポルトガル)、スウェーデン語、トルコ語、中国語 (繁体字)、ベトナム語の 8 つの言語で利用できるようになる予定です。

ライブ翻訳が言語の壁を打ち破る

言葉の壁が邪魔になるような瞬間に、ライブ翻訳は、メッセージや会話中の言語間のコミュニケーションをサポートします。この体験はメッセージ、FaceTime、電話に統合されており、デバイス上で完全に動作するApple独自のモデルによって実現されるため、ユーザーの会話はパーソナルなままです。

メッセージアプリでは、ライブ翻訳機能によりメッセージを自動的に翻訳できます。海外旅行中に新しい友達と予定を立てているときなど、入力したメッセージは相手が希望する言語で翻訳され、返信が来るとすぐに各メッセージが翻訳されます。FaceTime通話では、話者の音声を聞きながら、翻訳されたライブキャプションで会話を進めることができます。また、通話中は、会話中ずっと翻訳された内容が読み上げられます。

GenmojiとImage Playgroundのアップデートで創造性を探求するニュース

GenmojiとImage Playgroundは、ユーザーにさらに多くの自己表現の方法を提供します。テキストの説明をGenmojiに変換するだけでなく、絵文字を組み合わせたり、説明文と組み合わせたりして、新しいものを作成できるようになりました。GenmojiとImage Playgroundを使って家族や友人からインスピレーションを得た画像を作成する際、表情を変えたり、髪型などの個人的な属性を調整したりして、友人の最新のスタイルに合わせることができます。

Image Playgroundでは、ChatGPTの油絵風やベクターアートといった新しいスタイルを体験できます。具体的なアイデアが浮かんだ時は、「Any Style」をタップして、そのスタイルを自由に表現できます。Image Playgroundはユーザーの説明や写真をChatGPTに送信し、ユニークな画像を作成します。ユーザーは常にコントロール権を持ち、許可なくChatGPTと共有されることはありません。

ビジュアルインテリジェンスはユーザーの検索と行動を支援します

Apple Intelligence を基盤として、ビジュアルインテリジェンスがユーザーの iPhone 画面に拡張され、アプリ全体で表示されているあらゆるものを検索したり、操作したりできるようになります。

ビジュアルインテリジェンスは、iPhoneカメラを使って周囲の物体や場所について学習するのに既に役立っていますが、今回、iPhone画面上のコンテンツを使って、より多くのことをより速く、より効率的に行えるようになりました。ユーザーは、画面に表示されているものについてChatGPTに質問して詳細を確認したり、Google、Etsy、その他の対応アプリで類似の画像や商品を検索したりできます。ランプなど、ユーザーが特に興味のある物体がある場合は、それをハイライト表示して、その特定のアイテムや類似の物体をオンラインで検索できます。

ビジュアルインテリジェンスは、ユーザーがイベントを見ていることも認識し、カレンダーに追加することを提案します。4 Apple Intelligence は日付、時刻、場所を抽出し、これらの重要な詳細をイベントに事前入力します。

スクリーンショットを撮るのと同じボタンを押すだけで、画面上のビジュアルインテリジェンスにアクセスできます。スクリーンショットを保存または共有したり、ビジュアルインテリジェンスを活用してさらに探索したりすることもできます。

Apple IntelligenceがApple Watchのフィットネスにも拡大

Workout Buddy は、Apple Intelligence を搭載した Apple Watch 初のワークアウト エクスペリエンスで、ユーザーのワークアウト データとフィットネス履歴を組み込んで、セッション中にパーソナライズされたモチベーションを高める分析情報を生成します。

Workout Buddyは、心拍数、ペース、距離、アクティビティリング、個人のフィットネスマイルストーンなどのデータに基づき、ユーザーの現在のワークアウトとフィットネス履歴を分析し、リアルタイムで有益なインスピレーションを提供します。さらに、新しいテキスト読み上げモデルが、Fitness+トレーナーの音声データに基づいて構築された動的な音声生成機能によって、ワークアウトに最適なエネルギー、スタイル、トーンを実現します。Workout Buddyは、Apple Intelligenceを活用して、これらのデータをプライバシーとセキュリティを守りながら処理します。

Workout Buddyは、Bluetoothヘッドフォンを装着したApple Watchでご利用いただけます。Apple Intelligence対応のiPhoneが近くにあればご利用いただけます。英語版から提供を開始し、人気のワークアウトタイプ（屋外および屋内ランニング、屋外および屋内ウォーキング、屋外サイクリング、HIIT、機能的筋力トレーニングおよび従来の筋力トレーニング）に対応しています。

Apple Intelligenceのオンデバイスモデルが開発者向けに提供開始

Apple は、Apple Intelligence の中核となるオンデバイス基盤モデルにあらゆるアプリが直接アクセスできるようにしています。

Foundation Modelsフレームワークを利用することで、アプリ開発者はApple Intelligenceを基盤として、ユーザーに新しいインテリジェントな体験を提供できるようになります。これらの体験は、AI推論を無償で提供することで、オフラインでも利用可能で、プライバシーも保護されます。例えば、教育アプリでは、デバイス上のモデルを使用して、クラウドAPIに費用をかけずにユーザーのメモからパーソナライズされたクイズを生成できます。また、アウトドアアプリでは、ユーザーがオフラインでも動作する自然言語検索機能を追加できます。

このフレームワークはSwiftをネイティブサポートしているため、アプリ開発者はわずか3行のコードでApple Intelligenceモデルに簡単にアクセスできます。ガイド付き生成、ツール呼び出しなど、多くの機能がフレームワークに組み込まれているため、開発者の既存アプリに生成機能を実装することがこれまで以上に容易になります。

ショートカットがよりインテリジェントに

ショートカットはこれまで以上に強力でインテリジェントになりました。Apple Intelligenceによって実現された、全く新しいショートカットセットであるインテリジェントアクションを活用できます。ライティングツールでテキストを要約したり、イメージプレイグラウンドで画像を作成したりといった機能専用のアクションが表示されます。

ユーザーは、デバイス上またはプライベートクラウドコンピューティングを介してApple Intelligenceモデルを直接利用し、ショートカットの残りの部分にフィードするレスポンスを生成できるようになります。ショートカットで使用される情報のプライバシーは維持されます。例えば、学生はApple Intelligenceモデルを使用して、授業の音声書き起こしと自分が取ったメモを比較し、見逃した重要なポイントを追加するショートカットを作成できます。また、ChatGPTを利用して、ショートカットにフィードするレスポンスを提供することもできます。

追加の新機能

Apple Intelligence は、ユーザーが毎日利用するアプリやエクスペリエンスにさらに深く統合されています。

• メール、ウェブサイト、メモ、その他のコンテンツ内で最も関連性の高いアクションが識別され、リマインダーで自動的に分類されるようになりました。

• Apple Walletは、販売店や配送業者から送信されたメールから注文追跡の詳細を識別し、要約できるようになりました。これはユーザーのすべての注文に適用されるため、注文の詳細、進捗状況の通知などをすべて1か所で確認できます。

• メッセージアプリでは、どんな内容でもアンケートを作成できます。Apple Intelligenceにより、アンケートが必要なタイミングを検知し、提案してくれます。さらに、メッセージアプリの背景機能を使えば、魅力的なデザインでチャットをパーソナライズしたり、Image Playgroundを使って会話にぴったりのユニークな背景を作成したりできます。

これらの機能は、ユーザーがすでに利用できる幅広い Apple Intelligence 機能に基づいています。

• ライティングツールは、ユーザーが書いたテキストの書き直し、校正、要約に役立ちます。また、「変更内容を説明」機能では、ディナーパーティーの招待状を詩のように読めるようにするなど、テキストに適用したい具体的な変更内容を説明できます。

• 「写真のクリーンアップ」を使用すると、ユーザーは、撮影した瞬間をそのままに、気を散らす要素を削除できます。

• ビジュアルインテリジェンスは Apple Intelligence を基盤とし、ユーザーが周囲の物体や場所について瞬時に理解できるようにします。

• Genmojiでは、説明を入力するだけで独自の絵文字を作成できます。絵文字と同様に、メッセージにインラインで追加したり、ステッカーやTapbackのリアクションとして共有したりできます。

• Image Playground は、テーマ、衣装、アクセサリー、場所といったコンセプトに基づいて、遊び心のある画像を瞬時に作成できる機能です。独自のテキスト説明を追加したり、フォトライブラリにある写真を使って家族や友人に似せた画像を作成したりすることも可能です。

• Image Wand を使用すると、ラフスケッチを、ユーザーのメモを補完する洗練された画像に変換できます。

• メールの概要を使用すると、ユーザーは「概要」をタップまたはクリックするだけで、メールまたは長いスレッドの主要な詳細を表示できます。

• スマート リプライは、メールやメッセージでユーザーに素早い返信の提案を提供します。

• Siri はより自然で便利になり、Siri に入力して Apple 製品の機能や設定に関する製品知識を活用するオプションが備わりました。また、ユーザーが言葉に詰まった場合でも Siri は理解し、リクエストごとに文脈を維持できます。

• ChatGPT へのアクセスは Writing Tools と Siri に統合されており、ユーザーはツール間を移動することなく ChatGPT の画像およびドキュメント理解機能を利用できます。

• フォトの自然言語検索により、ユーザーは写真やビデオを説明するだけで簡単に見つけることができます。

• ユーザーは説明を入力して写真に思い出のムービーを作成できます。

• Notes 内の音声書き起こしの要約が自動的に生成され、重要な情報が一目でわかるようになります。

• ユーザーは通話の書き起こしの要約を生成し、重要な詳細を強調表示できます。

• メールの受信トレイの上部にある「優先メッセージ」セクションには、当日のランチへの招待状や搭乗券など、最も緊急性の高いメールが表示されます。

• 優先通知はユーザーの通知の上部に表示され、すぐに対応する必要がある重要な通知が強調表示されます。

• 通知の概要により、ユーザーは長い通知や積み重ねられた通知をスキャンし、ロック画面で重要な詳細を直接確認できるようになります。

• メールとメッセージのプレビューでは、メッセージを開かなくても重要な情報の簡単な概要が表示されます。

• 「中断を減らすフォーカス」では、すぐに対応する必要がある可能性のある通知のみが表示されます。

AIにおけるプライバシーの飛躍的進歩

Apple Intelligenceは、あらゆる段階でユーザーのプライバシーを保護するように設計されており、デバイス上で処理を行います。つまり、その基盤となるモデルの多くは完全にデバイス上で実行されます。より大規模なモデルへのアクセスを必要とするリクエストについては、Private Cloud ComputeがiPhoneのプライバシーとセキュリティをクラウドに拡張し、より多くのインテリジェンスを実現します。そのため、ユーザーのデータはAppleに保存または共有されることはありません。リクエストの処理にのみ使用されます。独立した専門家は、Apple Siliconサーバー上で実行されるコードを検査することで、このプライバシーの約束を継続的に検証することができ、既にその検証が行われています。これは、AIにおけるプライバシーにとって画期的な前進です。

可用性

これらの新機能はすべて、本日より Apple Developer Program（https://developer.apple.com/developer/program/）でテストできます。パブリックベータ版は来月 beta.apple.com の Apple Beta Software Program で提供開始予定です。対応デバイスで Apple Intelligence を有効にし、対応言語に設定したユーザーは、iPhone 16 モデルすべて、iPhone 15 Pro、iPhone 15 Pro Max、iPad mini（A17 Pro）、M1 以降を搭載した iPad および Mac モデルで、Siri とデバイスの言語を同じ対応言語（英語、フランス語、ドイツ語、イタリア語、ポルトガル語（ブラジル）、スペイン語、日本語、韓国語、中国語（簡体字））に設定すれば、今秋から利用できるようになります。今年末までには、デンマーク語、オランダ語、ノルウェー語、ポルトガル語（ポルトガル）、スウェーデン語、トルコ語、中国語（繁体字）、ベトナム語などの言語にも対応予定です。一部の機能は、言語または地域によっては利用できない場合があり、現地の法律や規制により利用状況が異なる場合があります。

MacDailyNews の見解:詳細については、apple.com/apple-intelligence をご覧ください。

MacDailyNewsを応援していただき、購読者限定の記事、コメント、チャットなどをお楽しみください（macdailynews.substack.com）にご登録ください。ありがとうございます！

このリンクを使用して Amazon で買い物をすると、追加費用なしで MacDailyNews をサポートできます。