Firma Apple ogłosiła wprowadzenie nowych funkcji Apple Intelligence polepszających wrażenia użytkownika podczas korzystania z iPhone’a, iPada, Maca, Apple Watch i Apple Vision Pro.
Spis treści
Apple Intelligence stwarza użytkownikom nowe możliwości w zakresie komunikacji m.in. z wykorzystaniem nowej funkcji Live Translation. Użytkownicy mogą także zdziałać więcej na wyświetlaczu za sprawą aktualizacji analizy wizualnej i zyskują nowe możliwości wyrażania siebie dzięki udoskonaleniom Image Playground i Genmoji1. Ponadto funkcja Skróty może teraz korzystać bezpośrednio z modeli Apple Intelligence. Natomiast deweloperzy zyskują dostęp do działającego na urządzeniu dużego modelu językowego, na którym bazuje system Apple Intelligence, co daje im możliwość bezpośredniego używania algorytmów, które są wydajne, szybkie, zaprojektowane z myślą o ochronie prywatności i dostępne dla użytkowników nawet w trybie offline. Wspomniane funkcje Apple Intelligence można już testować, a użytkownikom obsługujących je urządzeń zostaną udostępnione w obsługiwanych językach jesienią tego roku.
„W ubiegłym roku podjęliśmy wyzwanie zapewnienia użytkownikom sztucznej inteligencji, która jest pomocna, łatwa w obsłudze i dostarcza istotnych informacji dokładnie tak, jak tego potrzebują, jednocześnie chroniąc ich prywatność. Teraz modele, na których opiera się Apple Intelligence, są bardziej funkcjonalne i wydajne. Pozwala nam to wprowadzać nowe funkcje w coraz większej liczbie obszarów każdego z naszych systemów operacyjnych”, stwierdził Craig Federighi, starszy wiceprezes Apple w pionie Software Engineering. „Dajemy też deweloperom dostęp do działającego na urządzeniu modelu bazowego, na którym opiera się system Apple Intelligence, co daje im możliwość bezpośredniego używania algorytmów, które są wydajne, szybkie, zaprojektowane z myślą o ochronie prywatności i dostępne dla użytkowników nawet w trybie offline. Jesteśmy przekonani, że pozwoli im to wprowadzić wiele nowych inteligentnych rozwiązań w aplikacjach, na których użytkownicy polegają każdego dnia. Z niecierpliwością wyczekujemy na rezultaty prac deweloperów”.
Do końca tego roku funkcje Apple Intelligence będą dostępne w większej liczbie języków. Nowe języki to: chiński (tradycyjny), duński, niderlandzki, norweski, portugalski (Portugalia), szwedzki, turecki i wietnamski.
Funkcja Live Translation przełamuje bariery językowe
Funkcja Live Translation przychodzi użytkownikom z odsieczą podczas komunikacji w obcym języku przy wysyłaniu wiadomości lub rozmowie, gdy bariera językowa mogłaby przysporzyć im trudności komunikacyjnych. Opcja ta jest zintegrowana z aplikacjami Wiadomości, FaceTime i Telefon. Obsługują ją opracowane przez Apple modele, które działają wyłącznie na urządzeniu, dzięki czemu prywatne rozmowy użytkowników pozostają prywatne.
W aplikacji Wiadomości funkcja Live Translation może automatycznie tłumaczyć tekst. Jeśli użytkownik umawia się z nowo poznaną osobą podczas zagranicznej podróży, jego wiadomość może być tłumaczona na etapie jej wpisywania i wysłana do odbiorcy w preferowanym przez niego języku. A gdy użytkownik otrzyma odpowiedź, każdą wiadomość można natychmiast przetłumaczyć2. W trakcie rozmów w aplikacji FaceTime użytkownik może na bieżąco śledzić przetłumaczone już napisy na żywo, jednocześnie słuchając głosu osoby mówiącej. Z kolei podczas połączenia telefonicznego cała rozmowa jest tłumaczona na głos.
Nowe możliwości kreatywne dzięki aktualizacjom Genmoji i Image Playground
Genmoji i Image Playground stwarzają użytkownikom jeszcze więcej możliwości w zakresie wyrażania siebie. Poza tworzeniem Genmoji na podstawie tekstowego opisu użytkownicy mogą teraz mieszać emoji i łączyć je z opisami, by uzyskać nowe efekty. Podczas tworzenia obrazów inspirowanych wizerunkami rodziny i przyjaciół przy pomocy Genmoji i Image Playground użytkownicy mają możliwość modyfikowania mimiki lub dostosowania indywidualnych atrybutów, jak fryzura, aby były one możliwie jak najbardziej aktualne.
Ulepszenia Genmoji dają użytkownikom więcej opcji wyrażania siebie, w tym możliwość mieszania i łączenia emoji z opisami, aby uzyskać nowy efekt.
Dzięki obsłudze ChatGPT przez aplikację Image Playground użytkownicy zyskują dostęp do zupełnie nowych stylów, takich jak obraz olejny czy grafika wektorowa. A jeśli użytkownik ma już konkretny pomysł, może stuknąć opcję Any Style i opisać to, co chce uzyskać. Aplikacja Image Playground przesyła opis lub zdjęcie użytkownika do systemu ChatGPT i tworzy niepowtarzalny obraz. Użytkownicy zawsze mają pełną kontrolę nad procesem twórczym i bez ich zgody nic nie zostaje udostępnione systemowi ChatGPT.
Dzięki obsłudze ChatGPT w Image Playground dostępne są nowe style oraz opcja Any Style pozwalająca użytkownikom realizować własne konkretne pomysły.
Analiza wizualna pomaga użytkownikom w wyszukiwaniu i podejmowaniu działań
Za sprawą wykorzystania Apple Intelligence działanie funkcji analizy wizualnej obejmuje również ekran iPhone’a, dzięki czemu użytkownik może wyszukiwać elementy i podejmować działania dotyczące wszelkich przeglądanych treści w różnych aplikacjach.
Aktualizacje Apple Intelligence pozwalają wprowadzić analizę wizualną treści wyświetlanych na iPhonie. Możliwe jest podejmowanie takich działań, jak wyszukiwanie podobnych przedmiotów przy pomocy Google, Etsy lub innych obsługiwanych aplikacji.
Obecnie analiza wizualna pomaga już użytkownikom poznawać obiekty i miejsca w ich otoczeniu przy pomocy aparatu iPhone’a, a teraz pozwoli im zdziałać jeszcze więcej i szybciej na ekranach ich iPhone’ów. Użytkownicy mogą zapytać ChatGPT o to, co widzą na ekranie, aby uzyskać więcej informacji, a także przeszukać Google, Etsy lub inne obsługiwane aplikacje, by znaleźć podobne obrazy i produkty. Jeśli jakiś obiekt, na przykład lampa, jest dla użytkownuka szczególnie interesujący, może on na to wskazać, by wyszukać online ten konkretny przedmiot lub przedmioty do niego podobne.
Analiza wizualna pozwala użytkownikom poprosić ChatGPT o szczegółowe informacje na temat konkretnych obiektów.
Inteligencja wizualna rozpoznaje również, kiedy użytkownik przegląda wydarzenie i sugeruje dodanie go do kalendarza.4 Następnie Apple Intelligence wyodrębnia datę, godzinę i lokalizację, aby wstępnie wypełnić te kluczowe szczegóły zdarzeniem.
Analiza wizualna potrafi teraz także rozpoznać, kiedy użytkownik zaobserwuje jakieś wydarzenie, i zasugerować dodanie go do Kalendarza, po czym Apple Intelligence wyodrębnia potrzebne dane w celu utworzenia karty wydarzenia.
Użytkownicy mają dostęp do analiz wizualnych obejmujących wszystko, co widzą na ekranie. Wystarczy, że nacisną te same przyciski, których używają do zrobienia zrzutu ekranu. Użytkownicy zdecydują, czy zapisać lub udostępnić taki zrzut ekranu, czy uzyskać więcej informacji poprzez analizę wizualną.
Apple Intelligence wspiera aktywność fizyczną na Apple Watch
Workout Buddy to wyjątkowa, bazująca na Apple Intelligence funkcja dostępna na Apple Watch. Wspiera aktywność fizyczną, gdyż na podstawie danych dotyczących treningów oraz historii aktywności użytkownika generuje spersonalizowane analizy, które mają motywować go podczas ćwiczeń.
Workout Buddy analizuje dane z bieżącego treningu użytkownika wraz z historią jego aktywności, aby w czasie rzeczywistym dopingować go i przekazywać mu informacje na podstawie m.in. tętna, tempa, dystansu, stanu pierścieni aktywności czy osobistych przełomów w treningu. Następnie nowe modele konwersji pisma na mowę przekładają analizy na dynamiczny głos generatywny utworzony na podstawie danych głosowych trenerów Fitness+, dzięki czemu użytkownik słyszy energiczne i dopasowane do treningu wypowiedzi. Dzięki Apple Intelligence Workout Buddy analizuje te dane w sposób bezpieczny i z zachowaniem prywatności.
Funkcja Workout Buddy będzie dostępna na urządzeniach Apple Watch ze słuchawkami Bluetooth i będzie wymagać, aby w pobliżu znajdował się iPhone obsługujący Apple Intelligence. Rozwiązanie będzie początkowo dostępne w języku angielskim m.in. w następujących rodzajach popularnych treningów: Bieg (plener) i Bieg na sali, Marsz (plener) i Marsz na sali, Rower (plener), Trening HIIT, Funkcjonalny trening siłowy i Tradycyjny trening siłowy.
Funkcja Workout Buddy debiutuje na Apple Watch z Apple Intelligence i wprowadza pierwsze w swoim rodzaju treningi, w których na podstawie danych treningowych i wcześniejszej aktywności fizycznej użytkownika przekazuje spersonalizowane sugestie mające motywować go podczas ćwiczeń.
Działający na urządzeniu model Apple Intelligence teraz dostępny dla deweloperów
Apple udostępni każdej aplikacji możliwość bezpośredniego korzystania z działającego na urządzeniu modelu bazowego, na którym opiera się system Apple Intelligence.
Architektura Foundation Models pozwala deweloperom korzystać bezpośrednio z działającego na urządzeniu modelu bazowego, na którym opiera się system Apple Intelligence. Zyskują dzięki temu dostęp do algorytmów, które są wydajne, szybkie, zaprojektowane z myślą o ochronie prywatności i dostępne dla użytkowników nawet w trybie offline.
Dzięki dostępowi do architektury Foundation Models deweloperzy aplikacji będą mogli z pomocą Apple Intelligence dostarczać użytkownikom rozwiązania, które są inteligentne, dostępne dla nich offline i które chronią ich prywatność, z użyciem inferencji AI bez dodatkowych opłat. Mowa tu na przykład o aplikacji edukacyjnej, która potrafi wykorzystać model operujący na urządzeniu, aby wygenerować spersonalizowany test na podstawie notatek użytkownika (bez kosztów interfejsów API operujących w chmurze). Albo o aplikacji outdoorowej z wyszukiwarką w języku naturalnym, która działa, nawet gdy użytkownik jest offlline.
Architektura Foundation Models obsługuje natywnie język Swift, dlatego deweloperom wystarczą zaledwie trzy linijki kodu, by z łatwością uzyskać dostęp do modelu Apple Intelligence.
Wspomniana architektura obsługuje natywnie język Swift, dlatego deweloperom wystarczą zaledwie trzy linijki kodu, by z łatwością uzyskać dostęp do modelu Apple Intelligence. Prowadzone generowanie zawartości, wywoływanie narzędzi i inne rozwiązania zostały wbudowane w tę architekturę, przez co wdrażanie funkcji umożliwiających generowanie treści wprost do istniejącej już aplikacji jest prostsze niż kiedykolwiek.
Skróty teraz bardziej inteligentne
Funkcja Skróty jest jeszcze bardziej pomocna i inteligentna. Użytkownicy mają do dyspozycji działania inteligentne, czyli zestaw nowych skrótów obsługiwanych przez Apple Intelligence. Z myślą o użytkownikach przygotowano specjalne działania dla takich funkcji jak podsumowanie tekstu z Narzędziami pisania lub tworzenie obrazów z Image Playground.
Teraz użytkownicy będą mogli bezpośrednio wykorzystać potencjał modeli Apple Intelligence, tych działających na urządzeniu, albo tych w prywatnej chmurze obliczeniowej, aby generować odpowiedzi zgodne z przeznaczeniem skrótu, zachowując jednocześnie poufność wykorzystywanych informacji. Na przykład, osoba studiująca może utworzyć skrót korzystający z modeli Apple Intelligence, żeby porównać zapis dźwiękowy wykładu z własnymi notatkami, a następnie dodać ważne informacje, które pominęła. Użytkownicy mogą także skorzystać z ChatGPT, aby uzyskać odpowiedzi zgodne z przeznaczeniem ich skrótu.
Skróty dostają turbodoładowanie w postaci Apple Intelligence. Teraz użytkownicy będą mogli wykorzystać potencjał modeli Apple Intelligence, tych działających na urządzeniu, albo tych w prywatnej chmurze obliczeniowej, aby generować odpowiedzi zgodne z przeznaczeniem skrótu.
Dodatkowe nowe funkcje
Apple Intelligence jest jeszcze silniej zintegrowane w aplikacjach i rozwiązaniach wykorzystywanych przez użytkowników na co dzień.
- Najważniejsze działania w e-mailach, na stronach internetowych, w notatkach lub innej treści można teraz identyfikować i automatycznie kategoryzować w aplikacji Przypomnienia.
- Aplikacja Portfel potrafi teraz identyfikować i podsumowywać informacje dotyczące monitorowania zamówienia na podstawie e-maili wysyłanych przez sprzedawców lub przewoźników. Obejmuje to wszystkie zamówienia użytkownika, co daje mu w jednym miejscu wgląd m.in. w pełne informacje o zamówieniu czy powiadomienia o postępach w jego realizacji.
- Użytkownicy mogą utworzyć ankietę na dowolny temat w aplikacji Wiadomości. Z pomocą Apple Intelligence aplikacja ta może wykryć sytuację, w której utworzenie ankiety byłoby przydatne, a następnie ją zasugerować. Ponadto Tła w aplikacji Wiadomości pozwalają użytkownikom personalizować czaty przy pomocy olśniewających wzorów. Natomiast za pomocą Image Playground mogą oni tworzyć unikalne tła dopasowane do bieżącej konwersacji.
Funkcje te rozbudowują szeroki wachlarz możliwości Apple Intelligence dostępnych już dla użytkowników:
- Narzędzia pisania pomagają przeredagować, poprawić i podsumować tekst. Natomiast funkcja Describe Your Change pozwala opisać konkretną zmianę, którą użytkownik chce wprowadzić do swojego tekstu, np. przemienić zaproszenie na kolację w wiersz.
- Narzędzie Oczyść w aplikacji Zdjęcia pozwala użytkownikom usunąć rozpraszające elementy, zachowując jednocześnie klimat uchwyconego ujęcia.
- Analiza wizualna dzięki wykorzystaniu Apple Intelligence pomaga użytkownikom niezwłocznie poznawać obiekty i miejsca w ich otoczeniu.
- Genmoji umożliwia tworzenie własnych emoji według wpisanego opisu. Podobnie jak zwykłe emoji, Genmoji można wstawić w tekście wiadomości lub udostępnić za pomocą funkcji Tapback jako naklejkę bądź reakcję.
- Image Playground umożliwia użytkownikom tworzenie zabawnych obrazów w zaledwie kilka chwil, dając im do dyspozycji różne koncepcje, takie jak tematy, stroje, akcesoria czy miejsca. Użytkownicy mogą też dodawać własne opisy, a nawet tworzyć obrazy przypominające członków rodziny lub przyjaciół wzorowane na zdjęciach z ich biblioteki.
- Różdżka graficzna potrafi odmienić proste szkice w dopracowane obrazy uzupełniające notatki użytkownika.
- Streszczenia e-maili pozwalają użytkownikom przeglądać kluczowe informacje z wiadomości e-mail lub długiego wątku przez kliknięcie opcji Podsumuj.
- Funkcja Odpowiedź inteligentna przedstawia sugestie szybkiej odpowiedzi w aplikacjach Poczta i Wiadomości.
- Funkcja Siri zyskuje na naturalności i jest bardziej pomocna. Opcja napisania do Siri pozwala skorzystać z szerokiej wiedzy tego asystenta o produktach, funkcjach i ustawieniach urządzeń Apple. Siri potrafi także śledzić przebieg konwersacji i rozumie sens wypowiedzi nawet mimo drobnych przejęzyczeń, a także pamięta informacje pozyskane przy realizacji wcześniejszego zadania.
- Narzędzia pisania i Siri mają zintegrowany dostęp do systemu ChatGPT, co pozwala użytkownikom korzystać z zasobów wiedzy tego czatbota oraz jego możliwości w zakresie analizowania obrazów i dokumentów bez konieczności przełączania się między narzędziami.
- Wyszukiwanie w języku naturalnym w aplikacji Zdjęcia ułatwia odnalezienie zdjęcia lub filmu przez opisanie go.
- Wpisując opis, w aplikacji zdjęcia można także tworzyć filmy ze wspomnieniami.
- Podsumowania transkrypcji nagrań audio w aplikacji Notatki tworzone są automatycznie, aby najważniejsze informacje były widoczne na pierwszy rzut oka.
- Użytkownicy mogą generować podsumowania zapisów transkrypcji rozmów, aby wyróżnić ważne szczegóły.
- Wiadomości priorytetowe to sekcja u góry skrzynki odbiorczej wyświetlająca najpilniejsze e-maile, takie jak zaproszenia na lunch z datą tego samego dnia czy karty pokładowe.
- Powiadomienia priorytetowe pojawiają się u góry listy powiadomień użytkownika, wyróżniając ważne powiadomienia, które mogą wymagać natychmiastowej uwagi.
- Funkcja Streszczenia powiadomień daje użytkownikom opcję przejrzenia długich lub ułożonych w stosy powiadomień i podsumowuje kluczowe informacje na ekranie blokady.
- Funkcja Podglądy w aplikacjach Poczta i Wiadomości pokazuje użytkownikom krótkie streszczenie bez konieczności otwierania wiadomości.
- Tryb skupienia Nie rozpraszaj pokazuje jedynie powiadomienia wymagające natychmiastowej uwagi.
Przełom w ochronie prywatności w systemach sztucznej inteligencji
System Apple Intelligence powstał z myślą o nieustannej ochronie prywatności użytkowników, dlatego korzysta z przetwarzania na urządzeniu, co oznacza, że wiele z modeli, na których opiera się ten system, działa wyłącznie lokalnie. W przypadku zapytań wymagających dostępu do większych modeli prywatna chmura obliczeniowa rozszerza rozwiązania zapewniające bezpieczeństwo i prywatność z iPhone’a na rozwiązanie chmurowe, aby możliwe było korzystanie z bardziej złożonych algorytmów. Dlatego dane użytkowników nigdy nie są przechowywane przez firmę Apple ani jej udostępniane. Wykorzystywane są wyłącznie do obsługi zapytania użytkownika. To, czy taka prywatność jest zapewniana, kontrolują już niezależni eksperci, którzy mogą weryfikować kod rozwiązań działających na serwerach z układami scalonymi Apple. To niezwykły postęp dla ochrony prywatności w systemach sztucznej inteligencji.
Dostępność
Wszystkie nowe funkcje można testować od dziś w ramach programu Apple Developer Program na stronie developer.apple.com, a ogólnodostępna wersja beta zostanie udostępniona w ramach programu Apple Beta Software Program w przyszłym miesiącu na stronie beta.apple.com/pl. Użytkownicy, którzy włączą Apple Intelligence na zgodnych urządzeniach, na których ustawiono ten sam obsługiwany język, uzyskają dostęp tej jesieni. Obejmuje to wszystkie modele iPhone’a 16, iPhone’a 15 Pro, iPhone’a 15 Pro Max, iPada mini (A17 Pro) oraz modele iPada i Maca z czipem M1 i nowszymi, z językiem Siri i urządzenia ustawionym na ten sam obsługiwany język: angielski, chiński (uproszczony), francuski, hiszpański, japoński, koreański, niemiecki, portugalski (Brazylia) lub włoski. Obsługa większej liczby języków zostanie wprowadzona w ciągu tego roku. Nowe języki to: chiński (tradycyjny), duński, niderlandzki, norweski, portugalski (Portugalia), szwedzki, turecki i wietnamski. Niektóre funkcje mogą nie być dostępne we wszystkich językach lub regionach. Dostępność może być różna w zależności od lokalnych przepisów. Więcej informacji na stronie apple.com/pl/apple-intelligence.
Źródło: Apple
