Официальный блог Google Россия
Джефф Дин, старший научный сотрудник и вице-президент Google Research
За последние несколько десятилетий я стал свидетелем больших изменений, которые произошли в машинном обучении (ML) и информатики. Думаю, результатом этого долговременного прогресса станет ряд научных прорывов, которые мы увидим уже в ближайшие несколько лет. Эти достижения в конечном итоге принесут пользу миллиардам людей и окажут большое влияние на наши жизни. В этом материале я выделю пять направлений, на которые серьезно повлияет ML.
Тренд 1. Более мощные модели ML общего назначения
Сейчас исследователи работают с более крупными, мощными моделями машинного обучения. К примеру, в сфере лингвистики несколько лет назад модели с миллиардами параметров тренировались на десятках миллиардов сегментов данных. Сегодня на триллионах сегментов данных тренируются модели с сотнями миллиардов или даже триллионами параметров (например, разреженные нейросети, такие как наша модель GShard с 600 млрд параметров).
Многие из таких передовых моделей показали удивительную способность к генерализации, которая позволяет выполнять новые языковые задачи. В качестве примера можно рассмотреть нашу технологию LaMDA, в которой модель демонстрирует нетривиальную способность вести открытый диалог, не теряя нити беседы даже при многократной смене темы.
Модели-трансформеры играют большую роль в области распознавания изображений, видеоматериалов и речи. Как прогнозировалось в работе о закономерностях масштабирования моделей Vision Transformer, модели-трансформеры существенно выигрывают при их масштабировании. Трансформеры, распознающие изображения и классифицирующие видео, лидируют по многим показателям. Мы ранее демонстрировали, что добавление изображений к видеоматериалам при тренировке моделей по распознаванию может повысить эффективность их работы, особенно при сравнении с моделями, которые тренировались только на видеоматериалах.
Качество выходных данных у генеративных моделей также существенно улучшается. За последние несколько лет эти модели достигли значительных успехов, научившись создавать реалистичные изображения лишь на основании описания (например, «ирландский сеттер» или «трамвай»). Они даже могут «додумывать» изображение с низким разрешением, создавая вполне естественный экземпляр высокого разрешения («Компьютер, улучши качество!») или создавать «бесконечную природу» — генерировать природные панорамы из одного изображения.
Мы видим в этих разработках не только мощный потенциал, но и большую ответственность, поэтому мы тщательно отбираем возможные сценарии использования таких моделей в соответствии с принципами применения искусственного интеллекта.
Кроме передовых одномодальных моделей начинают появляться и крупномасштабные мультимодальные. На сегодняшний день это одни из самых совершенных нейросетей, поскольку они способны не только понимать разные модальности (например, язык, изображения, речь, видео), но и выдавать в них результат: например, генерировать изображения на основе предложений или параграфа или давать понятное описание визуальной составляющей изображения. Это невероятно интересно, ведь, как и в обычной жизни, многие вещи легче воспринимать сразу в нескольких форматах (например, гораздо эффективнее не только почитать о чем-либо, но и просмотреть презентацию об этом).
Все это указывает на то, что вскоре мы сможем тренировать высокопроизводительные модели общего назначения, способные обрабатывать несколько модальностей данных и решать тысячи или миллионы задач.
Добиться более высокой эффективности мультимодальных моделей можно, если обеспечивать в них разреженность, чтобы для выполнения конкретной задачи активировались только наиболее подходящие части модели. В течение следующих нескольких лет мы реализуем это видение в новой архитектуре искусственного интеллекта — Pathways. Мы ожидаем значительный прогресс в этой области, поскольку будут объединены многие идеи, которые до сих пор разрабатывались относительно независимо.
Тренд 2. Повышение эффективности машинного обучения
Повышение эффективности, обусловленное достижениями в разработке компьютерного оборудования, совершенствования алгоритмов ML, а также исследованиями в области метаобучения, расширяют возможности моделей машинного обучения. Многие аспекты процесса разработки ML — от оборудования, на котором обучается и выполняется модель, до отдельных компонентов архитектуры МО — можно сделать более эффективными, при этом сохранив или даже повысив общую производительность модели.
Продолжение работы над улучшением производительности ускорителей ML
Каждое новое поколение ускорителей машинного обучения лучше предыдущего. Чипы становятся производительнее, а масштабы систем увеличиваются. В прошлом году было анонсировано четвертое поколение тензорных процессоров TPUv4, которые в 2,7 раз производительнее TPUv3 в тестах MLPerf.
Совершенствование компиляции и оптимизация рабочих задач ML
Даже если аппаратное обеспечение не претерпело изменений, улучшения в компиляторах и другие оптимизации системного программного обеспечения ускорителей МО могут привести к значительному повышению эффективности.
Наши активные поиски возможностей совершенствования архитектуры и алгоритмов моделей ML, включающие обучение с подкреплением и эволюционные техники, вдохновили других специалистов проводить исследования в своих сферах деятельности. Чтобы помочь им в этом, мы открыли свободный доступ к платформе Model Search, которая позволяет выполнять поиск параметров моделей в других областях.
Внедрение разреженности
Разреженность подразумевает, что при обучении на примере либо на фрагменте данных или при выполнении определенной задачи активируется лишь наиболее подходящая для этого часть высокоемкой модели. Это важное алгоритмическое усовершенствование может значительно повысить производительность. Проект GLaM показал, что путем объединения трансформеров и технологии комбинации узкоспециализированных слоев можно создать модель, которая в среднем превосходит по точности нейросеть GPT-3 в 29 эталонных тестах и при этом использует в 3 раза меньше энергии для обучения, а для вывода ей требуется произвести в 2 раза меньше вычислений.
Тренд 3. Машинное обучение становится все более полезным как для человека, так и для общества в целом
Ряд новых разработок стал возможными благодаря инновациям в области МО и новым полупроводникам мобильных устройств, которые стали лучше воспринимать контекст и ощущать окружающую среду.
Они стали доступнее и проще в эксплуатации, а их вычислительная мощность возросла. Это важный фактор в развитии популярных функций, таких, как мобильная фотография, живой перевод и другие. Примечательно, что последние технологические достижения стали более персонализированными, при этом были усилены меры по обеспечению конфиденциальности.
Как никогда много людей сегодня используют камеры телефонов в жизни и творчестве. Правильное применение машинного обучения в вычислительной фотографии продолжает расширять возможности телефонных камер. Их использование становится проще, повышается производительность. Все это позволяет делать более качественные изображения. Такие функции, как улучшенный HDR+, съемка при слабом освещении, обработка портретов, а также стремление сделать камеры более универсальными, чтобы они могли работать с любыми оттенками кожи, позволяют получать фотографии, которые выглядят профессионально, точнее передают детали объекта фотосъемки и видение фотографа.
Эти снимки могут быть дополнительно усовершенствованы с помощью мощных инструментов на основе ML, которые стали доступны в Google Фото, например, фото с киноэффектом, подавление шума, уменьшение размытости и волшебный ластик.
Для коммуникации в режиме реального времени с носителем другого языка или с человеком на расстоянии многие используют функцию мгновенного перевода в мессенджерах и возможности автоматических субтитров во время телефонных звонков. Точность распознавания речи продолжает расти благодаря таким методам, как обучение с самоконтролем и обучение в режиме «шумное занятие студентов». Во многих языках улучшилось восприятие речи с акцентом, а также в шумных условиях и с наложением другого голоса. Функция перевода живой речи в приложении Google Переводчик стала лучше благодаря стабилизации переведенных фраз, сгенерированных мгновенно. Новые проекты по внедрению технологий ML в традиционные методы речевого кодека Lyra и аудиокодека SoundStream позволили повысить качество передаваемой речи, музыки и других звуков при использовании гораздо более низкого битрейта.
Благодаря технологиям МО реализованы новые методы обеспечения безопасности отдельных пользователей и целых сообществ. Например, функция оповещений о подозрительных сообщениях предупреждает о возможных фишинговых атаках, а безопасная навигация позволяет избежать применения экстренного торможения, предлагая альтернативные маршруты в обход небезопасных участков.
Тенденция 4. Растущее влияние машинного обучения на науку, здравоохранение и экологию
В последние годы растет влияние машинного обучения на развитие фундаментальных наук — от физики до биологии. В смежных областях открываются новые, удивительные перспективы применения ML, например в области возобновляемой энергетики и медицины. Технология становится все более совершенной, надежной и доступной, помогая нам искать решения самых острых глобальных проблем.
Широкомасштабное применение компьютерного зрения
Достижения в области компьютерного зрения за последнее десятилетие позволили использовать компьютеры для решения самых разных задач.
В неврологии методы автоматизированной реконструкции могут воспроизвести нервную соединительную структуру тканей головного мозга, основываясь на изображениях тонких срезов ткани головного мозга, полученных с помощью электронной микроскопии высокого разрешения. Ранее совместно с научным сообществом, мы смогли воссоздать структуру мозга плодовой мушки, мыши и певчей птицы. В прошлом году вместе с лабораторией Лихтмана Гарвардского университета мы проанализировали крупнейший визуализированный и реконструированный образец мозговой ткани и провели первое крупномасштабное исследование синаптических связей в коре головного мозга человека, охватывающее несколько типов клеток. Цель этой работы — создать новый ресурс, который поможет ученым в изучении ошеломляющей сложности строения человеческого мозга.
Технология компьютерного зрения активно используется и для решения глобальных проблем. Метод прогнозирования погоды, основанный на глубоком обучении на основании спутниковых, радиолокационных изображений в сочетании с другими атмосферными данными, дает более точный прогноз погоды и осадков на ближайшее 12 часов, чем традиционные физические модели.
При этом такой прогноз составляется гораздо быстрее, что во время экстремальных погодных условий может иметь решающее значение.
Исследование возможностей автоматического моделирования
Еще один подход, показавший отличные результаты — это способность алгоритма ML изучить и смоделировать пространство для последующего автоматического поиска решений. Так, например, вариационный автокодировщик обучился созданию эстетически привлекательных и практичных макетов документов по принципу трансформера. Этот же подход можно использовать для создания эскизов мебели. В другом эксперименте модель МО применили для автоматического поиска возможностей усовершенствования дизайна компьютерной игры с целью улучшить ее играбельность и другие атрибуты игрового процесса.
Применение ML в области здравоохранения
Помимо влияния на развитие фундаментальных наук, машинное обучение также может сыграть ведущую роль в развитии медицины и здравоохранения.
Идея использовать достижения в этой области существует уже давно. Одной из первых наших задач стала разработка программного обеспечения, которое помогало анализировать эпидемиологические данные. Но постепенно мы открываем новые возможности ML и, конечно же, ставим новые задачи.
Возьмем, к примеру, область геномики. С момента возникновения этой науки компьютерные технологии играли важную роль в ее развитии. Появление машинного обучения разрушило старые парадигмы и подарило новые возможности. Мы запустили бесплатное программное обеспечение DeepConsensus, а позже в сотрудничестве с UCSC выпустили PEPPER-DeepVariant, которые поддерживают существующие технологии и значительно ускоряют процесс секвенирования биополимеров.
Наш метод фенотипирования на основе ML помогает преобразовать тяжелые изображения и массивы текстовых данных в фенотипы, пригодные для исследования. А наш метод DeepNull позволяет работать с большими объемами данных в области генетических исследований.
Мы надеемся, что в будущем схожие алгоритмы машинного обучения будут применяться для диагностирования рака молочной железы, рака легких, ускорения лечения раковых больных с помощью лучевой терапии, определения аномалий на рентгеновских снимках и помощи в проведении биопсии рака простаты.
Применение МО для преодоления климатического кризиса
Недавно мы представили функцию построения экологически безопасных маршрутов в Google Картах. По нашим оценкам, это поможет сократить выбросы газа более чем на 1 млн тонн в год и позволит снизить расходы на топливо. Подобный результат сравним с сокращением количества автомобилей на дорогах до 200 000 единиц.
В 2021 году наша инициатива по прогнозированию наводнений была расширена и охватила большее количество людей, а именно — 360 миллионов человек. Мы отправили более 115 миллионов предупреждений об угрозе наводнения на мобильные устройства пользователей — это в 3 раза больше, чем годом ранее.
Тенденция 5. Более глубокое и широкое понимание ИИ
Поскольку ML все чаще используется в сфере технологий и в обществе в целом, мы считаем необходимым разрабатывать новые методы обеспечения справедливого и равноправного применения этой технологии. Это основное направление деятельности нашей исследовательской группы, отвечающей за ИИ и технологии, ориентированных на человека, и мы проводим множество исследований на тему ответственного применения МО.
Мы пристально изучаем системы рекомендаций, основанных на данных об активности пользователей в онлайн-сервисах. Эти системы часто состоят из нескольких отдельных компонентов, и чтобы понимать, насколько справедливо и объективно они работают, важно знать, как работают компоненты вместе и по отдельности. Недавние исследования помогли разобраться в этих взаимоотношениях и открыли методы, с помощью которых можно повысить «справедливость» ее индивидуальных компонентов и всей рекомендательной системы в целом.:max_bytes(150000):strip_icc()/google-news-topic-cadd467adbcd4c0c9b7c3911450a3ca0.jpg)
Кроме того, при обучении системы на неявной активности пользователя важно, чтобы системы рекомендаций обучались непредвзято, поскольку прямой подход к обучению на элементах, которые были показаны предыдущим пользователям, демонстрирует формы предвзятости.
Создание общедоступных всеобъемлющих и менее предвзятых баз данных — возможность усовершенствовать машинное обучение для всех. В 2016 году мы представили набор данных Open Images, состоящий примерно из 9 миллионов изображений с описаниями, охватывающими тысячи категорий объектов и аннотациями для 600 различных классов.
Новости ∙ Документы ∙ Президент России
За семь дней
Для персонала (экипажа) определённых видов транспорта аттестация в области транспортной безопасности заменена на проведение инструктажа
2023-07-25 Отдел редакции официального сайта Президента РоссииУстановлен запрет на осуществление медицинских вмешательств, включая применение лекарственных препаратов, направленных на смену пола
2023-07-25 Отдел редакции официального сайта Президента РоссииПодписан закон, разрешающий совершеннолетним студентам выпускных курсов педагогических колледжей работать в дошкольных учреждениях и в младших классах
2023-07-25 Отдел редакции официального сайта Президента РоссииПодписан закон, направленный на совершенствование процедуры заключения договоров пользования рыболовными участками
2023-07-25 Отдел редакции официального сайта Президента РоссииВ статью 17 закона об адвокатской деятельности и адвокатуре внесены изменения
2023-07-25 Отдел редакции официального сайта Президента РоссииУсовершенствовано информационное взаимодействие в рамках федеральной государственной информационной системы сведений санитарно-эпидемиологического характера
2023-07-25 Отдел редакции официального сайта Президента РоссииВнесены изменения в закон о специальной оценке условий труда
2023-07-25 Отдел редакции официального сайта Президента РоссииПодписан закон, направленный на противодействие нелегальному обороту табачной и никотинсодержащей продукции на территории России
2023-07-25 Отдел редакции официального сайта Президента РоссииВ закон о российском движении детей и молодёжи внесены изменения
2023-07-25 Отдел редакции официального сайта Президента РоссииЗаконодательно закреплён правовой статус Федерального научно-методического совета по сохранению и государственной охране объектов культурного наследия (памятников истории и культуры) народов Российской Федерации
2023-07-25 Отдел редакции официального сайта Президента РоссииСубъекты Российской Федерации наделены правом устанавливать порядок осуществления деятельности по обращению с животными без владельцев и определять перечень мероприятий при осуществлении такой деятельности
2023-07-25 Отдел редакции официального сайта Президента РоссииУстановлена новая памятная дата: 12 мая – День победного завершения советскими войсками Крымской наступательной операции (1944 год)
2023-07-25 Отдел редакции официального сайта Президента РоссииЗаконодательно уточнены условия и порядок медицинского обеспечения сотрудников некоторых федеральных органов исполнительной власти
2023-07-25 Отдел редакции официального сайта Президента РоссииВ законодательство введено понятие «опорная сеть автомобильных дорог»
2023-07-25 Отдел редакции официального сайта Президента РоссииВнесено изменение в статью 25 закона о государственном регулировании в области добычи и использования угля и особенностях соцзащиты работников угольной промышленности
2023-07-25 Отдел редакции официального сайта Президента РоссииУстановлены дополнительные меры защиты прав граждан, утративших единственное жильё в связи с оспариванием сделки по его приобретению в рамках дела о банкротстве продавца
2023-07-25 Отдел редакции официального сайта Президента РоссииВнесены изменения в закон о промышленной политике
2023-07-25 Отдел редакции официального сайта Президента РоссииЗаконодательно определены особенности участия субъектов малого и среднего предпринимательства в приватизации объектов культурного наследия
2023-07-24 Отдел редакции официального сайта Президента РоссииВ законодательство внесены изменения, направленные на совершенствование механизмов противодействия хищению денежных средств со счетов граждан
2023-07-25 Отдел редакции официального сайта Президента РоссииЗаконодательно установлен упрощённый порядок регистрации прав на объекты незавершённого строительства
2023-07-25 Отдел редакции официального сайта Президента РоссииGoogle удалит ссылки на канадские новости из результатов поиска в стране
Компания Google объявила, что перестанет показывать ссылки на канадские новости в своих продуктах в Канаде после принятия Закона об онлайн-новостях, который требует, чтобы онлайн-платформы платили канадским новостным агентствам сборы за контент.
«Когда закон вступит в силу, мы удалим ссылки на канадские новости из наших продуктов Search, News и Discover и больше не сможем управлять Google News Showcase в Канаде», — заявил Кент Уокер, президент по глобальным связям Google и Alphabet, в своем заявлении в четверг.
На прошлой неделе Meta также заявила, что удалит канадские новости из Instagram и Facebook. Google и Meta выступили против Закона об онлайн-новостях, который вскоре станет законом, который был разработан, чтобы помочь борющимся новостным агентствам получать более высокую компенсацию от Big Tech.
Google раскритиковал закон, назвав его «неработоспособным» и «неправильным подходом к поддержке журналистики в Канаде». Google также закрывает свою программу Google News Showcase в Канаде, которая платит издателям новостей за подборку новостей на платформах Google.
«Мы разочарованы, что до этого дошло. Мы не воспринимаем это решение или его последствия легкомысленно и считаем, что важно как можно раньше быть прозрачными с канадскими издателями и нашими пользователями», — говорится в сообщении.
Google заявил, что помогает издателям новостей зарабатывать деньги с помощью рекламы и новых подписок, которые являются результатом воздействия на платформы Google.
Законодатели представили закон, известный как законопроект C-18, в ответ на быстрое сокращение числа местных отделов новостей в Канаде в последние годы, когда, по данным Министерства канадского наследия, крупные технологические компании получали прибыль от доходов от онлайн-рекламы.
«Мы хотим убедиться, что средства массовой информации и журналисты получают справедливое вознаграждение за свою работу», — заявил в прошлом году министр наследия Канады Пабло Родригес, автор законопроекта.
Законопроект C-18, который был представлен в апреле 2022 года, получил Королевское согласие, последний шаг перед тем, как он станет федеральным законом, 22 июня. Закон пройдет процедуру регулирования, прежде чем он будет применен, в котором Google заявила, что планирует участвовать. Первоначально Facebook запретил совместное использование и просмотр местных и международных новостей в Австралии, но восстановил доступ к новостям через несколько дней после переговоров с правительством Австралии.
За последние три года несколько стран ввели аналогичные правила, требующие от технологических компаний платить местным новостным организациям за их онлайн-контент.
В 2021 году Google согласился платить французским изданиям за повторное использование их контента. В 2020 году через Google News Showcase он согласился оплатить публикации в Германии, Бразилии, Великобритании и других странах в рамках сделки на сумму 1 миллиард долларов.
В 2014 году Google отказался от службы новостей в Испании, вместо того чтобы платить издателям, но в прошлом году восстановил испанские новости после того, как законы страны об авторском праве предоставили новостным агентствам больше возможностей для монетизации.
В США попытки взимать плату с Big Tech за новостной контент продвигались медленнее.
Сенатор Эми Клобучар, штат Миннесота, в этом месяце представила через Юридический комитет Закон о конкуренции и сохранении журналистских материалов, который в предыдущие годы застопорился.
Это будет поддерживать издателей новостей в переговорах с техническими платформами о плате за контент.
Ранее Meta выступала против этого акта, угрожая удалить новости со своих платформ, если Конгресс примет законопроект.
Аналогичный законопроект был внесен в марте в Калифорнии; это потребует от компаний социальных сетей платить «плату за использование журналистики», которая включает процент от их дохода от рекламы издателям новостей.
Хадиджа ХогирХадиджа Хогир — стажер в техническом отделе NBC News.
Google Tests А.И. Инструмент для написания новостных статей
Business|Google Tests A.I. Инструмент для написания новостных статей
https://www.nytimes.com/2023/07/19/business/google-artificial-intelligence-news-articles.htmlРеклама
ПРОПУСТИТЬ РЕКЛАМУ Продукт, предназначенный для помощи журналистам, был продемонстрирован руководителям The New York Times, The Washington Post и News Corp, которой принадлежит The Wall Street Journal.
Google тестирует продукт, который использует технологию искусственного интеллекта для создания новостей, и представляет его новостным организациям, включая The New York Times, The Washington Post и владельца The Wall Street Journal News Corp, по словам трех человек, знакомых с этим вопросом.
Инструмент, известный внутри компании под рабочим названием Genesis, может собирать информацию — например, детали текущих событий — и генерировать новостной контент.
Один из трех человек, знакомых с продуктом, сказал, что Google считает, что он может служить своего рода личным помощником для журналистов, автоматизируя одни задачи, чтобы высвободить время для других, и что компания рассматривает его как ответственную технологию, которая может помочь издательской индустрии избежать ловушек генеративного искусственного интеллекта.
Некоторые руководители, увидевшие презентацию Google, назвали ее тревожной, попросив не называть их имени при обсуждении конфиденциального вопроса. Два человека сказали, что усилия, затраченные на создание точных и искусных новостей, воспринимались как нечто само собой разумеющееся.
Дженн Крайдер, пресс-секретарь Google, заявила в своем заявлении, что «в сотрудничестве с издателями новостей, особенно с небольшими издательствами, мы находимся на самых ранних стадиях изучения идей потенциального предоставления инструментов с поддержкой ИИ, чтобы помочь их журналистам в их работе».
«Проще говоря, эти инструменты не предназначены и не могут заменить основную роль журналистов в освещении, создании и проверке своих статей», — добавила она. Вместо этого они могут предоставить варианты заголовков и других стилей написания.
Представитель News Corp заявил в своем заявлении: «У нас отличные отношения с Google, и мы ценим многолетнюю приверженность Сундара Пичаи журналистике».
The Times и The Post отказались от комментариев.
Джефф Джарвис, профессор журналистики и обозреватель СМИ, сказал, что новый инструмент Google, как описано, имеет потенциальные преимущества и недостатки.
«Если эта технология может надежно предоставлять фактическую информацию, журналисты должны использовать этот инструмент», — сказал г-н Джарвис, директор Центра предпринимательской журналистики Tow-Knight в Высшей школе журналистики Крейга Ньюмарка при Городском университете Нью-Йорка.
«Если, с другой стороны, журналисты и новостные организации неправильно используют его в темах, требующих тонкости и культурного понимания, — продолжил он, — то это может подорвать доверие не только к инструменту, но и к новостным организациям, которые его используют».
Новостные организации по всему миру решают, стоит ли использовать инструменты искусственного интеллекта в своих редакциях. Многие, в том числе The Times, NPR и Insider, уведомили сотрудников о намерении изучить возможности использования ИИ.
чтобы увидеть, как это может быть ответственно применено к области новостей с высокими ставками, где важны секунды и точность.
Но новый инструмент Google наверняка вызовет тревогу и у журналистов, которые десятилетиями писали собственные статьи. Некоторые новостные организации, в том числе Associated Press, уже давно используют ИИ. для создания материалов по различным вопросам, включая отчеты о корпоративных доходах, но они составляют небольшую часть статей службы по сравнению с теми, которые создаются журналистами.
Искусственный интеллект может изменить это, позволяя пользователям создавать статьи в более широком масштабе, которые, если их не отредактировать и не тщательно проверить, могут распространять дезинформацию и влиять на восприятие традиционно написанных историй.
Несмотря на то, что Google стремительными темпами разрабатывает и внедряет генеративный ИИ, эта технология также ставит перед рекламным гигантом некоторые проблемы. В то время как Google традиционно играл роль куратора информации и отправки пользователей на веб-сайты издателей для получения дополнительной информации, такие инструменты, как его чат-бот Bard, представляют фактические утверждения, которые иногда неверны, и не направляют трафик в более авторитетные источники, такие как издатели новостей.