Компьютерный разум: генеративный искусственный интеллект в решениях AWS

Искусственный интеллект постепенно проникает в нашу жизнь практически во всех сферах. Новый виток его развития – генеративный искусственный интеллект (GenAi), который позволяет не просто систематизировать и обрабатывать информацию, а создавать контент. Давайте разберемся, что же такое GenAi и что может предложить компания Amazon Web Services в этом направлении уже сейчас

Являясь следующим шагом в разработке искусственного интеллекта, генеративный ИИ дает возможноть создавать разнообразный контент, включая изображения, видео, музыку и т. д. Он может изучить человеческий язык, язык программирования, различные предметы, такие как химия или биология. Поэтому GenAi может использоваться в различных целях, например, для разработки и дизайна продуктов, создания чат-ботов или мультимедиа. В частности, один из наиболее ярких примеров использования генеративного искусственного интеллекта – популярное во всем мире приложение ChatGPT, представляющее собой чат-бот, способный в диалоговом режиме отвечать на вопросы, относящиеся к различным предметным областям.

Вот лишь несколько примеров того, как генеративный искусственный интеллект может помочь компаниям:

• Ускорение исследований;
• Повышение качества обслуживания клиентов;
• Оптимизация бизнес-процессов;
• Увеличение продуктивности работы персонала.

GenAi: модели и принципы работы

Генеративный искусственный интеллект работает на основе моделей машинного обучения, прошедших предварительное обучение на огромных наборах данных. Разделяют базовые модели (FM) и большие языковые модели (LLM).

Запрос пользователя к нейросети с точки зрения модели AI

Базовые модели представляют собой модели машинного обучения, обученные на широком спектре обобщенных и немаркированных данных и способные выполнять целый ряд задач общего характера. Как правило, они используют изученные закономерности и взаимосвязи для прогнозирования следующего элемента последовательности. Например, при создании изображения модель его анализирует и создает более резкую и четкую версию, или предсказывает следующее слово в текстовой строке на основе предыдущих слов и их контекста.

Большие языковые модели являются одним из классов базовых моделей. Их особенностью является то, что они способны выполнять несколько задач благодаря опрежеленным свойствам, позволяющим осваивать сложные концепции. LLM может учитывать множество параметров и создавать контент даже при небольшом количестве входных данных, учась применять полученные знания в самых разных контекстах.

Если традиционные модели машинного обучения пытались определить взаимосвязь между известными и неизвестными факторами, рассматривая известные данные (например, изображения, входящие в обучающий набор) и сопоставляя их с неизвестными (словами), то генеративные модели упрощают эти процессы. Они изучают распределение различных характеристик данных и их взаимосвязь. Например, генеративные модели анализируют изображения животных и регистрируют такие переменные, как различные формы ушей, глаз, хвостов и кожи. Они изучают признаки и их взаимосвязи, чтобы понять, как выглядят различные животные в целом. Затем они могут создавать новые изображения животных, которых не было в наборе обучающих данных.

Далее рассмотрим несколько категорий моделей генеративного искусственного интеллекта.

Модели диффузии создают новые данные путем итеративного внесения контролируемых случайных изменений в исходную выборку данных. Они начинают с исходных данных и постепенно уменьшают их сходство с оригиналом, добавляя незначительные изменения, так называемый шум. Этот шум тщательно контролируется, чтобы генерируемые данные сохраняли целостность и реалистичность. Затем в течение нескольких итераций модель диффузии изменяет процесс на обратный, постепенно удаляя шум, в результате чего получается новый образец данных, похожий на исходный.

Технические особенности с продуктов, входящих в категорию решений GenAi

Генеративные состязательные сети (GAN) также развивают концепцию модели диффузии. GAN обучают две нейронные сети в соревновательном режиме. Первая, так называемый генератор, создает поддельные образцы данных, добавляя в них случайный шум. Вторая, так называемый дискриминатор, пытается отличить реальные данные от поддельных, создаваемых генератором. В процессе обучения генератор постоянно совершенствует способность создавать реалистичные данные, а дискриминатор все лучше отличает реальные данные от поддельных. Этот процесс продолжается до тех пор, пока генератор не выдаст настолько убедительные данные, что дискриминатор не сможет отличить их от реальных. Такие модели широко используются в задачах генерации реалистичных изображений.

Вариационные автокодировщики (VAE) обучаются математическому представлению данных, называемому скрытым пространством. Его можно рассматривать как уникальный код, представляющий данные на основе всех их атрибутов. Например, при изучении лиц в скрытом пространстве присутствуют числа, представляющие форму глаз, носа, скул и ушей. VAE используют две нейронные сети – кодировщик и дешифратор. Кодировщик сопоставляет входные данные со средним значением и дисперсией для каждого измерения скрытого пространства. Она генерирует случайную выборку из гауссовского распределения.

Эта выборка является точкой в скрытом пространстве и представляет собой сжатую упрощенную версию входных данных. Дешифратор получает эту выборку из скрытого пространства и преобразует ее в данные, напоминающие исходный сигнал. Для измерения степени соответствия реконструированных данных исходным используются математические функции.

Модель генеративного искусственного интеллекта на основе трансформера опирается на концепцию кодировщика и дешифратора VAE. Модели, основанные на трансформерах, добавляют новые уровни к кодировщику, чтобы повысить производительность при выполнении текстовых задач, в том числе при понимании, переводе и написании творческих работ. Модели на основе трансформеров оценивают важность различных частей последовательности входных данных при обработке каждого элемента этой последовательности. Также важной особенностью этих моделей является реализация контекстного встраивания. Кодировка элемента последовательности зависит не только от самого элемента, но и от его контекста в последовательности.

Генеративный ИИ в решениях AWS

Для организаций всех размеров и типов планирующих внедрение и развитие искусственного интеллекта, Amazon Web Services предлагает инструменты, позволяющие создавать и масштабировать приложения на базе GenAi. Генеративный искусственный интеллект AWS – это безопасность и конфиденциальность корпоративного уровня, доступ к ведущим в отрасли базовым моделям, приложениям на базе генеративного ИИ и подход, основанный на использовании данных.

Одним из самых перспективных для генеративного ИИ является приложение для генерации кода – Amazon CodeWhisperer, помощник по программированию, позволяющий добиться максимальной производительности разработчиков. CodeWhisperer генерирует предложения для кода в режиме реального времени, начиная от фрагментов и заканчивая полноценными функциями в интегрированной среде разработки на основе комментариев и уже существующего кода. Приложение также поддерживает заполнение интерфейса командной строки и перевод в ней с естественного языка на bash. CodeWhisperer позволяет проверять код и выявлять труднонаходимые уязвимости безопасности, получая рекомендации по их устранению. Сервис поддерживает 15 языков программирования, среди которых есть Python, Java и JavaScript, предпочтительные интегрированные среды разработки, например VS Code, IntelliJ IDEA, Visual Studio, AWS Cloud9, консоль AWS Lambda, JupyterLab и Студию Amazon SageMaker, а также командные строки, включая терминал macOS, iTerm2 и терминал, встроенный в VS Code.

Продукты, входящие в категорию решений GenAi от Amazon Web Services

Еще один полностью управляемый сервис, предлагающий широкий выбор высокопроизводительных базовых моделей от ведущих компаний, занимающихся искусственным интеллектом – Amazon Bedrock. Он обладает широким набором возможностей, необходимых для создания приложений с генеративным искусственным интеллектом, обеспечивая безопасность и конфиденциальность. Amazon Bedrock позволяет экспериментировать и оценивать лучшие базовые модели для своего сценария использования, настраивать их в соответствии со своими данными, используя такие методы, как тонкая настройка и генерация ответов, дополненная результатами поиска (RAG), а также создавать агенты, выполняющие задачи с использованием корпоративных систем и источников данных. Стоит также отметить, что сервис является бессерверным и не требует от пользователя управления какой-либо инфраструктурой.

Для поиска, изучения и развертывания или даже для создания собственных базовых моделей можно использовать Amazon SageMaker JumpStart. Сервис представляет собой центр машинного обучения с базовыми моделями, встроенными алгоритмами и готовыми решениями, которые можно развернуть всего несколькими щелчками мыши. С его помощью можно быстро оценивать, сравнивать и выбирать модели на основе заранее определенных показателей качества. Предварительно обученные модели полностью настраиваются для сценария использования данных пользователя, и их легко развернуть в рабочей среде с помощью пользовательского интерфейса или SDK. Кроме того, есть возможность получить доступ к готовым решениям для распространенных случаев использования и поделиться ими внутри организации, чтобы ускорить создание и развертывание моделей машинного обучения.

AWS HealthScribe – это сервис, отвечающий требованиям HIPAA, который позволяет производителям программного обеспечения для здравоохранения создавать приложения, способные автоматически генерировать клинические заметки на основе анализа разговоров между пациентом и врачом. AWS HealthScribe совмещает распознавание речи и генеративный искусственный интеллект, чтобы снизить объем медицинской документации за счет расшифровки разговоров между пациентом и врачом и создания более удобных для просмотра клинических записей. Этот сервис на базе Amazon Bedrock позволяет быстрее и проще интегрировать возможности генеративного искусственного интеллекта без необходимости управлять базовой инфраструктурой машинного обучения или обучать большие языковые модели для здравоохранения.

Сервис Amazon Q в QuickSight повышает производительность бизнеса за счет возможностей генеративной бизнес-аналитики, которые помогают ускорить принятие решений. Он дает возможность бизнес-аналитикам легко создавать и настраивать визуальные эффекты с помощью команд на естественном языке, а также упрощает восприятие данных для пользователей.