Новые технологии, такие как быстро развивающиеся модели глубокого обучения, привели к созданию все более сложных моделей искусственного интеллекта (ИИ). С обещаниями, начиная от автономных транспортных средств — наземных, воздушных и морских — до узкоспециализированного поиска и создания информации, таких как ChatGPT, возможности кажутся безграничными. Тем не менее, существуют потенциальные ловушки, такие как увольнение с работы и проблемы с конфиденциальностью, а также проблемы с материалами и энергией.
Каждая операция, которую выполняет компьютер, соответствует электрическим сигналам , которые проходят через его оборудование и потребляют энергию. Дип Джаривала из Школы инженерии и прикладных наук, доцент кафедры электротехники и системотехники, и Бенджамин С. Ли, профессор электротехники и системотехники, информатики и информатики, рассказали Penn Today о влиянии растущей зависимости от вычислений ИИ. по мере развития инфраструктуры для удовлетворения его постоянно растущих потребностей.
Что отличает ИИ и его текущие приложения от других итераций вычислений?
Джаривала: Это совершенно новая парадигма с точки зрения функциональности. Вспомните самый первый компьютер, Электрический числовой интегратор и компьютер (ENIAC), который есть у нас в Пенне. Он был создан для выполнения математических операций, которые люди не могли бы вычислить вручную, и в основном использовался для расчета баллистических траекторий, поэтому в его основе была простая логика: сложение, вычитание, умножение и деление, скажем, 10-10. числа, введенные вручную.
Ли: Вычисления для ИИ состоят из трех основных частей. Одним из них является предварительная обработка данных, что означает организацию большого набора данных до того, как вы сможете что-либо с ним сделать. Это может включать в себя маркировку данных или их очистку, но в основном вы просто пытаетесь создать в них некоторую структуру.
После предварительной обработки вы можете начать «обучать» ИИ; это все равно, что учить его интерпретировать данные. Затем мы можем сделать то, что мы называем выводом ИИ, который запускает модель в ответ на запросы пользователей.
Джаривала: В случае ИИ речь идет не столько об обработке необработанных чисел, сколько об использовании сложных алгоритмов и машинного обучения для обучения и адаптации к новой информации или ситуациям. Он выходит за рамки ручного ввода значения, поскольку может извлекать информацию из больших наборов данных, таких как Интернет.
Эта способность собирать данные из разных мест , использовать вероятностные модели для взвешивания релевантности поставленной задаче, интегрировать эту информацию, а затем обеспечивать вывод, который во многих случаях сверхъестественно напоминает человека, — вот что отличает его от традиционных вычислений. Большие языковые модели, такие как ChatGPT, демонстрируют этот новый набор операций, когда вы задаете ему вопрос, и он собирает воедино конкретный ответ. Он берет базовую предпосылку поисковой системы, но ускоряет ее.
Что беспокоит вас по поводу этих изменений в природе вычислений?
Ли: По мере того, как продукты ИИ, такие как ChatGPT и Bing, становятся все более популярными, характер вычислений становится все более основанным на логических выводах. Это небольшое отступление от моделей машинного обучения, которые были популярны несколько лет назад, таких как AlphaGO от DeepMind — машина, обученная быть лучшим игроком в го, — где геркулесовы усилия обучали модель и в конечном итоге демонстрировали новую способность. Теперь масштабные модели искусственного интеллекта внедряются в повседневные операции, такие как поиск, и это требует компромиссов.
Каковы материальные и ресурсные затраты, связанные с ИИ?
Джаривала: Мы принимаем это как должное, но все задачи, которые выполняют наши машины, — это транзакции между памятью и процессорами, и каждая из этих транзакций требует энергии. По мере того как эти задачи становятся все более сложными и требуют больших объемов данных, две вещи начинают экспоненциально возрастать: потребность в большем объеме памяти и потребность в большем количестве энергии.
Что касается памяти, то оценка Semiconductor Research Corporation, консорциума всех основных полупроводниковых компаний, утверждает, что если мы продолжим масштабировать данные с такой скоростью, которая хранится в памяти, сделанной из кремния, мы превзойдем глобальное количество производимого кремния. каждый год. Итак, довольно скоро мы упремся в стену, когда наши цепочки поставок кремния не смогут справиться с объемом генерируемых данных.
Прибавьте к этому тот факт, что наши компьютеры в настоящее время потребляют примерно 20-25% мирового энергоснабжения, и мы видим еще один повод для беспокойства. Если мы будем продолжать в том же духе, к 2040 году вся производимая нами мощность будет нужна только для вычислений, что еще больше усугубит текущий энергетический кризис.
Ли: Есть также опасения по поводу операционных выбросов углерода от вычислений. Таким образом, еще до того, как такие продукты, как ChatGPT, начали привлекать большое внимание, рост ИИ привел к значительному росту центров обработки данных, объектов, предназначенных для размещения ИТ-инфраструктуры для обработки, управления и хранения данных .
И такие компании, как Amazon, Google и Meta, строят все больше и больше таких огромных объектов по всей стране. Фактически, мощность центров обработки данных и выбросы углерода, связанные с центрами обработки данных, удвоились в период с 2017 по 2020 год. Каждый объект потребляет от 20 до 40 мегаватт электроэнергии, и большую часть времени центры обработки данных работают на 100%, что означает все процессоры заняты какой-то работой. Таким образом, объект мощностью 20 мегаватт, вероятно, довольно стабильно потребляет 20 мегаватт — этого достаточно для питания примерно 16 000 домохозяйств — вычисляя столько, сколько возможно, чтобы амортизировать затраты на центр обработки данных, его серверы и системы подачи электроэнергии.
А еще есть воплощенный углеродный след, связанный со строительством и производством. Это возвращает нас к строительству новых заводов по производству полупроводников и упаковке всех микросхем, которые нам необходимо производить, чтобы не отставать от растущего спроса на вычислительные ресурсы. Эти процессы сами по себе чрезвычайно энергоемки, дороги и имеют углеродное воздействие на каждом этапе.
Какую роль играют эти дата-центры и зачем их нужно больше?
Ли: Центры обработки данных обеспечивают экономию за счет масштаба. В прошлом многие предприятия строили свои собственные объекты, а это означало, что им приходилось платить за строительство, ИТ-оборудование, управление серверной комнатой и т. д. Так что в настоящее время гораздо проще просто «арендовать» пространство у Amazon Web Services. . Вот почему облачные вычисления стали популярными в последнее десятилетие.
А в последние годы процессоры общего назначения, преобладавшие в центрах обработки данных с начала 90-х годов, начали вытесняться специализированными процессорами для удовлетворения требований современных вычислений.
Почему так и как компьютерные архитекторы отреагировали на это ограничение?
Ли: Возвращаясь к масштабированию, два наблюдения оказали сильное влияние на архитектуру процессора компьютера: закон Мура и масштабирование Деннарда.
Закон Мура гласит, что количество транзисторов на чипе — частей, которые контролируют поток электронов на полупроводниковом материале — удваивается каждые два года или около того, и исторически задал темп для разработки более мелких и быстрых чипов. Масштабирование Деннарда предполагает, что удвоение числа транзисторов фактически означает их уменьшение, но также и сохранение их удельной мощности, поэтому меньшие микросхемы означают более энергоэффективные микросхемы.
В последнее десятилетие эти эффекты начали замедляться по нескольким причинам, связанным с физическими ограничениями используемых нами материалов. Этот ослабевающий эффект возложил на архитекторов ответственность за разработку новых способов оставаться на переднем крае.
Процессоры общего назначения просто не были достаточно быстры для одновременного выполнения нескольких сложных вычислений, поэтому компьютерные архитекторы начали искать альтернативные конструкции, поэтому графические процессоры (GPU) получили второй взгляд.
Графические процессоры особенно хороши для выполнения сложных вычислений, необходимых для алгоритмов машинного обучения. Они, как правило, более ориентированы на линейную алгебру , например, умножение больших матриц и добавление сложных векторов, так что это также значительно изменило ландшафт компьютерной архитектуры, потому что они привели к созданию того, что мы называем ускорителями для предметной области, аппаратных средств, адаптированных к конкретное приложение.
Ускорители гораздо более энергоэффективны, потому что они изготавливаются на заказ для определенного типа компьютера, а также обеспечивают гораздо более высокую производительность. Таким образом, современные центры обработки данных гораздо более разнообразны, чем те, что были 10–15 лет назад. Однако с этим разнообразием связаны новые затраты, потому что нам нужны новые инженеры для создания и проектирования этих нестандартных аппаратных средств.
Какие еще аппаратные изменения мы, вероятно, увидим, чтобы приспособить новые системы?
Джаривала: Как я уже упоминал, каждая вычислительная задача — это транзакция между памятью и обработкой, требующая некоторого количества энергии, поэтому наша лаборатория совместно с лабораторией Троя Олссона пытается выяснить, как сделать так, чтобы каждая операция потребляла меньше ватт энергии. Один из способов уменьшить этот показатель — тесно интегрировать память и процессоры, потому что в настоящее время они существуют в двух отдельных местах, которые находятся на расстоянии от миллиметров до сантиметров друг от друга, поэтому электричество должно преодолевать большие расстояния, чтобы облегчить вычисления, что делает его неэффективным с точки зрения энергии и времени.
Это немного похоже на создание высотного торгового центра, где вы экономите пространство и энергию и сокращаете время в пути, позволяя людям пользоваться лифтами вместо того, чтобы заставлять их ходить в разные места, как в одноэтажном торговом центре. Мы называем это вертикально гетерогенно-интегрированной архитектурой, и ее разработка является ключом к снижению энергопотребления.
Но эффективная интеграция памяти и обработки сопряжена со своими проблемами, потому что они делают разные вещи, которые вы не хотели бы мешать друг другу. Итак, это проблемы, которые люди, такие как мои коллеги и я, стремимся решить. Мы пытаемся найти новые типы материалов, которые облегчат проектирование энергосберегающих устройств памяти, которые можно установить на процессоры.
У вас есть заключительные мысли?
Джаривала: К настоящему моменту должно быть ясно, что перед нами 800-фунтовая горилла; наши компьютеры и другие устройства становятся ненасытными энергетическими зверями, которых мы продолжаем кормить. Это не означает, что ИИ и его развитие необходимо остановить, потому что он невероятно полезен для важных приложений, таких как ускорение открытия терапевтических средств. Нам просто нужно оставаться в курсе последствий и продолжать настаивать на более устойчивых подходах к проектированию, производству и потреблению.
Теги: ИИ, микроэлектроника, энергия
