Йо, народ, вы че творите? Выходит новая игра, где мы играем за пришельцев, которые воруют вещи и человеческую ДНК! Называется "Aliens Took My Stuff" — и это не шутка. Чтобы было...
Здарова, москвичи! Наш главный финансовый барометр — Московская биржа — зарегистрировала новый выпуск облигаций от компании «ЭН+ ГИДРО». Речь про бумаги серии 001РС-10, которые ...
Москвичи, привет! Кто ещё не в курсе, во Дворце царя Алексея Михайловича в Коломенском открылась масштабная выставка «Екатерина II и Век Просвещения: Русский проект». Там собрал...
Москвичи, привет! В городе открылся необычный кастинг — «Лаборатория событий» ищет тех, кто обычно остаётся за кулисами. Реквизиторов, монтировщиков, осветителей и гримеров приг...
Чат, привет! Слушайте, какая новость прилетела из городских пабликов — мы, москвичи, коллективно сказали «спасибо» друг другу и городу 885 105 раз за последний месяц! Официальны...
Здорово, москвичи! В городских пабликах снова горячо обсуждают Иванну, дочь Стаса Михайлова. Каждое её новое фото в соцсетях вызывает бурю эмоций: одни восхищаются её красотой и...
Богдан Гарбар (ОТП Банк): «Как не переплачивать за... — Поток Москвичей
Москвичи.net — Главный столичный чат-мессенджер, новости и инсайды Москвы
Технодвиж
Богдан Гарбар (ОТП Банк): «Как не переплачивать за…
0прочитано
Богдан Гарбар (ОТП Банк): «Как не переплачивать за ИИ» На VII Форуме «Франкенштейн на кибербанке: ИИ и технологии будущего в финансовом секторе» Богдан Гарбар, CPO и руководитель Центра платформенных ИИ-решений ОТП Банка, представил инженерную методику расчета вычислительных ресурсов для сервисов на основе генеративного искусственного интеллекта. По словам эксперта, планирование вычислительных мощностей остается одной из ключевых задач при внедрении генеративного ИИ. До настоящего времени большинство компаний принимали решения на основе экспертных оценок, приблизительных ориентиров и данных из непрозрачных источников, что затрудняло точное бюджетирование и повышало инвестиционные риски. Избыточные закупки могли заморозить капитал в оборудовании, которое простаивало и быстро устаревало, а недостаточные мощности приводили к тому, что сервисы не справлялись с нагрузкой, что негативно сказывалось на скорости работы и удовлетворенности клиентов. «Когда мы начинали внедрять генеративный ИИ, столкнулись с классической дилеммой: заложить слишком много ресурсов — заморозить капитальные затраты, заложить слишком мало — потерять клиентов из-за неработающего сервиса. Существующие калькуляторы и бенчмарки оказались непрозрачными, и мы решили разобраться, как все работает на атомарном уровне», — отметил Богдан Гарбар. Он пояснил, что разработка ОТП Банка позволяет перейти от интуитивных оценок к обоснованным расчетам при планировании капитальных затрат на GPU-серверы — наиболее дорогостоящий компонент LLM-инфраструктуры. «Мы создали не просто калькулятор, а инструмент для принятия решений: на какой инфраструктуре строить решение, в каком объеме закупать оборудование и как эффективно распределять вычислительные ресурсы между задачами. Модель связывает ожидаемую нагрузку и требования к качеству сервиса с ключевыми финансовыми показателями проекта — капитальными затратами (CapEx), совокупной стоимостью владения (TCO) и возвратом инвестиций (ROI). В отличие от типовых подходов, она рассчитывает необходимый объем графических процессоров (GPU) на основе реальных бизнес-параметров и ряда технических факторов, которые напрямую влияют на потребность в вычислительных мощностях: объема памяти для одной пользовательской сессии, применения оптимизаций, включая квантование моделей, а также использования специализированных техник обработки запросов, позволяющих снизить нагрузку без потери качества сервиса. Это дает возможность определить минимально необходимый объем оборудования, достаточный для выполнения целевых SLA при оптимальных затратах», – подчеркнул Богдан Гарбар.... Ещё
Верю3
Фейк2
Репост0
◣ развернуть
ответить 1
17:24✓✓
:оеп
⊕
Написать в поток...
🕵️АнонимHidden
×
×
Проверка...
🍪 Мы используем файлы куки для авторизации и быстрой работы сайта.