На VII Форуме «Франкенштейн на кибербанке: ИИ и технологии будущего в финансовом секторе» Богдан Гарбар, CPO и руководитель Центра платформенных ИИ-решений ОТП Банка, представил инженерную методику расчета вычислительных ресурсов для сервисов на основе генеративного искусственного интеллекта.
По словам эксперта, планирование вычислительных мощностей остается одной из ключевых задач при внедрении генеративного ИИ. До настоящего времени большинство компаний принимали решения на основе экспертных оценок, приблизительных ориентиров и данных из непрозрачных источников, что затрудняло точное бюджетирование и повышало инвестиционные риски. Избыточные закупки могли заморозить капитал в оборудовании, которое простаивало и быстро устаревало, а недостаточные мощности приводили к тому, что сервисы не справлялись с нагрузкой, что негативно сказывалось на скорости работы и удовлетворенности клиентов. «Когда мы начинали внедрять генеративный ИИ, столкнулись с классической дилеммой: заложить слишком много ресурсов — заморозить капитальные затраты, заложить слишком мало — потерять клиентов из-за неработающего сервиса. Существующие калькуляторы и бенчмарки оказались непрозрачными, и мы решили разобраться, как все работает на атомарном уровне», — отметил Богдан Гарбар. Продолжить чтение
