В Казахстане разработана большая языковая модель KazLLM

В Казахстане завершено обучение большой языковой модели KazLLM на основе 148 миллиардов токенов на казахском, английском, русском и турецком языках. Модель разработана командой Института Умных Систем и Искусственного Интеллекта (ISSAI) при Nazarbayev University при поддержке и координации МЦРИАП РК и МНВО РК.

Данная модель будет доступна широкому кругу пользователей, включая научное сообщество, стартапы и крупные корпорации. В соответствии с инициативой Главы Государства, KazLLM станет основой для создания более масштабного проекта — TurkLLM, направленного на развитие технологий обработки естественного языка в тюркоязычном пространстве. Соответствующее соглашение было подписано на прошедшем саммите ОТГ.

Этот проект станет важной вехой в создании национальной AI- инфраструктуры и подтверждением статуса Казахстана в качестве технологического лидера региона. Реализация проекта поспособствовала не только созданию передового инструмента искусственного интеллекта, но и росту компетенции и развития человеческого капитала в области искусственного интеллекта.

Свой вклад в реализацию этого проекта внесли такие лингвистические институты и научно-производственные организации, как Тил Казына, АО «НИТ», Maqsut Narikbayev University и др. институты.

Ключевыми партнерами в создании национальной языковой модели стали Beeline Казахстан и его ИТ-компания QazCode. Объединив усилия и опыт в разработке языковых моделей, таких как Kaz-RoBERTA, а также в создании ИИ-решений для малых языковых групп в партнерстве с зарубежными организациями, компании сыграли важную роль в создании инновационной и доступной модели для казахстанцев. Поддержка в виде предоставленного сервера с вычислительными мощностями 8 DGX H100 значительно ускорили процесс обучения и расширили возможности модели.

Для сравнения: обычному компьютеру нужно несколько дней, чтобы проанализировать архив из 1 миллиона фотографий. В то время как 8 серверов DGX H100, используемых для тренировки KAZ-LLM, справятся с этой задачей всего за несколько секунд.

Самые свежие новости экономики, политики и культуры в нашем Telegram-канале и мобильных приложениях на Android и iOS.