Как стать автором
Обновить

OpenAI представила алгоритм для текстов GPT-3, который обучили на 175 млрд параметров

Алгоритмы *Машинное обучение *Искусственный интеллект
image

Исследователи из OpenAI показали алгоритм GPT-3, предназначенный для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 миллиардов параметров или 570 гигабайтах текста.
Читать дальше →
Всего голосов 26: ↑22 и ↓4 +18
Просмотры 25K
Комментарии 20

OpenAI представила первый коммерческий продукт — API для доступа к моделям ИИ

API *Машинное обучение *Искусственный интеллект
image

OpenAI выпустила API для коммерческого использования, которое обеспечивает доступ к новым моделям искусственного интеллекта, разработанным компанией. Разработка отмечает, что API предлагает универсальный интерфейс «text in, text out», позволяющий пользователям использовать его практически для любой задачи на английском языке. ПО может переводить, писать рассказы и стихи, а также отвечать на повседневные вопросы.
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 5.1K
Комментарии 7

Microsoft и NVIDIA представили крупнейшую в мире генеративную языковую ИИ-модель

Машинное обучение *Искусственный интеллект Процессоры IT-компании

Microsoft и NVIDIA объединились для создания Megatron-Turing Natural Language Generation ― генеративной языковой ИИ-модели с 530 млрд параметров. Это крупнейшая в мире монолитная трансформаторная языковая модель.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 5.8K
Комментарии 10

Яндекс представил YaLM 100B — самую большую GPT-подобную нейросеть в открытом доступе

Open source *Машинное обучение *Искусственный интеллект IT-компании

Яндекс выложил в свободный доступ нейросеть YaLM 100B, предназначенную для генерации и обработки текстов на русском и английском языках. В пресс-службе компании Хабру сообщили, что на данный момент это самая большая GPT-подобная модель, находящаяся в открытом доступе.

Читать далее
Всего голосов 21: ↑20 и ↓1 +19
Просмотры 5.3K
Комментарии 10

Компания Cerebras Systems представила новый вычислительный комплекс Andromeda

Суперкомпьютеры IT-компании

Cerebras Systems запустила уникальный вычислительный комплекс Andromeda для выполнения серьёзных нагрузок с помощью искусственного интеллекта. В основе вычислительного комплекса лежит кластер из 16 блоков Cerebras CS-2, объединённых 96,8-Тбит/с фабрикой. Каждый из блоков снабжён чипом WSE-2, насчитывающим 850 тысяч ядер, а общее число ядер составляет 13,5 млн. Также в состав каждого чипа входят 40 Гбайт сверхбыстрой памяти. 

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 636
Комментарии 0

Chat GPT помошник для FigmaScript

JavaScript *API *

В конце прошлого года я опубликовал плагин FigmaScript, редактор для написания скриптов с API Figma. Были некоторые задумки по развитию плагина. Но планы планами, а тренды никто не отменял. Все последнее время youtube бомбил меня рекомендациями вроде "Программисты больше не нужны? GPT чат. Как ИИ пишет код". В итоге стало интересно и я решил-таки вылезти из танка и изучить вопрос. Штука эта мне понравилась и я, не долго думая, решил добавить ее в плагин. Сразу, конечно, наткнулся на то, что OpenAI заблокирован для пользователей России. Поэтому я нашел первый попавшийся условно бесплатный api и прикрутил его к FigmaScript.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 3.6K
Комментарии 0

Генеральный директор OpenAI Сэм Альтман прокомментировал слухи о выходе GPT-4

Машинное обучение *Искусственный интеллект IT-компании

Генеральный директор OpenAI Сэм Альтман прокомментировал слухи о GPT-4 во время интервью Youtube-каналу StrictlyVC. В ответ на вопрос, выйдет ли GPT-4 в первом квартале или полугодии 2023 года, он заявил, что «это случится тогда, когда разработчики будут уверены в том, что сделают всё безопасно и ответственно», не назвав никаких конкретных сроков.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 8.2K
Комментарии 23

Разбиение диска объемом больше 2 Тб

Чулан
На сервере увеличили дисковый объем. Поставили 8 дисков по 750 Гб каждый, объединив их в пятый рейд. В итоге получили массив объемом около 4.5 Тб. Тут и столкнулся с ограничением MBR в 2 Тб. Не знаю как под Windows дела обстоят, возможно там все автоматизировано, но на нашем сервере стоит FreeBSD 6.2, и стандартный установщик sysinstall упорно не хотел разбивать диск на полный объем. На помощь пришел GUID partition table (GPT).

UPD: В Windows Server все действительно происходит автоматически. Единственно что GPT доступен начиная с версии Windows Server 2003 Service Pack 1.<p/>

подробности разбиения на примере FreeBSD
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 2.7K
Комментарии 11

Правильное приготовление и работа с ZFS под FreeBSD

*nix *
Некоторое время назад возникла задача построения достаточно вместительного массива для хранения оперативных инкрементальных бекапов. Причём тратить деньги особо не хотелось, а место было нужно. Решение было простым и достаточно удобным. Далее много текста.

Читать дальше →
Всего голосов 39: ↑36 и ↓3 +33
Просмотры 43K
Комментарии 45

GPT и WD Advanced format

Настройка Linux *
Одна из внезапных проблем при использовании GPT — (если мы хотим увидеть приличную скорость записи) необходимость руками подстраивать положение раздела на дисках WD с Advanced format. Суть Advanced Format проста: внутри диск имеет 4к сектора, наружу они эмулируются как 512-байт. Если мы делаем запись двух секторов в пределах одного 4к блока, он записывается один раз. Если мы делаем запись двух секторов так, что задеваем два 4к-сектора — диску приходится читать два сектора, обновлять информацию и записывать их обратно. Плохо и медленно. Современные ОС используют 4к блоки для записи, так что если мы попадём правильно, то каждая операция записи будет просто записью, без чтения. Если же мы попадём неровно (например, 2кб из первого сектора и 2кб из второго), то мы получим огромные тормоза (см ссылку внизу на сайт IBM с статистикой «торможения» при ошибках в разметке).

WD, когда размышляла насчёт 512 VS 4k, не учла, что помимо MBR есть ещё GPT. В случае 2Тб дисков MBR ещё терпит, однако, впереди диски на 3Тб, и в них MBR просто математически не сможет обеспечить разделы и переход на GPT неизбежен.

Так что проблему GPT и WD нужно учитывать уже сегодня. Основным инструментом для манипуляций с GPT в настоящий момент является parted и его графическая версия gparted. К сожалению, gparted не умеет того, что нам нужно, так что всё последующее описывает использование parted.

Основная мысль: Все величины (начало, конец раздела) должны быть кратны 4кБ, или, что чуть проще, 8 секторам. Это требование WD advanced format.

Сама GPT занимает некоторый объём (33 сектора: 32 сектора GPT, 1 сектор — фальшивый MBR-затычка), так что первое кратное 8 число, с которым мы можем работать — 40 секторов. Оконечное число зависит от ёмкости диска, но тоже, желательно, кратное 8. Кроме того, GPT дублируется в конце диска, так что место в конце диска так же будет «обкусано».

Для наилучшей производительности нужно учесть размер PE для LVM — 4Mb (8192 сектора) и установить размер тома кратным количеству PE. В результате всех этих манипуляций мы потеряем чуть-чуть места (меньше 8Мб), но зато получим быстрый том, у которого будут отсутствовать «unused» килобайты в описании в LVM.

Помимо этого есть ещё мнение самого gparted, о том, что лучшее положение тома — кратно мегабайтам. Таким образом, итоговые требования звучат так: том должен начинаться и заканчиваться на величинах, кратных 4Мб.

Итак, создание LVM тома на WD'шном диске с Advanced Format:
Читать дальше →
Всего голосов 12: ↑8 и ↓4 +4
Просмотры 22K
Комментарии 19

Ставим Gentoo x64 + xen на диски размером 3Tb в Hetzner

Системное администрирование *
Из песочницы
Для чего это нужно: Допустим вам нужно организовать пару тройку независимых удаленных рабочих столов. Не арендовать же под каждый rdp, отдельный сервер, можно арендовать один и сделать их там хоть 16 штук.

Арендовав пару серверов класса EX4 на hetzner.de я встал перед проблемой, в сервере установлено два диска по 3Tb и все. Есть известная проблема, что диски с таблицей разделов MBR могут адресовать только 2,2Тб. Было два варианта, либо настраивать MBR и отказываться от 800гигов дискового пространства, либо сделать таблицу GPT и попытаться загрузиться из неё, что весьма не тривиально, но по факту просто.
Плюс небольшой HOWTO как поставить Xen.

Читать дальше →
Всего голосов 45: ↑38 и ↓7 +31
Просмотры 9.2K
Комментарии 33

Жесткий диск 3TB — подключаем к Windows XP

Системное администрирование *
В связи с кризисным состоянием рынка жестких дисков все чаще стал задумываться, что сейчас самое время купить диск объемом 3Тб. Волей случая мой выбор пал на модель ST3000DM001. Стоимость этого чуда получилась немаленькая, но я заранее для себя решил, что буду гнаться за объемом, закрыв глаза на цену.

На работе воткнул свое приобретение в Windows 7 и без звука отформатировал его в новомодный GPT, который, в отличие от MBR, поддерживает диски более 2Тб. Но на домашней Windows XP возникли проблемы, диск виден, но доступа к нему нет — проблема с GPT. Устаревшая операционка отказывается принимать в строй новичка.

Стал гуглить, нашел обсуждение, сводящееся к тому, что нужно ставить Paragon GPT Loader. Но эта версия подходит только для Hitachi, для других моделей танцы с бубном, судя по форуму, превышают все разумные пределы.
Читать дальше →
Всего голосов 41: ↑25 и ↓16 +9
Просмотры 111K
Комментарии 58

Установка Window7(64Bit) на GPT диск, на материнках с EFI, без USB/DVD

*nix *
Сразу нужно уточнить, что речь пойдёт про установку Win рядом с linux дистрибутивом. То есть на компьютере должен стоять grub-efi.
Установка возможна только 64 битной Windows системы.
Читать дальше →
Всего голосов 24: ↑13 и ↓11 +2
Просмотры 58K
Комментарии 2

Тестирование СХД NetApp FAS при помощи генератора нагрузки IOMeter

Высокая производительность *
Во время тестирования СХД специалисты часто встречаются с проблемами в производительности в связи с нюансами настройки всего комплекса. Для нагрузочного тестирования СХД не достаточно только лишь запустить симулятор нагрузки, необходимо настроить систему хранения, сеть и хост. Основная масса настроек, как правило, выполняется именно на хосте.

Целью данной статьи помощь системным администраторам и системным интеграторам в понимании настроек и нюансов при тестировании СХД NetApp. Хочу также отметить, что в этой статье не было задачи в получении максимально возможной производительности контроллеров NetApp FAS 2240, так как на момент тестирования демо оборудования не было достаточного количества дисков (144 максимум) для СХД, а также в наличии был только один сервер. Т.е. максимальная производительность здесь рассматривается в контексте конкретной конфигурации демо стенда, другими словами при большем количестве дисков, серверов и подключений по сети возможно получить результаты ещё лучше с теми же контроллерами 2240. Хотя все графики с результатами производительности взяты с реальных конфигураций конечных заказчиков, использующих в тестах контроллеры 2240, в некоторых тестах использовались четыре SSD 100GB MLC диска.

Ниже приведено комплексное описание нагрузочного тестирования СХД: настройки симулятора нагрузки IOMeter, методика настройка хоста и СХД NetApp FAS, снятие статистики нагрузки, а также интерпретация полученных результатов. На примере существующего демо стенда будет рассмотрены методы настройки всех его компонент, а также других возможных вариантов конфигураций с использованием NetApp FAS.

image
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 25K
Комментарии 6

Мрачная история знакомства линуксоида с Windows 8

Чулан
Из песочницы
Приветствую сообщество. Хочу поведать об одной своей мрачной истории, ибо держать ее в себе сложно, а плачь в жилетку двух друзей-единомышленников не шибко помог.

Решил я пересесть со стационарного компьютера на ноутбук, так как профессия моя имеет самое непосредственное отношение к IT (основная работа — инженер отдела информационных технологий, плюс веб-программирование «то там, то здесь») и иногда полезно иметь переносное рабочее место. Имелся в распоряжении нетбук, но диагональ его экрана делала меня грустить в моменты работы над сайтами, да и по умственно-вычислительным характеристикам он не особо блистал.

Последние, наверное, лет 7 основная и единственная операционная система у меня Arch Linux, стоит везде: на рабочем компьютере, на домашнем, на нетбуке, на VPS. Не буду сейчас расписывать все плюсы веб-разработки в Linux, скажу лишь, что я просто счастлив работать в этой системе. Так что, при покупке ноутбука вопроса выбора дистрибутива не стояло.

С ноутбуком шла предустановленная Windows 8, решил на этот раз я не сносить все на диске, а попытаться подружить обе системы. Все таки, за систему была, соответственно, накручена цена устройства, да и не было бы лишним иметь на всякий случай под рукой продукт Майкрософта (что-нибудь запустить или побегать на досуге в какую-нибудь игорку, ноутбук, все-таки, не слабый). Задача, в принципе, довольно тривиальная, с оговоркой, что ноутбук имел на борту UEFI с GPT-разметкой диска, с чем я, честно говоря, особо тесно не работал.

Почитал мануалы на эту тему, начал действовать. Уменьшил раздел с контентом Windows до 100 Гб, создал после него еще один 100 Гб раздел под корень Linux, после него раздел под Swap, оставшееся место использовал в виде NTFS-раздела для данных для обоих систем. После него оставил не тронутым раздел восстановления. Установил Arch Linux, все завелось без проблем, загружались обе системы путем нажатия F12.
Читать дальше →
Всего голосов 110: ↑47 и ↓63 -16
Просмотры 12K
Комментарии 103

Очередная миграция PROXMOX в softRAID1, но теперь уже 3.2 и на GPT-разделах, установка FreeNAS 9.2 на виртуальную машину и проброс в него физического диска

Виртуализация *
Из песочницы
Здравствуйте!

В очередной раз мне понадобился сервер Proxmox. Железо следующее: AMD FX-4300, 4Gb, два диска 500Gb для самого proxmox и еще два для хранилища. Задачи слоял следующие: одна из машин FreeNAS, в нее хотелось пробросить несколько дисков (желательно физических), что бы на них разместить хранилище, и еще несколько ВМ не относящихся к статье.

У меня есть фишечка всегда пытаться ставить самые последнии версии, а не проверенные старые. Так произошло и в этот раз.
Скачал Proxmox VE 3.2 и FreeNAS 9.2. А вот что из этого получилось под катом.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 27K
Комментарии 28

Acronis Disk Director: разбиваем диски без проблем

Блог компании Acronis
Наверняка, вам знакома ситуация, когда нужно переразбить разделы на диске, а делать это очень не хочется. Многие боятся связываться с подобными операциями посреди рабочей недели и откладывают её на выходные, подсознательно зная, что в 15 минут тут не уложишься. Нет нужды перечислять все сопутствующие риски, которые приходится страховать в подобном случае.

Между тем есть отличная программа, которая позволяет быстро изменять диск или системный раздел без траты времени на резервное копирование и восстановление данных. Речь об Acronis Disk Director – программе, которая даёт вам полный контроль, необходимый для эффективного использования дисков, позволяет их объединять, разделять, масштабировать, копировать, перемещать отдельные разделы и многое другое.


Под катом мы рассмотрим наиболее популярные фичи продукта и его интересные особенности.
Читать дальше →
Всего голосов 47: ↑30 и ↓17 +13
Просмотры 199K
Комментарии 63

Acronis Snap Deploy 5: Массовый деплоймент быстро просто и надёжно

Блог компании Acronis
В нынешних реалиях много дорогих вещей, таких как квартира, информация, хобби, и так далее. Но всё же самым дорогим является время. Время утекает быстро, а так хочется всё успеть сделать. Практически ежедневно системные администраторы на разворачивание операционных систем для любых нужд в любых количествах, затрачивают колоссальные ресурсы человеко-часов.

Предлагаем к использованию программу, позволяющую не только разворачивать одновременно десятки машин в сети, но и применять персональные параметры к каждой разворачиваемой машине. Простой инструмент Acronis Snap Deploy умеет оперировать десятками и сотнями машин в одной сети, давая все опции по развёртыванию как Windows, так и Linux операционных систем.


Читать дальше →
Всего голосов 32: ↑24 и ↓8 +16
Просмотры 39K
Комментарии 14

Расширение разделов без потери данных

Go *

Суть


Разработал программу для простого расширения раздела и файловой системы (xfs, ext3,4) без потери данных. github.com/rekby/fsextender/releases/latest

Исходная проблема


После расширения диска виртуальной машины c ос семейства linux расширить внутри неё раздел данных.
Подробности
Всего голосов 33: ↑32 и ↓1 +31
Просмотры 66K
Комментарии 12

Миграция Windows между BIOS <-> UEFI

Системное администрирование *UEFI *
Туториал
Появляется такая задача не часто, но все-же, нужно преобразовать уже установленную систему, загружаемую в BIOS (или UEFI режиме) в UEFI режим (в BIOS соответственно).
Кому интересно, читаем далее:
Читать дальше →
Всего голосов 23: ↑20 и ↓3 +17
Просмотры 78K
Комментарии 40