Pull to refresh
130
77

Технический писатель, ИТ-редактор блога MWS

Send message

Почему галлюцинируют нейросети [и что с этим делают]

Level of difficultyEasy
Reading time5 min
Views7.8K

Австрийский математик Курт Гёдель еще в 1931 году сформулировал и доказал две теоремы о неполноте. В общем случае первая теорема гласит, что всякая непротиворечивая теория имеет утверждения, которые нельзя доказать средствами этой теории. Теорема оказала значительное влияние на различные научные области и в некоторой степени может способствовать пониманию того, почему галлюцинации в системах ИИ неизбежны. 

Сегодня мы обсудим, как современные исследователи решают проблему галлюцинаций LLM, какие методы для этого применяют и как выгодно использовать виртуальную инфраструктуру с GPU для обучения нейросетей.

Читать далее
Total votes 18: ↑14 and ↓4+17
Comments4

Tcl — как скриптовый язык для университетских проектов стали использовать по всему миру

Level of difficultyEasy
Reading time7 min
Views9K

Одна из ключевых облачных фич — масштабирование (о возможностях облака с примерами из реального бизнеса подробнее рассказали тут). Настраивать масштабирование, а также балансировщики нагрузки и виртуальные машины можно различными способами. Один из нетипичных вариантов — использование языка Tcl.

Tcl (Tool Command Language) разработал программист Джон Оустерхаут в середине 1980-х. Tcl достаточно универсален — он помогает управлять сетевыми устройствами и работать с облачными интерфейсами.

В начале девяностых вокруг решения сформировалось серьезное академическое комьюнити. Затем сообщество стало шире — участники разрабатывали новые расширения и средства для работы с БД.

История языка насчитывает уже больше тридцати лет, и сегодня мы расскажем о том, как продвигалось его развитие.

Читать далее
Total votes 19: ↑18 and ↓1+22
Comments4

Автоматизировать аналитику, визуализировать данные и не только — примеры российских BI-решений

Level of difficultyEasy
Reading time5 min
Views5.5K

Большинство российских BI-решений к 2024 году уже достигли необходимого уровня развития, чтобы заменить зарубежные продукты. Но требования клиентов к BI-системам сильно отличаются. Кому-то необходимы простые и понятные дашборды, другим — возможность настройки по специфическим требованиям, а также включение технологического решения в реестр российского ПО. 

Мы уже рассказывали, как перейти на российские BI-решения без потери эффективности (запись открыта по ссылке, подключайтесь). А сегодня подробнее разберем, что могут предложить Analytic Workspace, Glarus BI, Modus BI и LuxMS BI.

Читать далее
Total votes 8: ↑7 and ↓1+9
Comments3

No-code решения для разработчиков, о которых мало кто говорит

Level of difficultyEasy
Reading time3 min
Views15K

Существуют сотни фреймворков, библиотек и платформ для разработки в формате no-code. Сегодня обсудим те из них, что имеют высокие рейтинги на GitHub, но могли пройти мимо вас незамеченными — Formily, Mitosis, FlowiseAI и ToolJet.

Читать далее
Total votes 16: ↑12 and ↓4+13
Comments6

Проблемы открытых знаний и литература в формате Open Knowledge

Level of difficultyEasy
Reading time6 min
Views1.3K

Недавно в MWS начался новый бесплатный образовательный курс «Основы сетевых технологий». Мы уделяем большое внимание теме распространения знаний и много пишем о книгах, онлайн-курсах и вебинарах, которые помогают в самообразовании. 

Открытые знания дают свободный доступ к информации, но с этой инициативой не все так просто. Сторонники открытых знаний считают, что информация должна быть бесплатной, приносить пользу обществу и использоваться в образовании и науке. Но не все авторы готовы работать бесплатно. Это приводит к конфликту: одни выступают за свободный доступ к знаниям, другие — за защиту авторских прав. 

Поговорим о том, как возникло движение Open Knowledge, а также предложим пару примечательных книг по облачной тематике с открытых платформ.

Читать далее
Total votes 8: ↑8 and ↓0+16
Comments0

Новые языки для облачных вычислений — от управления конфигурациями до диалекта Python

Level of difficultyMedium
Reading time5 min
Views1.7K

Языки программирования растут как грибы после дождя — чем больше задач у программиста, тем выше потребность в новых инструментах. Авторы этих языков стремятся переосмыслить статус-кво или создать специализированные ЯП, предназначенные для решения конкретных задач. Сегодня мы подготовили компактную подборку перспективных инструментов, ориентированных на работу с облачными технологиями.

Облачные языки позволяют эффективно управлять распределёнными ресурсами, учитывая необходимость обработки больших объёмов данных и обеспечения масштабируемости без потери производительности.

Читать далее
Total votes 8: ↑7 and ↓1+12
Comments1

Open source решения для управления и работы с данными в облаке

Level of difficultyMedium
Reading time4 min
Views2.7K

Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit.

Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику.

Читать далее
Total votes 7: ↑7 and ↓0+10
Comments1

Мечты о безбумажном офисе

Level of difficultyEasy
Reading time11 min
Views2.3K

Концепция ЭДО и безбумажного офиса обрела широкую популярность десятилетия назад. Время от времени появлялись устройства, которые считались «предвестниками цифрового офиса будущего». Казалось, что вскоре многие организационные процессы и документооборот станут цифровыми. Однако реализация концепции безбумажного офиса потребовала значительно больше времени.

Сейчас в «цифру» переходит не только первичная документация, но и кадровые документы. Сервисы кадрового электронного документооборота (КЭДО) помогают быстрее и проще нанимать новых сотрудников, контролировать своевременное подписание документов, уменьшить нагрузку на кадровиков, а также сократить время и усилия, затрачиваемые на печать, хранение, обработку и доставку бумажных документов. Теперь всё это доступно на базе российского ПО VK HR Tek.

В этой статье мы рассмотрим устройства, которые опередили своё время, и объясним, почему, несмотря на усилия учёных и инженеров, безбумажный офис так долго оставался утопией. Также расскажем, какую роль в появлении современного ЭДО сыграли достижения аэрокосмической отрасли в 1990-х годах.

Читать далее
Total votes 8: ↑6 and ↓2+8
Comments6

Слепые вычисления и квантовые сети — на пути к квантовому интернету

Level of difficultyEasy
Reading time7 min
Views1.9K

В поисках новых способов повысить скорость и качество передачи контента (по этому поводу будет вебинар, подключайтесь), рано или поздно возникает вопрос: можно ли передавать данные мгновенно и безопасно, независимо от расстояния? Наши представления о способах обмена информацией в интернете может вскоре изменить квантовая сеть.

Квантовые коммуникации становятся доступнее, не в последнюю очередь благодаря облачным технологиям. Облако позволяет исследователям и компаниям экспериментировать с квантовыми алгоритмами без необходимости владеть дорогостоящим оборудованием.

Можно уверенно сказать, что полноценные квантовые машины будут продолжать работать с виртуальной инфраструктурой. Чтобы обеспечить их работу, инженеры уже разработали протоколы, которые защищают данные и обеспечивают их приватность при обработке квантовым компьютером в облаке.

Мы уже можем примерно представить будущее квантового интернета.

Читать далее
Total votes 7: ↑6 and ↓1+8
Comments4

Открытые инструменты для GPU-вычислений

Level of difficultyEasy
Reading time5 min
Views2.6K

Вычисления на GPU могут быть полезны многим разработчикам, поскольку они позволяют повысить производительность кода. Эта технология доступна, но для ускорения выполнения кода или создания красочной визуализации нельзя просто перенести вычисления с CPU на GPU — для этого требуются специальные компиляторы и библиотеки.

Сегодня собрали несколько интересных решений, которые пригодятся в разнообразных задачах: от ускорения высоконагруженных вычислений до генерации графики.

Читать далее
Total votes 7: ↑7 and ↓0+9
Comments3

История и новые кейсы цифровых двойников: от космоса до интеграции с ML

Level of difficultyEasy
Reading time7 min
Views925

История цифровых двойников (ЦД) берет свое начало в 1960-х годах — с появлением систем автоматизированного проектирования CAD и CAE, которые по мере своего развития постепенно сформировали принципы автоматизированной разработки виртуальных копий физических объектов. Подобные системы стали важным компонентом пайплайна, связанного с построением цифровых двойников. Например, теперь их используют при проектировании зданий, помещений, даже целых городов.

Сегодня поговорим о развитии цифровых двойников: как концепция, описанная в научно-популярной книге «Зеркальные миры», нашла отражение в реальном мире. Также рассмотрим несколько кейсов — как в реальной жизни применяют связку «цифровой двойник + машинное обучение».

Читать далее
Total votes 9: ↑7 and ↓2+9
Comments1

Кто пытался сделать политики конфиденциальности и обработки ПД чуточку понятнее, и к чему привели такие попытки

Level of difficultyEasy
Reading time5 min
Views1.1K

Разные компании по-разному оформляют свои политики конфиденциальности — единого формата нет. Подавляющее большинство из них написано тяжелым юридическим языком, поэтому многие даже не пытаются изучать их, например, чтобы понять, как тот или иной сервис будет работать с персональными данными.

Есть множество инициатив, призванных повысить прозрачность таких документов: от унифицированных иконок на сайтах до браузерных расширений, и новые проекты продолжают появляться. Мы решили взглянуть на ситуацию со стандартизацией политик конфиденциальности и обсудить, нужен ли им единый формат.

Читать далее
Total votes 14: ↑13 and ↓1+15
Comments1

Reality check, или какие барьеры стоят между бизнесом и квантовыми компьютерами

Level of difficultyEasy
Reading time6 min
Views816

В облаке MWS вы можете связать площадки между собой через защищенный канал поверх сетей общего пользования. VPN-туннелирование использует протоколы шифрования и аутентификации, обеспечивающие защиту передаваемых данных и обмен ключами для сохранения безопасности и целостности информации (больше подробностей о VPN-туннелях — на сайте).

Однако есть мнение, что развитие квантовых технологий скоро приведет к появлению высокопроизводительных квантовых компьютеров, для которых алгоритмы современной криптографии не будут являться стойкими. Так ли это на самом деле или хайп вокруг квантовых вычислений преувеличен? Обсудим аргументы сторон, а также поговорим о том, почему постквантовые алгоритмы шифрования могут быть полезны уже сегодня.

Читать далее
Total votes 7: ↑7 and ↓0+10
Comments0

Через аркадные автоматы к облаку: как GPU принес счастье

Level of difficultyEasy
Reading time8 min
Views1.3K

История видеокарт началась задолго до появления персональных компьютеров. Так, в 1970-х чипы для работы с графикой устанавливали в аркадные автоматы. Со временем были сформированы стандарты работы с GPU, а спектр задач, которые оказались способны решать эти устройства, расширился до декодирования видео и математических вычислений. 

Сегодня GPU каждый может использовать на простых ПК для 3D-моделирования, графического дизайна, анимации, архитектуры и конструирования — и всё без закупки графических станций.

Рассказываем, когда и как применялись графические процессоры, а также — чем отличались их предшественники от того, что мы имеем сегодня.

Читать далее
Total votes 9: ↑9 and ↓0+14
Comments4

Пайплайны, разметка и версионирование — открытые решения для работы с неструктурированными данными

Level of difficultyEasy
Reading time5 min
Views1.4K

Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.

Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте. 

Читать далее
Total votes 7: ↑7 and ↓0+10
Comments0

Все проблемы A-U-T-H и слабые пароли

Level of difficultyEasy
Reading time6 min
Views1.9K
image

По данным Verizon, более 80% инцидентов взлома связаны со слабыми или украденными паролями. Защититься от несанкционированного доступа, следовать принципам Zero Trust и минимизировать вероятность таких инцидентов помогает сервис многофакторной аутентификации (MFA).

MWS запустил облачный сервис MFA — это хороший повод обсудить важные компоненты управления доступом и идентификационными данными (IAM).

Термины аутентификация и авторизация часто используют как взаимозаменяемые, что вызывает путаницу и может приводить к проблемам в ИБ. С одной стороны, в ИТ-сообществе встречается мнение о том, что терминологию стоит пересмотреть и внедрить более «прозрачные» названия процессов.

С другой стороны, участники ИБ-сообщества не видят проблемы в наименованиях и призывают сконцентрироваться на более насущных вопросах — в частности, искоренении слабых паролей. Мы решили обсудить различные предложения и точки зрения на ситуацию.
Читать дальше →
Total votes 12: ↑11 and ↓1+14
Comments4

Как рост вычислительных мощностей отражается на точности и качестве моделей

Level of difficultyEasy
Reading time5 min
Views950
image

ИИ развивается стремительными темпами, но чем сложнее становятся технологии, тем больше усилий требуется для создания подходящей инфраструктуры. По данным TrendForce, объём поставок ИИ-серверов во втором квартале 2024 года увеличился почти на 20% по сравнению с предыдущим кварталом. Аналитики ожидают, что по сравнению с 2023 годом годовой рост может составить 41,5%. Облачные провайдеры перенаправляют бюджеты на закупку ИИ-серверов. Для сравнения, рост поставок обычных серверов составит всего 1,9%.


Один из главных способов получить доступ к передовым чипам — облако. Виртуальные GPU-серверы — эффективное решение для работы с нейронными сетями, большими данными и параллельными вычислениями. Однако необходимость сокращения издержек разработки систем ИИ становится всё более очевидной, а преимущества в решении данной задачи — фактором конкуренции в этой области.


Посмотрим, что происходит в сфере аппаратного и программного обеспечения.

Читать дальше →
Total votes 10: ↑9 and ↓1+9
Comments0

Что могут векторные СУБД — open source инструменты & облако

Level of difficultyMedium
Reading time6 min
Views5.9K

Разработка систем искусственного интеллекта и обучение моделей подразумевает взаимодействие с огромными сводами неструктурированных данных — например, текстом и изображениями. Решать эту задачу помогают векторные БД. Они работают с так называемыми векторными представлениями (эмбеддингами), имеют продвинутые алгоритмы индексирования и особенно эффективны для реализации поиска по сходству. 

Учитывая популярность темы машинного обучения, новые векторные СУБД появляются чуть ли не каждый день. Мы сделали подборку open source решений, о которых мало рассказывали на Хабре: от крупных проектов вроде Qdrant до малоизвестных продуктов.

Векторные базы данных можно развернуть в облаке, обеспечивая мощную инфраструктуру, которая значительно улучшает управление крупномасштабными и сложными данными. На виртуальную инфраструктуру MWS сейчас действует скидка 50%.

Читать далее
Total votes 17: ↑16 and ↓1+23
Comments5

Противостояние или союз: перспективы открытых и проприетарных ML-моделей

Level of difficultyEasy
Reading time7 min
Views1.3K

Еще пару лет назад у всех на слуху было всего одно название — ChatGPT. Сегодня популярность набрали десятки генеративных моделей, а также построенных на их основе сервисов: от проприетарных (Google Gemini или Bing Chat) до открытых (Falcon или Mistral). Для массового внедрения ML-моделей создано достаточно подходящих мощностей. Компании, использующие технологии ИИ, нейронных сетей, больших данных, Data Science могут воспользоваться GPU-ресурсами MWS.

Неудивительно, что ажиотаж вокруг генеративных моделей тянет за собой весь рынок систем ИИ. Так, по оценкам Statista Market Insights, в 2023 году его объем составил $196 млрд, но всего двумя годами ранее эта цифра не превышала $21 млрд. При этом многие аналитики убеждены, что отрасль вырастет еще на 37% в течение семи лет.

Последний год в ИТ-сообществе идет обсуждение перспектив ML-решений. Кто возьмет пальму первенства — открытые или закрытые модели? В материале рассмотрим ситуацию, прогнозы и состояние законодательства.

Читать далее
Total votes 9: ↑9 and ↓0+14
Comments1

Возвращение частного облака и интерес к инфраструктуре «реального времени»: что с последними трендами

Level of difficultyEasy
Reading time6 min
Views1.8K

Начиная с середины 2010-х эксперты пророчили «смерть» частному облаку — то есть облачной среде, созданной и используемой одной компанией, в отличие от общей инфраструктуры, доступной в публичных облаках. Большая часть интереса к экосистеме облачных вычислений была сосредоточена на публичных облачных платформах. Бизнес массово переходил на IaaS, чтобы уменьшить затраты на обслуживание железа и поддержку ИТ-систем. 

Пользователями private cloud в основном оставались компании со специфическими требованиями к безопасности. Например, медицинские организации, которым необходимо хранить данные о пациентах в соответствии с нормами федерального законодательства. 

В сегодняшнем материале поговорим, как возродился интерес организаций к частным облакам, о тренде на универсальные и отраслевые платформы и о том, из-за чего активно развивается направление edge computing.

Читать далее
Total votes 10: ↑9 and ↓1+11
Comments0
1
23 ...

Information

Rating
81-st
Works in
Registered
Activity