Как стать автором
Обновить
163.14
Рейтинг
JetBrains
Делаем эффективные инструменты для разработчиков
Сначала показывать
  • Новые
  • Лучшие

Code Completion. Часть 4: обучение модели

Блог компании JetBrains Машинное обучение *

Хотим поделиться специфическими проблемами, возникшими у нас при обучении модели, и решениями, которые мы для этих проблем придумали.

В прошлый раз мы остановились на том, что из-за необходимости защищать код пользователей даже от себя самих нам необходимо анонимизировать все собранные данные. Вызову окна автодополнения сопоставляется набор параметров, каждый из которых — либо число, либо перечислимый тип. А вот сам код, на котором пользователь вызвал окно, мы не сохраняем.

Если при сборе данных мы допустим ошибку, нельзя будет просто заглянуть в код и все понять. Нам придется устраивать целое расследование без всякой гарантии успеха.

Например
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 603
Комментарии 8

Новости

Представляем MPS 2021.2

Блог компании JetBrains Программирование *
Перевод

Мы выпустили версию 2021.2 — второй крупный релиз MPS в этом году. Как и в прошлый раз, мы подготовили для вас демо, в котором показываем новые возможности:



Ниже читайте краткий обзор новой функциональности.

СКАЧАТЬ MPS 2021.2


Читать дальше →
Всего голосов 2: ↑1 и ↓1 0
Просмотры 1.2K
Комментарии 0

KotlinDL 0.3: поддержка ONNX, Object Detection API, 20+ новых моделей в ModelHub, и много новых слоев

Блог компании JetBrains Big Data *Машинное обучение *Kotlin *TensorFlow *

Представляем версию 0.3 библиотеки глубокого обучения KotlinDL!

Вас ждет множество новых фич: новые модели в ModelHub (включая модели для обнаружения объектов и распознавания лиц), возможность дообучать модели распознавания изображений, экспортированные из Keras и PyTorch в ONNX, экспериментальный высокоуровневый API для распознавания изображений и множество новых слоев, добавленных контрибьюторами. Также KotlinDL теперь доступен в Maven Central.

В этой статье мы коснемся самых главных изменений релиза 0.3. Полный список изменений доступен по ссылке.

Узнать больше о релизе
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 1.1K
Комментарии 3

Плагин Big Data Tools теперь поддерживает IntelliJ IDEA Ultimate, PyCharm Professional, DataGrip 2021.3 EAP и DataSpell

Блог компании JetBrains Программирование *Big Data *Data Engineering *

Недавно мы выпустили новую сборку плагина Big Data Tools, совместимую со свежими (2021.3) версиями IntelliJ IDEA Ultimate и PyCharm Professional. Когда в октябре выйдет DataGrip 2021.3, эта сборка тоже будет с ним работать. Более того, теперь мы умеем запускаться в DataSpell — новой IDE для Data Science.

Если вы используете старые версии Big Data Tools, сейчас самое время обновиться и попробовать новую версию плагина вместе со свежей версией IDE!

В этом году мы много чего улучшили и добавили совершенно новые фичи (например, запуск Spark Submit в виде Run Configuration). Вот небольшой список изменений за этот год. Этот список — лишь небольшая капля в море того, что изменилось с прошлого года.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 1.3K
Комментарии 0

Code Completion. Часть 3: где взять данные для обучения?

Блог компании JetBrains Машинное обучение *

В предыдущей статье цикла мы установили, что современной системе автодополнения нужно машинное обучение — чтобы ранжировать варианты подсказок.

Машине, как и человеку, для обучения нужны данные. Мы используем подход «обучение с учителем». Он предполагает, что мы показываем алгоритму примеры задач, для которых нам заранее известно правильное решение. Алгоритм извлекает из этих примеров закономерности и учится принимать правильные решения даже в тех ситуациях, которых он раньше не видел.

Результат обучения критическим образом зависит от качества и объема этих примеров. И именно здесь у нас возникают трудности.

С одной стороны, собирать базу на основе кода наших пользователей нельзя: результат вашего труда остается только у вас, на серверы JetBrains он не попадает.

С другой стороны, из доступных репозиториев с открытым кодом полноценный датасет собрать не получается. Делая так, мы обучали бы алгоритм работать только с готовым (рабочим) кодом.

Сегодня обсудим, как мы выкручиваемся из этой ситуации. Для начала давайте более подробно рассмотрим, почему не получается работать с готовыми репозиториями.

А потому что они «готовые»
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 956
Комментарии 0

Программа раннего доступа к JetBrains DataSpell открыта для всех

Блог компании JetBrains Python *
Перевод

С тех пор, как мы анонсировали JetBrains DataSpell в марте, наша новая IDE для Data Science была доступна для ограниченного числа пользователей, которые помогали нам с тестированием IDE и обратной связью. Сегодня мы запускаем программу раннего доступа для всех желающих. Всем, кто хотел участвовать в программе, придут приглашения. Вы можете скачать свежую EAP-сборку на сайте JetBrains DataSpell (регистрация не требуется).

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 4.5K
Комментарии 14

Представляем подписки: единый способ управлять оповещениями в Space

Блог компании JetBrains Управление разработкой *Управление проектами *Управление продуктом *

Привет, Хабр!

В Space постоянно появляются новые коммиты, задачи, информация об отсутствии и отпусках сотрудников, публикуются записи в блогах, создаются документы и код-ревью. Как организовать эти данные, чтобы соответствующая информация попадала к нужному человеку, нужной команде или в нужный инструмент?

Все уведомления появляются в Space Chats. Однако Space большая платформа, и там все время происходит что-то новое. Наша главная цель — не только собрать в одном месте всю информацию об изменениях, но и оптимизировать ее потоки, чтобы снизить уровень шума и перегрузку информацией. Поэтому мы придумали подписки.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 852
Комментарии 0

Оптимизация dotMemory с использованием dotMemory (и не только...)

Блог компании JetBrains .NET *C# *

dotMemory — это профилировщик памяти для .NET от компании JetBrains. А меня зовут Илья, и я из команды разработки этого инструмента.

Хочу поделиться историей классического догфудинга: как мы оптимизировали один из алгоритмов в dotMemory с помощью своих же инструментов — dotMemory и dotTrace (часть 1). Потом еще раз — с помощью dotTrace, а напоследок еще и с использованием BenchmarkDotNet (часть 2).

Поделиться этой историей меня мотивировали статьи 1 и 2, за что их авторам отдельное большое спасибо.

Читать далее
Всего голосов 20: ↑20 и ↓0 +20
Просмотры 2.3K
Комментарии 1

Code Completion. Часть 2: зачем тут машинное обучение?

Блог компании JetBrains Машинное обучение *

В первой части мы сформулировали, из каких компонентов состоит система автодополнения, обсудили способы ее использования и требования к качеству. Теперь давайте разберемся, зачем там нужно машинное обучение.

Казалось бы, страшно выбрасывать работающий код и заменять его машиннообученным бинарником, который жрет память, может замедлить работу IDE, да еще не вдруг и отладишь его, если что-то пошло не так.

В нашем случае «работающий код» — это эвристики, жесткие правила. Они отлично работают, пока их не очень много и они не конфликтуют между собой. Давайте рассмотрим такие правила подробнее и разберемся, откуда берутся конфликты.

Как на самом деле работают подсказки
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 1.8K
Комментарии 3

AppCode 2021.2: улучшения поддержки Swift, автодополнение выражений, окно иерархии вызовов для Swift и не только

Блог компании JetBrains Разработка под iOS *Разработка мобильных приложений *Xcode *Swift *

Привет, Хабр! 

В этом посте, как и всегда, расскажем о новом релизе AppCode. Всем, кому интересно, — добро пожаловать под кат. 

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 1.4K
Комментарии 5

PhpStorm 2021.2: дженерики, перечисления, array shapes, новые инспекции и рефакторинги

Блог компании JetBrains Разработка веб-сайтов *PHP *


Вышел второй мажорный релиз PhpStorm в этом году. Под катом подробный разбор всех изменений и новых возможностей с кучей гифок.
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 8.5K
Комментарии 35

GoLand 2021.2: Улучшенная поддержка Go-модулей, новые возможности запуска gofmt, поддержка Go 1.17

Блог компании JetBrains Программирование *Go *

Привет, Хабр! 

Вышел GoLand 2021.2 — второй релиз этого года. Сегодня расскажем, что нового в этом релизе, и покажем, как пользоваться новой функциональностью. 

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 3.6K
Комментарии 12

JetBrains Education: предсказание побочных эффектов лекарств

Блог компании JetBrains Машинное обучение *Биотехнологии Химия

Привет, Хабр!

Меня зовут Елена Картышева, я выпускница программы «Разработка программного обеспечения» Университета ИТМО — одной из образовательных инициатив JetBrains. Вообще я занимаюсь биоинформатикой и машинным обучением, и сегодня хочу рассказать о своей выпускной квалификационной работе. В рамках диплома я улучшила модель предсказания совместных побочных эффектов лекарств. Это поможет разрабатывать более эффективный дизайн клинических исследований и собирать информацию о побочных эффектах новых препаратов.  

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 2.3K
Комментарии 0

IntelliJ IDEA 2021.2

Блог компании JetBrains JavaScript *Java *Scala *Kotlin *
Перевод

Привет, Хабр!

Вышел наш летний релиз — IntelliJ IDEA 2021.2! Обновление можно скачать с нашего сайта или в Toolbox App. Кроме того, можно обновиться из самой IDE или с помощью snap-пакета, если вы являетесь пользователем Ubuntu.

Читать далее
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 8.9K
Комментарии 34

Релиз CLion 2021.2: улучшения в отладчике, проверка времени жизни объектов, поддержка CMake Presets

Блог компании JetBrains Программирование *C++ *C *

Привет, Хабр!

В конце июля в JetBrains стартует очередной релизный «паровоз». На этой неделе обновились многие IDE на платформе IntelliJ, на следующей запланированы обновления наших продуктов для .NET. И сегодня мы хотим поговорить о CLion 2021.2 — новейшей версии нашей кроссплатформенной IDE для разработки на C и C++.

Коротко о главном. CLion 2021.2 защитит ваш код от типичных проблем доступа к памяти в C++, автоматически загрузит настройки сборки приложения из CMake Build Presets, откроет проект с использованием GNU Autotools, поможет с профилированием на удаленном хосте и на WSL. Кроме того, значительно улучшен отладчик (самые крупные обновления ждут наших пользователей на Windows). А для тех, кто пока только изучает C++ или прототипирует новое приложение или библиотеку, мы добавили интеграцию с Cling — интерпретатором С++.

Дьявол в деталях
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 2.7K
Комментарии 35

Обзор плагина Big Data Tools

Блог компании JetBrains Программирование *Big Data *Data Engineering *

Храните файлы в облачных файловых системах или, может быть, используете Hadoop, Spark и Zeppelin? А пробовали ли вы работать с ними напрямую из IDE?

Привет, меня зовут Олег, я из команды плагина Big Data Tools. В этой статье мы поговорим, зачем этот плагин нужен, как применяется и где его достать. За последний год плагин прошёл большой путь и из экспериментального продукта превратился в боевое решение, на которое стоит взглянуть специалистам по Big Data.

В JetBrains мы создаем IDE и другие инструменты, которые делают жизнь разработчиков лучше. Big Data Tools — это очень узкоспециализированный, редкоземельный плагин, который предназначен для конкретного вида разработчиков — для дата-инженеров.

Если вам интересно подробней узнать о мире Big Data и работе дата-инженеров, рекомендую развернутую серию статей Паши Финкельштейна. Здесь мы рассмотрим одну из самых популярных схем.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 1.9K
Комментарии 11

DataGrip 2021.2: Генерация источника на основе кода, поиск по истории изменений, управление списком автодополнения и др

Блог компании JetBrains MySQL *PostgreSQL *SQL *Администрирование баз данных *

Привет! Рассказываем о том, что мы сделали в DataGrip за четыре месяца. Если вы пользуетесь другими IDE от JetBrains и работаете в них с базами данных, то этот пост для вас тоже.

Что внутри?
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 1.8K
Комментарии 8

YouTrack с обновленным учетом времени

Блог компании JetBrains Управление разработкой *Управление проектами *Управление продуктом *Управление персоналом *

Привет, Хабр!

На связи команда YouTrack из JetBrains. В новой версии YouTrack мы добавили специальную страницу учета времени — теперь все записи о затраченном времени будут собраны вместе. Кроме того, мы поддержали импорт из GitLab и полностью локализовали YouTrack еще на три языка.

Начиная с этой версии мы окончательно прекращаем поддержку устаревшего REST API.

Далее расскажу обо всем подробнее.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 2.6K
Комментарии 10

Code Completion. Часть 1: сценарии и требования

Блог компании JetBrains Программирование *

Знаете, сколько всего успевает сделать IDE, чтобы показать окно сode сompletion, когда вы начинаете набирать новое слово? Под капотом формулы, полученные с помощью машинного обучения.

Сортировка подсказок — одно из первых применений машинного обучения в IDE JetBrains. Думаем, вам будет интересно узнать, через какие тернии нам пришлось пройти, чтобы эту сортировку реализовать. Данная статья — первая из цикла, в рамках которого мы расскажем, зачем окну с подсказками вообще нужно машинное обучение и как мы решали некоторые связанные с этим задачи.

А задач тех немало
Всего голосов 23: ↑23 и ↓0 +23
Просмотры 2.9K
Комментарии 17

Информация

Дата основания
Местоположение
Россия
Сайт
jetbrains.com
Численность
1 001–5 000 человек
Дата регистрации