Как стать автором
Обновить
163.8
Рейтинг
JetBrains
Делаем эффективные инструменты для разработчиков

Встречайте Big Data Tools: поддержка Spark и Zeppelin-ноутбуков в IntelliJ IDEA

Блог компании JetBrainsBig Data
Перевод
Автор оригинала: Andrey Cheptsov
У нас отличные новости. Мы рады объявить о выходе Big Data Tools — нового плагина для IntelliJ IDEA, который обеспечивает интеграцию со Spark и поддерживает редактирование и запуск Zeppelin-ноутбуков. Теперь вы можете создавать, редактировать и запускать Zeppelin notebooks прямо из IDE. Плагин предоставляет умную навигацию, автодополнение, инспекции и быстрые исправления, а также рефакторинг кода внутри ноутбуков.

Что уже поддерживается

  • Просмотр, создание и удаление ноутбуков
  • Помощь при написании Scala-кода
    • Автодополнение
    • Рефакторинг Rename
    • Экстракт переменной, метода или параметра
    • Переход к декларации
    • Поиск использований

  • Создание и удаление параграфов
  • Запуск параграфов
  • Просмотр вывода параграфов
  • Поддержка базовой визуализации

Пока что помощь при написании кода работает только для Scala. Другие языки будут поддержаны позже. Кроме того, мы не собираемся ограничиваться поддержкой Zeppelin и планируем добавить больше возможностей, которые будут полезны для тех, кто работает с большими данными.

Если вам не терпится увидеть Big Data Tools в действии, посмотрите это короткое видео:


А лучше попробуйте плагин сами! Как это сделать, читайте далее.

Как использовать плагин

  • Убедитесь, что вы используете IntelliJ IDEA Ultimate 2019.2 (обратите внимание, плагин пока не работает с EAP 2019.3).
  • Проверьте, установлены ли плагины BashSupport, Python и Scala (подойдут свежие версии). Пока что их придется устанавливать вручную — мы скоро это исправим.
  • Установите новейшую сборку плагина Big Data Tools.
  • Если все работает как надо, после перезапуска IDE справа появится окно инструментов Big Data Tools. Откройте его, кликните по значку «+» на панели инструментов в окне и выберите Zeppelin.
  • В диалоговом окне подключения Zeppelin укажите параметры для подключения вашего экземпляра Zeppelin (хост, порт, учетные данные и т.д.). Для проверки соединения используйте Test Connection.
  • После настройки конфигурации Zeppelin вы увидите этот экземпляр в окне инструментов вместе с деревом ноутбуков. Теперь вы сможете управлять ноутбуками и открывать их в редакторе.

Что дальше?

Прежде всего, мы не собираемся ограничиваться интеграцией с Zeppelin и Spark, которую мы, конечно, будем улучшать. Мы планируем поддержать больше инструментов для работы с большими данными: добавить интеграцию с распределенными файловыми системами, такими как HDFS и S3, реализовать встроенное средство просмотра файлов Parquet и улучшить поддержку SQL.

Вот примерный план нашей работы в обозримом будущем:

  • Ноябрь 2019: совместимость с IntelliJ IDEA Ultimate 2019.3 EAP.
  • Ноябрь 2019: интеграция с S3 (проводник).
  • Декабрь 2019: базовая поддержка SQL (подсветка, автодополнение, автоформатирование и т.д.).
  • Январь 2020: интеграция с HDFS (проводник) и средство просмотра Parquet-файлов.
  • Февраль 2020: базовая интеграция с Hadoop и Spark (пользовательские интерфейсы YARN, Spark и т.д.).
  • Весна/лето 2020: поддержка Python в Zeppelin-ноутбуках (мы также рассматриваем вопрос о совместимости плагина с PyCharm Professional Edition, сообщим об этом позже).

Это неокончательный план. Мы будем корректировать его на основе ваших отзывов, чтобы быть уверенными, что мы сосредоточены на нужных вещах. Пожалуйста, сообщайте нам об ошибках и делитесь мнением о том, каких фич недостает и как, по-вашему, должна работать та или иная функция.

Что еще важно знать о новом плагине

Плагин Big Data Tools совместим только с IntelliJ IDEA Ultimate и недоступен в Community Edition. Мы еще не знаем, попадет ли он в Community Edition. На данный момент таких планов у нас нет.
То же самое касается и других сред разработки. Мы пока не знаем, будет ли плагин совместим с другими IDE. На данный момент у нас есть только предварительный план добавить совместимость с PyCharm Professional Edition, как только в плагине появится поддержка Python. По мере развития плагина мы сможем лучше понимать, куда нам стоит двигаться в контексте его поддержки в других IDE.

У меня нет лицензии на IntelliJ IDEA Ultimate. Как мне попробовать плагин?

  • Если вы активно участвуете в любом проекте с открытым исходным кодом, связанном с большими данными, напишите нам.
  • Если вы хотите написать о Big Data Tools, свяжитесь с нами, и мы предоставим вам расширенную пробную версию, чтобы вы могли оценить плагин.
  • Если вы не являетесь ни коммиттером, ни блогером, но проявляете интерес к большим данным, обратитесь к нам за расширенной пробной версией (например, до 3 месяцев). Это предложение ограничено.

Как оставить отзыв

Мы очень ждем ваших отзывов о плагине. Любые вопросы вы можете задать в комментариях к этому посту. Замечания и предложения оставляйте в нашем трекере.
Вы также можете поделиться своими впечатлениями о плагине, пройдя короткий опрос. Это займет всего минуту.

Конструктивная критика поможет нам сделать вашу работу со Spark, Zeppelin и большими данными максимально удобной и эффективной. Поэтому не стесняйтесь делиться своими отзывами и предложениями — нам это важно.

P. S. Особенно приятно, что выход плагина совершенно случайно совпал с нашим участием в Spark AI Summit. Так что если вы вдруг окажетесь на этой конференции, обязательно приходите на наш стенд: сможете посмотреть на плагин в действии и поделиться своими впечатлениями.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Какие инструменты из этого списка вы используете профессионально?
88% Spark 44
62% Hadoop 31
48% Hive 24
8% Flink 4
0% Pig 0
2% Beam 1
10% Другое (напишу в комментариях) 5
Проголосовали 50 пользователей. Воздержался 21 пользователь.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Какие инструменты из этого списка вы используете?
25.42% Zeppelin 15
49.15% Jupyter 29
8.47% RStudio 5
1.69% Spider 1
8.47% Google Colab 5
81.36% IntelliJ IDEA 48
35.59% PyCharm 21
5.08% Другое (напишу в комментариях) 3
Проголосовали 59 пользователей. Воздержались 14 пользователей.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Кем вы работаете?
3.57% Data scientist 2
0% Data analyst 0
3.57% ML engineer 2
35.71% Data engineer 20
41.07% Software engineer 23
5.36% DevOps 3
10.71% Другое (напишу в комментариях) 6
Проголосовали 56 пользователей. Воздержались 12 пользователей.
Теги:Big DataApache SparkApache ZeppelinScalaIntelliJ IDEAIntelliJ
Хабы: Блог компании JetBrains Big Data
Всего голосов 15: ↑12 и ↓3 +9
Просмотры3.5K

Похожие публикации

UI/UX Designer (IntelliJ IDEA)
JetBrainsСанкт-Петербург
Senior Software Developer (Scala Support)
JetBrainsСанкт-Петербург
Software Developer (Kotlin/Java) - Big Data Tools
JetBrainsСанкт-Петербург
Software Engineer (JVM Runtime)
JetBrainsСанкт-Петербург
Software Developer (Java Build Tools, Maven)
JetBrainsСанкт-Петербург

Лучшие публикации за сутки

Информация

Дата основания
Местоположение
Россия
Сайт
jetbrains.com
Численность
1 001–5 000 человек
Дата регистрации

Блог на Хабре