Построение лабораторного ассистента на базе ИИ

Представьте себе лабораторного ассистента, который может вести за вас записи, управлять вашим лабораторным оборудованием, строить графики ваших данных и анализировать все ваши результаты за один раз. Эта концепция существует уже, по сути, вечно. Новшество в этой области заключается в том, что никакой человек не будет выполнять указанные действия - это будет делать ИИ. В этой статье мы рассмотрим прорывную технологию, которая дает нам возможность использовать лабораторного ассистента на ИИ, используя только наш смартфон и Raspberry Pi.

Практическое применение

Вместо того чтобы сначала показывать реализацию, давайте посмотрим на практическое применение нашего лабораторного ассистента на ИИ. Одной из общих проблем, с которой я сталкиваюсь, является процедура включения новой платы. Я постоянно зондирую разные части платы одной рукой, регулирую свой осциллограф другой, а затем пытаюсь включить и выключить мой блок питания также (чтобы наблюдать пусковой ток или другие характеристики включения). К этому добавляется задача включения электронной нагрузки постоянного тока, и у вас быстро заканчиваются руки. В лучшем случае у вас может быть партнер, который поможет вам запустить плату. Если вы одни, справиться со всеми этими задачами может быть довольно непросто.

А что, если бы у нас был способ дать инструкции нашему ИИ-ассистенту последовательно включать или активировать наши приборы?

Рисунок 1: Запрос на установку и включение моего блока питания с использованием естественного языка

Давайте пойдем дальше и посмотрим, сможет ли он также собирать для нас данные

Рисунок 2: Считывание напряжения и тока от блока питания

Используя Интерпретатор Кода (также известный как Расширенный Анализ Данных), мы можем использовать библиотеки визуализации для построения графиков данных, полученных от приборов, не прилагая к этому никаких усилий.

Рисунок 3: Запрос построения графика

Рисунок 4: Код построения графика и результаты

Теперь, когда вы видели некоторые примеры, давайте рассмотрим, как это все работает.

Как это работает

В статье Как создать пользовательское действие GPT для взаимодействия с вашим оборудованием мы собрали очень простое приложение, которое переключает светодиод, подключенный к Raspberry Pi, используя запросы на естественном языке к ChatGPT. В статье Ретрофиттинг лабораторных приборов с возможностями IoT с использованием генеративного ИИ мы создали веб-сервис вокруг наших приборов, чтобы ими можно было управлять через интернет. Мы собираемся объединить концепции из обеих статей, чтобы создать нашего лабораторного помощника на базе ИИ.

В принципе, наш подход повторяет подход предыдущей статьи, но с добавлением сложности. Большая языковая модель, в данном случае движок GPT 4 от ChatGPT, не меняется. Единственное обновление для ChatGPT - это измененный документ OpenAPI, который содержит детали о том, какую функциональность я предоставляю для пользовательского действия GPT. Например, вместо того чтобы просто дать ему базовый конечный пункт, такой как «переключение светодиода» или «получение случайно сгенерированного числа с моего сервера», я указываю ему «включить выход на блоке питания DP832». Все эти инструкции можно найти в файле openapi.yaml в репозитории.

Так же, как мы делали в Как создать пользовательское действие GPT для взаимодействия с вашим оборудованием, нам понадобятся наш SSL-сертификат, файл openapi.yaml, файлы конфигурации Nginx и все наши Docker-файлы для создания полного приложения. Конфигурация Nginx немного меняется, потому что теперь у нас работает несколько веб-приложений независимо друг от друга. Я настроил маршруты к каждому из них отдельно, вместо того чтобы запускать один монолит. Вы можете объединить их в одно веб-приложение, если хотите. Dockerfile и Docker Compose немного сложнее, потому что мы создаем базовый образ, а затем настраиваем его дважды для каждого отдельного веб-приложения. Все детали можно найти в репозитории.

В репозитории настроено все необходимое для работы "из коробки", при условии, что у вас установлен Docker и вы следовали инструкциям README для настройки вашего сертификата и замены некоторых файлов на ваше доменное имя. Для упрощения запуск этого на Raspberry Pi (или на другом легковесном Linux-боксе) даст лучшие результаты. Давайте рассмотрим еще один последний пример, который действительно демонстрирует мощь ИИ в сочетании с управлением лабораторными приборами.

Продвинутый помощник

Теперь, когда у нас есть вся наша экосистема, мы можем начать давать нашему помощнику более сложные задачи, такие как эта:
Я подключил свой блок питания напрямую к моей электронной нагрузке постоянного тока. Я хочу посмотреть на потери в кабелях между двумя приборами. Вот шаги, которые вам нужно выполнить, чтобы получить эту информацию:

1. Установите блок питания на 5В при 1А

2. Включите блок питания

3. Установите электронную нагрузку постоянного тока в режим управления током и включите ее

4. Измерьте напряжение блока питания (и сохраните это для последующего использования)

5. Измерьте напряжение электронной нагрузки постоянного тока (и сохраните это для последующего использования)

6. Установите ток потребления электронной нагрузки постоянного тока на 0.1А

7. Повторите шаги 4-6 для следующих значений тока потребления: 0.5А, 0.9А

8. Создайте график с номером запуска по оси X. Напряжение блока питания и напряжение электронной нагрузки постоянного тока должны быть отдельными линиями по оси Y.

Примечание: Единственный ответ, который я хочу от вас, - это однострочное резюме анализа и представление графика, который вы мне предоставите.

Результат:

Рисунок 5: Итоговый результат

Как вы можете видеть, он не только выполняет за нас ряд операций, но и может строить графики и анализировать результаты. Это не просто стандартный «учебный робот», который мы наблюдали в прошлом - это нечто гораздо большее.

Заключение

В этой статье мы продемонстрировали некоторые возможности нашего лабораторного помощника на базе ИИ и рассмотрели некоторые компоненты, необходимые для его сборки. Репозиторий содержит все, что вам нужно для начала работы, в дополнение к предыдущим учебным пособиям, таким как Как создать пользовательское действие GPT для взаимодействия с вашим оборудованием и Модернизация лабораторных приборов с использованием возможностей IoT с помощью генеративного ИИ, на которых построена эта работа. Этот проект раскрывает трансформационную силу ИИ и как использовать ее в лабораторных условиях. Как ИИ трансформирует вашу лабораторию? Попробуйте запустить этот пример проекта (или его вариацию) и поделитесь своими мыслями о том, что получилось хорошо и что нет.

Весь исходный код, использованный в этом проекте, можно найти по адресу: https://gitlab.com/ai-examples/instrument-controllables.