как сделать голосового помощника на компьютер

Создание голосового ассистента на Python, часть 1

Добрый день. Наверное, все смотрели фильмы про железного человека и хотели себе голосового помощника, похожего на Джарвиса. В этом посте я расскажу, как сделать такого ассистента с нуля. Моя программа будет написана на python 3 в операционной системе windows. Итак, поехали!

Работать наш ассистент будет по такому принципу:

Нам нужно поставить библиотеку pyttsx3 для синтеза речи:

Затем можно запустить тестовую программу и проверить правильность её выполнения.

2) Распознавание речи

Существует много инструментов для распознавания речи, но они все платные. Поэтому я пытался найти бесплатное решение для моего проекта и нашёл её! Это библиотека speech_recognition.

Также для работы с микрофоном нам необходима библиотека PyAudio.

У некоторых людей возникает проблема с установкой PyAudio, поэтому следует перейти по этой ссылке и скачать нужную вам версию PyAudio. Затем ввести в консоль:

Затем запускаете тестовую программу. Но перед этим вы должны исправить в ней device_index=1 на своё значение индекса микрофона. Узнать индекс микрофона можно с помощью этой программы:

Тест распознавания речи:

Если всё отлично, переходим дальше.

Если вы хотите, чтобы ассистент просто общался с вами (без ИИ), то это можно сделать с помощью бесплатного инструмента DialogFlow от Google. После того, как вы залогинетесь, вы увидите экран, где уже можно создать своего первого бота. Нажмите Create agent. Придумайте боту имя (Agent name), выберете язык (Default Language) и нажмите Create. Бот создан!

Чтобы добавить новые варианты ответов на разные вопросы, нужно создать новый intent. Для этого в разделе intents нажмите Create intent. Заполните поля «Название» и Training phrases, а затем ответы. Нажмите Save. Вот и всё.

Чтобы управлять ботом на python, нужно написать такой код. В моей программе бот озвучивает все ответы.

На сегодня всё. В следующей части я расскажу как сделать умного бота, т.е. чтобы он мог не только отвечать, но и что-либо делать.

Источник

Python: как создать простейшего голосового помощника?

Для создания голосового помощника не нужно обладать большими знаниями в программировании, главное понимать каким функционалом он должен владеть. Многие компании создают их на первой линии связи с клиентом для удобства, оптимизации рабочих процессов и наилучшей классификации звонков.

В данной статье представлена программа, которая может стать основой для Вашего собственного чат-бота, а если точнее – голосового помощника для распознавания голоса и последующего выполнения команд. С ее помощью мы сможем понять принцип работы наиболее часто встречаемых голосовых помощников.

Для начала объявим необходимые нам библиотеки:

Также не забудем вести лог файл, который понадобится нам, если же мы все-таки решим улучшить бота для работы с нейронной сетью. Многие компании использую нейронную сеть в своих голосовых помощниках для понимания эмоций клиента и соответствующего реагирования на них. Также стоит не забывать, что с помощью анализа логов, мы сможем понять слабые места алгоритма бота и улучшить взаимодействие с клиентами.

В лог файл мы записываем время сообщения, автора (бот или пользователь) и собственно сам сказанный текст.

Выводим первое сообщение за авторством бота: Привет! Чем я могу вам помочь?

А с помощью такой процедуры в Jupyter Notebook мы можем озвучить через устройство воспроизведения, настроенное по умолчанию, сказанные слова:

Как озвучивать текст мы рассмотрели выше, но как же мы свой голос сможем превратить в текст? Тут нам поможет распознавание речи от Google и некоторые манипуляции с микрофоном.

Что может сделать наш помощник кроме того, чтобы нас слушать? Все ограничено нашей фантазией! Рассмотрим несколько интересный примеров.

Начнем с простого, пусть при команде открыть сайт – он откроет сайт (не ожидали?).

Иногда полезно послушать свои слова, да чужими устами. Пусть бот еще умеет и повторять за нами:

Пусть еще и собеседником будет, но начнем мы пока только со знакомства:

Мы также можем попросить голосового помощника назвать случайное число в выбранных нами пределах в формате: Назови случайное число от (1ое число) до (2ое число).

Для того, чтобы завершить программу, достаточно только попрощаться с ботом:

А чтобы все это работало беспрерывно, мы создаем бесконечный цикл.

Источник

Краткое руководство. Создание пользовательского голосового помощника

В этом кратком руководстве вы будете использовать пакет SDK для службы «Речь» для создания пользовательского приложения голосового помощника, которое подключается к боту, который вы уже создали и настроили. Если необходимо создать бот, см. дополнительные сведения в исчерпывающем руководстве.

После выполнения нескольких предварительных требований подключение пользовательского интерфейса пользователя займет всего несколько шагов:

Вы можете просмотреть или скачать все примеры для пакета SDK службы «Речь» для C# на сайте GitHub.

Предварительные требования

Перед началом работы нужно сделать следующее:

Ознакомьтесь со списком поддерживаемых регионов для голосовых помощников и убедитесь, что ваши ресурсы развернуты в одном из этих регионов.

Откройте проект в Visual Studio.

Сначала необходимо убедиться, что проект открыт в Visual Studio.

Добавление стандартного кода

Добавим код, который выступает в качестве основы для нашего проекта.

Откройте MainPage.xaml в обозревателе решений.

В представлении XAML конструктора замените все содержимое следующим фрагментом кода, который определяет элементарный пользовательский интерфейс:

Конструктор обновляется для отображения пользовательского интерфейса приложения.

using инструкции для Speech и Speech.Dialog пространства имен

простая реализация доступа к микрофону с привязкой к обработчику кнопки;

базовые вспомогательные функции пользовательского интерфейса для представления сообщений и ошибок в приложении;

целевая точка для пути кода инициализации, который будет добавлен позже;

вспомогательное приложение для воспроизведения текста, преобразованного в речь (без поддержки потоковой передачи данных);

пустой обработчик кнопки воспроизведения, который будет заполнен позже.

Ознакомьтесь со списком поддерживаемых регионов для голосовых помощников и убедитесь, что ваши ресурсы развернуты в одном из этих регионов.

Для получения сведений о настройке бота см. документацию по Bot Framework для канала Direct Line Speech.

В текст метода ListenButton_ButtonClicked в классе MainPage добавьте следующее. Этот код настраивается DialogServiceConnector для прослушивания, так как вы уже установили конфигурацию и зарегистрировали обработчики событий.

Создание и запуск приложения

Теперь можно приступать к созданию приложения и проверке пользовательского голосового помощника, используя службу «Речь».

В строке меню выберите Сборка > Построить решение, чтобы создать приложение. Теперь код должен компилироваться без ошибок.

Выберите Отладка > Начать отладку(или нажмите клавишу F5), чтобы запустить приложение. Откроется окно helloworld.

Выберите Включить микрофон, а когда появится запрос на разрешение доступа, выберите Да.

Щелкните Talk to your bot (Разговор с ботом) и произнесите фразу или предложение на английском языке в микрофон устройства. Ваша речь передастся в канал «Речь Direct Line» и преобразуется в текст, который появится в том же окне.

Дальнейшие действия

Вы можете просмотреть или скачать все примеры для пакета SDK службы «Речь» для Java на сайте GitHub.

Выберите целевую среду

Предварительные требования

Перед началом работы нужно сделать следующее:

Ознакомьтесь со списком поддерживаемых регионов для голосовых помощников и убедитесь, что ваши ресурсы развернуты в одном из этих регионов.

Создание и настройка проекта

В средстве запуска Eclipse в поле Рабочая область введите имя нового каталога. Затем выберите Запустить.

После этого отобразится главное окно интегрированной среды разработки Eclipse. Если отобразится экран приветствия, закройте его.

В строке меню Eclipse создайте новый проект, выбрав Файл > Создать > Проект.

После этого запустится мастер создания проектов Java. В поле Имя проекта введите quickstart и в качестве среды выполнения выберите JavaSE-1.8. Нажмите кнопку Готово.

Если появится окно Open Associated Perspective? (Открыть связанную перспективу?), выберите Open Perspective (Открыть перспективу).

В обозревателе пакетов щелкните правой кнопкой мыши проект quickstart. В контекстном меню выберите Настроить > Convert to Maven Project (Преобразовать в проект Maven).

Откроется окно Create new POM (Создать новый POM). В поле Идентификатор группы введите com.microsoft.cognitiveservices.speech.samples, а в поле Идентификатор артефакта — quickstart. Выберите Готово.

Откройте файл pom.xml и измените его.

В конце файла перед закрывающим тегом

создайте элемент repositories со ссылкой на репозиторий Maven для пакета SDK службы «Речь», как показано ниже.

Кроме того, для включения ведения журнала обновите файл pom.xml, чтобы добавить следующие зависимости.

Добавление примеров кода

Выберите Файл > Создать > Класс, чтобы добавить пустой класс в проект Java.

В окне New Java Class (Новый класс Java) введите speechsdk.quickstart в поле Пакет и Main в поле Имя.

Откройте только что созданный класс Main и замените содержимое файла Main.java следующим начальным кодом.

Ознакомьтесь со списком поддерживаемых регионов для голосовых помощников и убедитесь, что ваши ресурсы развернуты в одном из этих регионов.

Соединитель DialogServiceConnector использует несколько событий, чтобы сообщать о работе бота, результатах распознавания речи и других данных. Далее добавьте эти прослушиватели событий.

Чтобы поддержать воспроизведение ответа, добавьте дополнительный класс, который преобразовывает объект PullAudioOutputStream, возвращенный из API getAudio(), в InputStream для Java, чтобы упростить обработку. ActivityAudioStream — это специализированный класс, который обрабатывает аудиоотклик из канала «Речь Direct Line». Он предоставляет методы доступа для получения сведений о звуковом формате для обработки воспроизведения. Для этого выберите File (Файл) > New (Создать) > Class (Класс).

В окне New Java Class (Новый класс Java) введите speechsdk.quickstart в поле Пакет и ActivityAudioStream — в поле Имя.

Откройте только что созданный класс ActivityAudioStream и замените его содержимое следующим кодом.

Создание и запуск приложения

Дальнейшие действия

Предварительные требования

Перед началом работы нужно сделать следующее:

Источник

Создайте свой первый Voice Assistant

Дата публикации Mar 28, 2019

В настоящее время неудивительно слышать, как кто-то говорит с кем-то, кого там нет. Мы просим Алексу узнать погоду и снизить температуру на термостате. Затем мы спрашиваем Сири, каково наше расписание на день, и звонить людям. Сейчас мы на связи больше, чем когда-либо, используя нашу технологию голосового и голосового интерфейса. Я не могу больше делать вещи вручную! Это действительно будущее.

Введение

Кто не хочет иметь роскошь иметь помощника, который всегда прислушивается к вашему звонку, предвидит все ваши потребности и при необходимости принимает меры? Эта роскошь теперь доступна благодаря голосовым помощникам на основе искусственного интеллекта.

Голосовые помощники поставляются в небольших упаковках и могут выполнять различные действия, услышав вашу команду. Они могут включать свет, отвечать на вопросы, играть музыку, размещать онлайн-заказы и делать все виды искусственного интеллекта.

Голосовых помощников не следует путать с виртуальными помощниками, которые являются людьми, которые работают удаленно и поэтому могут выполнять все виды задач. Скорее, голосовые помощники основаны на технологии. По мере того, как голосовые помощники становятся более надежными, их полезность как в личной, так и в деловой сферах будет расти.

Что такое голосовой помощник?

голосовой помощникилиумный личный помощникпредставляет собой программный агент, который может выполнять задачи или услуги для индивидуума на основе словесных команд, то есть путем интерпретации человеческой речи и ответа посредством синтезированных голосов. Пользователи могут задавать вопросы своих помощников, управлять устройствами домашней автоматизации и воспроизведением мультимедиа с помощью голоса, а также управлять другими основными задачами, такими как электронная почта, списки дел, открывать или закрывать любые приложения и т. Д. С помощью устных команд.

История Голосовых Помощников

Крупные организации, такие как Apple и IBM, рано, в 90-х годах, начали создавать вещи, использующие голосовое подтверждение. В 1993 году Macintosh начал создавать системы распознавания речи на своих компьютерах Macintosh с PlainTalk.

В апреле 1997 года Dragon NaturallySpeaking был первым продуктом с постоянной диктовкой, который мог охватить около 100 слов и преобразовать его в читаемый контент.

1. Откройте субреддит в браузере.
2. Откройте любой веб-сайт в браузере.
3. Отправьте электронное письмо своим контактам.
4. Запустите любое системное приложение.
5. Сообщает вам текущую погоду и температуру практически любого города
6. Сообщает вам текущее время.
7. Привет
8. Проиграйте песню на медиаплеере VLC (конечно, вам нужно иметьVLC медиаплеерустановлен на вашем ноутбуке / рабочем столе)
9. Изменить обои для рабочего стола.
10. Сообщает вам последние новостные ленты.
11. Рассказывает практически обо всем, что вы просите.

Итак, здесь, в этой статье, мы собираемся создать голосовое приложение, способное выполнять все вышеупомянутые задачи. Но сначала, посмотрите это видео, которое я сделал ниже, когда я общался с настольным голосовым помощником, и я зову ее София.

Новое видео от Нагеша Чаухана

Interaction_with_Sofia

photos.app.goo.gl

Зависимости и требования:

Системные требования: Python 2.7, Spyder IDE, MacOS Mojave (версия 10 14)

Установите все эти библиотеки Python:

Давайте начнем создавать наш настольный голосовой помощник с использованием python

Начните с импорта всех необходимых библиотек:

Чтобы наш голосовой помощник выполнил все рассмотренные выше функции, мы должны закодировать логику каждой из них одним способом.

Затем создайте метод, который будет преобразовывать текст в речь.

Теперь создайте цикл, чтобы продолжить выполнение нескольких команд. Внутри метода assistant () передается пользовательская команда (myCommand ()) в качестве параметров.

Пользователь даст любую команду, чтобы открыть любой subreddit из Reddit, и команда должна быть «Эй, София! Можешь пожалуйстаоткрыть Reddit subreddit_name». только жирным курсивом следует использовать как есть. Вы можете использовать любой вид префикса, просто позаботьтесь о выделении жирным курсивом.

Как это работает :Если вы сказали фразуоткрыть Redditв вашей команде он будет искать имя subreddit в пользовательской команде, используя re.search (). Субреддит будет найден с помощьюwww.reddit.comи откроется в браузере с помощью модуля pybons Webbrowser.Веб-браузерМодуль предоставляет высокоуровневый интерфейс, позволяющий отображать веб-документы пользователям.

Таким образом, приведенный выше код откроет нужный вам Reddit в браузере по умолчанию.

2. Откройте любой веб-сайт в браузере.

Вы можете открыть любой веб-сайт, просто сказав «open website.com» или «open website.org».

Например: «Пожалуйста, откройте facebook.com» или «Эй, вы можете открыть linkedin.com», как это, вы можете попросить Софию открыть любой веб-сайт для вас.

Как это работает :Если вы сказали словооткрытов вашей команде он будет искать имя веб-сайта в пользовательской команде, используя re.search (). Затем он добавит название сайта к https: // WWW.и используявеб-браузерМодуль полный URL открывается в браузере.

3. Отправить письмо.

Вы также можете попросить вашего настольного помощника отправить электронное письмо.

Как это работает :Если вы сказали словоЭл. адресв вашей команде тогда бот спросит о получателе. Если мой ответ rajat, бот будет использовать библиотеку pthons smtplib.модуль smtplib Определяет объект сеанса клиента SMTP, который можно использовать для отправки почты на любой компьютер в Интернете с демоном прослушивателя SMTP или ESMTP. Отправка почты осуществляется с помощью smtplib Python с использованием SMTP-сервера. Сначала он инициирует SMTP с помощью Gmail.smtplib.SMTP ()затем идентифицируйте сервер, используяEHLO ()функция, а затем кодирование сеансаSTARTTLS (),затем войдите в свой почтовый ящик, используяавторизоваться(), а затем отправив сообщение с помощьюОтправить письмо().

4. Запустите любое системное приложение.

Скажите «Календарь запуска» или «Можете ли вы запустить Skype» или «Поиск запуска Софии» и т. Д., И София запустит это системное приложение для вас.

5. Сообщает вам текущую погоду и температуру практически любого города.

София также может сказать вам погоду, максимальную и минимальную температуру любого города по всему миру. Пользователь просто должен сказать что-то вроде «какая сейчас погода в Лондоне» или «скажите мне текущую погоду в Дели».

Как это работает :Если вы сказали фразутекущая погодав вашей команде он будет искать название города с помощью re.search (). Я использовал питоновpyowmбиблиотека, чтобы узнать погоду любого города. get_status () расскажет вам о погодных условиях, таких как дымка, облачность, дождь и т. д., а get_tempera () расскажет о максимальной и минимальной температуре города.

6. Сообщает вам текущее время.

«София, вы можете сказать мне текущее время?» Или «который сейчас час?», И София скажет вам текущее время вашего часового пояса.

Как это работает: это довольно просто

7. Привет / оставить

Скажите «Здравствуй, София», чтобы поприветствовать своего голосового помощника, или, когда вы хотите, чтобы программа завершилась, произнесите что-то вроде «выключите Софию» или «София, пожалуйста, выключите» и т. Д.

Как это работает :Если вы сказали словоЗдравствуйтев вашей команде, то в зависимости от времени суток, бот будет приветствовать пользователя. Если время больше 12 часов, бот ответит «Здравствуйте, сэр. Добрый день », а также, если время превышает 6 часов вечера, бот ответит« Здравствуйте, сэр. Добрый вечер». И когда вы даете команду, как выключение,sys.exit ()будет вызван для завершения программы.

8. Воспроизведение песни на медиаплеере VLC

Эта функция позволяет вашему голосовому боту проигрывать нужную песню в медиаплеере VLC. Пользователь скажет «София, сыграй мне песню», бот спросит: «Какую песню мне сыграть, сэр?». Просто скажите название песни, и София загрузит песню с youtube на ваш локальный диск, воспроизведите эту песню на медиаплеере VLC, и если вы снова воспроизведете песню, ранее загруженная песня будет автоматически удалена.

Как это работает :Если вы сказали фразусыграй мне песнюв вашей команде, то он спросит вас, какую видео песню для воспроизведения. Песня, которую вы попросите, будет найдена на youtube.com. Если найденная песня будет загружена в ваш локальный каталог с помощью библиотеки pythons youtube_dl.YouTube-DLэто программа командной строки для загрузки видео с YouTube.com и еще нескольких сайтов. Теперь песня будет проигрываться, как только она будет загружена с помощью питоновБиблиотека VLCи модуль play (path_to__videosong) фактически воспроизводит песню.

Теперь, если в следующий раз вы запросите любую другую песню, локальный каталог будет сброшен, и в этот каталог будет загружена новая песня.

9. Изменить обои для рабочего стола.

Вы, ребята, также можете изменить обои для рабочего стола, используя эту функцию. Когда вы говорите что-то вроде «поменяйте обои» или «София, пожалуйста, поменяйте обои», бот загрузит случайные обои сunsplash.comи устанавливает его в качестве фона рабочего стола.

Как это работает :Если вы сказали фразуизменить обоипо вашей команде программа загрузит случайные обои с unsplash.com, сохранит их в локальном каталоге и установит в качестве обоев рабочего стола с помощью subprocess.call (). Я использовал unsplash API, чтобы получить доступ к его содержимому.

Теперь, если в следующий раз вы попросите изменить обои снова, ваш локальный каталог будет сброшен, и новые обои будут загружены в этот каталог.

10. Сообщает вам последние новостные ленты.

София также может рассказать вам последние новости. Пользователь просто должен сказать «София, какие новости сегодня самые популярные?» Или «Скажите мне новости на сегодня».

Как это работает :Если вы сказали фразуновости на сегодняв вашей команде, то он будет очищать данные с помощьюКрасивый супиз Google News RSS () и прочитайте его для вас. Для удобства я установил ограничение на количество новостей до 15.

11. Рассказывает практически обо всем, что вы просите.

Ваш бот может получить подробную информацию практически обо всем, что вы у нее спросите. Например, «София расскажи мне о Google» или «Пожалуйста, расскажи мне о суперкомпьютерах» или «Пожалуйста, расскажи мне об Интернете». Итак, как вы можете видеть, вы можете спросить о чем угодно.

Как это работает :Если вы сказали фразуРасскажи мне ов вашей команде он будет искать ключевое слово в пользовательской команде, используя re.search (). Используя библиотеку pythons wikipedia, она будет искать эту тему и извлекать первые 500 символов (если вы не укажете ограничение, бот будет читать всю страницу за вас).Википедиябиблиотека Python, которая позволяет легко получать доступ и анализировать данные из Википедии.

Давайте сложим все вместе

Итак, вы видели, как, просто написав простые строки кода на Python, мы можем создать очень классного голосового помощника для рабочего стола / ноутбука. Помимо этих функций, вы также можете включить множество различных функций в свой голосовой помощник.

Помните, что, как только вы начнете выполнять свою программу, будьте громкими и ясными, когда вы общаетесь с голосовым помощником, потому что может случиться так, что, если ваш голос нечеткий, ваш голосовой помощник не сможет правильно вас интерпретировать.

Вывод: что ждет нас в будущем

На протяжении всей истории вычислений пользовательские интерфейсы стали все более естественными в использовании. Экран и клавиатура были одним шагом в этом направлении. Мышь и графический интерфейс пользователя были другой. Сенсорные экраны являются самой последней разработкой. Следующий шаг, скорее всего, будет состоять из смеси дополненной реальности, жестов и голосовых команд. В конце концов, часто легче задать вопрос или поговорить, чем набрать что-то или ввести несколько деталей в онлайн-форме.

Чем больше человек взаимодействует с устройствами, активируемыми голосом, тем больше трендов и паттернов, которые система идентифицирует на основе получаемой информации. Затем эти данные можно использовать для определения пользовательских предпочтений и вкусов, что является долгосрочным преимуществом для того, чтобы сделать дом умнее. Google и Amazon стремятся интегрировать голосовой искусственный интеллект, способный анализировать человеческие эмоции и реагировать на них

Надеюсь, вам, ребята, понравилось читать эту статью. Поделитесь своими мыслями / комментариями / сомнениями в разделе комментариев. Вы можете связаться со мной черезLinkedIn,

Источник