Вход в личный кабинет : игры для авторизации звука
Александра Депутатова
Игры для авторизации звука
Колокольчик – ребенок называет картинки с автоматизируемым звуком. Если ребенок произносит слово не правильно – взрослый звенит в колокольчик.
Поезд – ребенок читает сам или произносит за взрослым слоги.
Эхо – ребенок повторяет за взрослым слова, слоги или предложения громко или тихо.
Волшебная веревочка – ребенок наматывает веревочку на пальчик и одновременно без остановки произносит слоги и слова.
Кнопочки – проговаривая слоги или слова с автоматизированным звуком, ребенок одновременно нажимает на нарисованные кнопочки, нарисованные на листе бумаги, сколько нарисовано кнопочек, столько раз нужно повторить.
Шарик – произнося слоги или слова, ребенок перекладывает из одной руки в другую теннисный мячик.
Веселый мяч – произносить слоги и слова под ритм, отбивая мяч об пол, или бросать его друг другу.
Лабиринт – проводя пальчиком по лабиринту, ребенок произносит предложения чистоговорки, скороговорки.
Узоры – ребенок выкладывает или рисует разные фигурки слог или слово. Каждая фигурка обозначает слог или слово.
Часы – ребенок проговаривает слог или слово столько раз, сколько показывает стрелка на часах.
Пирамидка – нанизывая колечки пирамидки на стержень, ребенок произносит слоговые ряды или слова.
Бусы – нанизывая бусы на веревочку, ребенок проговаривает слог, слово или предложение. Каждая бусина обозначает отдельный слог или слово.
Палочки или счеты – ребенок проговаривает заданный слог или слово столько раз сколько отложено палочек или косточек на счетах.
Улиточка – ребенок проговаривает слоги, слова, предложения проводя пальчиком по домику улитки.
Большой и маленький – ребенок выкладывает поочередно дорожку из больших и маленьких фигурок, одновременно проговаривая слоги или слова, тихим и громким голосом.
Магазин – для нее вам потребуются игрушки (киндер-сюрпризы) и бытовые предметы. Нужно выбрать те предметы и игрушки, в названии которых есть звук, который автоматизируете, например звук «Л».
Строим башню – ребенок называет слова и строит башню, родители могут принять участие в игре и устроить соревнование – «Чья башня окажется выше».
Найди нужное слово – взрослый называет слова, а ребенок должен сказать «ОЙ», если в слове услышит изучаемый звук, о котором договариваются заранее. Игра развивает фонематический слух и приучает ребенка вслушиваться в звучание слов.
Посчитай-ка – детям предлагают посчитать предметы с определенным звуком. Например: давай мы посчитаем все машины которые встретятся нам на пути: одна машина, две машины, три машины, четыре машины, пять машин; и т. д.
Всезнайка – дошкольники должны ответить на вопросы, называя слова, которые начинаются с определенного звука, например звука [л].
Как тебя зовут? Где ты живешь? Что ты любишь кушать?
Каких ты знаешь животных на звук [л]?
Каких ты знаешь рыб на звук [л]?
Какие имена девочек (мальчиков) на звук [л] ты знаешь? и т. д.
Что я загадал? – взрослый предлагает отгадать загаданное слово, по словам подсказкам. Например: Этот предмет большой, железный, тяжелый, у него есть колеса и руль. Конечно, ребенок с радостью отгадывает, что это Машина, а заодно и произносит слово с определенным звуком, который необходимо автоматизировать. Хитрость заключается в том, что взрослый сознательно загадывает слова с определенным звуком, но не забывает, что звук может быть в начале, середине и конце слова. Для усложнения данной игры- можно предложить ребёнку, при правильном ответе- меняться ролями.
Вешаем с помощью прищепок мягкие игрушки – ребенок берет мишку, мышку, лягушку… и при помощи прищепки крепит на веревку, произнося слова и делая акцент на автоматизированный звук.
Fluentchip
Это набор объектных файлов, которые содержат в себе весь волшебный функционал синтеза и распознавания, т.к. чип, по сути — голая болванка с периферией и сам ничего не умеет. Реализован следующий функционал:
- Воспроизведение звука: с помощью специальной программы QuickSynthesys можно подготавливать библиотеки звуков, слов и предложений из них; музыку для встроенного MIDI-секвенсора. С помощью простых библиотечных функций можно воспроизводить звуки, слова, мидишки со своими инструментами и даже со словами поверх музыки; можно воспроизводить DTMF, пищать и посылать токены SonicNet в любой комбинации. Присутствует очень хорошее сжатие для речи — SX.
- Запись звука: собственно, запись звука с последующим воспроизведением. Нам не актуально, т.к. для этого нужна особая навесная оперативка или флэшка приличного объема, которую к модулям никак не подключить.
- Распознавание речи: отдельный разговор. Об этом функционале поговорим ниже.
- SonicNet: позволяет посылать через динамик и слушать микрофоном специальные посылки-токены, не слышимые человеком и таким образом общаться нескольким устройствам между собой.
- «Анимация»: набор функций для интерактивной обратной связи. Детектор и предсказатель ритма, детектор высоты тона или ноты, «синхронизатор движения губ» как для заранее зашитых звуковых библиотек, так и работающий в реальном времени с микрофона.
- SoundSource: используя немного обвеса, возможно соорудить «электронные уши», детектировать положение источника звука и, например, поворачивать устройство или его «голову» к говорящему. Нам, к сожалению, прелестями воспользоваться не удастся ввиду ограниченного числа выведенных GPIO на модуле.
- Утилитарные функции, типа функций настройки таймеров, доступа к буферам в оперативке, управления питанием, генерации задержек и проч. Есть готовый софтовый драйвер UART.
Теперь поговорим о распознавании речи.
Библиотека умеет выполнять два принципиально разных метода распознавания:
T2SI
(text-to-speaker-independent, «человеко-независимый», говорящим может быть кто угодно) и
SD
(speaker-dependent, говорить должен тот, кто обучал систему).
T2SI использует достаточно сложный и интересный подход. Сначала на компьютере в специальной программе (QuickT2SI) формируются словари путем вбивания нужных слов или фраз с клавиатуры. Затем программа, в зависимости от выбранной языковой модели проводит преобразование этих слов и фраз к фонемам (при необходимости результат можно корректировать, вплоть до ручного набора слов фонемами IPA).
После этого можно произвести тонкую настройку распознавания и сформировать объектные файлы с данными для вашего набора слов, которые должны быть включены в программу. Таких наборов может быть очень много, а нужный просто выбирается при вызове библиотечной функции распознавания.
Этот метод сложен технически, использует акустические модели фонем для разных языков, нейросети для их распознавания и скрытую марковскую модель (HMM) для статистического анализа и угадывания слов. Соль в том, что самая сложная работа — построение и обучение нейросети и формирование скрытой марковской модели — происходит на компьютере, а в устройство зашивается уже готовая нейросеть (в библиотеке на чипе есть софтовый нейропроцессор и анализатор HMM).
Готовая нейросеть и модель содержит в себе только нужные состояния и фонемы для набора, поэтому получается очень компактная и быстрая.Результат работы этого метода, конечно, впечатляет. Получается очень точное распознавание даже на больших словарях и с разными «говорителями».
Но у метода есть для нас один очень большой недостаток. Нет модели русского языка 🙁 Причем, принципиально нет никаких ограничений, чтобы ее сделать, но разработчику, походу, это не особо нужно. Тем не менее, есть возможность использовать более-менее похожие модели испанского/итальянского с некоторыми ограничениями и набирать нужные слова сразу фонемами, но это не так удобно, хотя качество распознавания русских слов, запиленных таким образом, достаточно неплохое.
Второй метод — SD — основан на высчитывании огибающих слова/фразы и, возможно еще какой-то информации, типа FFT и генерации «паттерна» — отпечатка, соответствующего этому слову или фразе. По всей видимости, это какой-то векторный массив, наподобие паттернов, описывающих отпечаток пальца после векторного анализа.
Только здесь, в качестве исходной информации выступает не картина папиллярного узора, а захваченная звуковая информация. Каждый паттерн занимает в памяти строго определенное количество байт — 256. Из нескольких паттернов в процессе обучения комбинируется «шаблон» (тоже 256 байт), который затем сохраняется в памяти, присваивается к какому-либо словарю и в дальнейшем можно запустить по этому словарю распознавание.
На практике же, при небольшом словаре с разными по произношению словами, система способна точно распознавать слова, даже если их говорит другой человек, что есть очень и очень хорошо!На этом же принципе построена и SV — верификация говорящего, «голосовой пароль».
Только разница в том, что информация векторизуется по другим признакам, и большее внимание уделяется конкретным характеристикам голоса говорящего. По этому и получается «пароль». А технически оно работает точно так же, как и SD.Возможно запускать одновременно T2SI и SD/SV распознавание по разным наборам.
Библиотечные функции достаточно просты и понятны, есть куча примеров, вполне читабельный хелп и аппноуты. Не утонете.Для сохранения шаблонов требуется какая-то память. В комплекте библиотеки идет несколько модулей для работы с разными типами навесной памяти.
Их достаточно просто подключить и настроить в конфигурационном файле, а библиотека возьмет на себя все остальное. На наших модулях установлена для этих целей I2C память 24LC64, которая как раз и позволяет хранить 32 шаблона. Драйвер для I2C памяти в поставке библиотеки есть. Даже с исходником. Примеры работы тоже есть.
Учтите, что библиотека занимает кучу ресурсов МК, так что оперативки остается порядка 250-300 байт ( 256 байт RAMY буфера, которые используются для хранения паттернов при обучении SD и работе SD, но их можно использовать под свои нужды, на то есть библиотечные функции).
При работе библиотечных функций практически не остается и процессорного времени, так что будьте аккуратны в прерываниях. Некоторым процессам (распознаванию, например) похеру и они просто будут работать дольше, а некоторым (воспроизведению звука) не похеру, и звук может начать трещать или вообще функция осыпется и вернет ошибку, что «недостаточно свободных циклов».
Подробнее описано в документации (там такая большая таблица со всеми цифрами потребления). Но это все мелочи и решаются они просто грамотным программированием.Да. Все программы из комплекта библиотек бесплатны. Кроме QuickT2SI, которая стоит $3500 в полном варианте. Жадность программы лечится скачиванием мною пропатченой версии по ссылкам во вложении к статье — «link.txt».
Rsc-4128
Чип представляет собой специализированный микроконтроллер на совместимом с 8051 ядре, который несет на себе периферию для записи и воспроизведения звука (микрофонный преамп с АЦП, ЦАП с ШИМ для динамика, аудио-компараторы, фильтры). На чипе есть немного оперативки (4.8 килобайт)
и РОМ, размер которого означается последними цифрами названия чипа (в данном случае 128 килобайт). Ядро работает на частоте 14 с лишним мегагерц от внешнего резонатора с PLL. Доступно 5 таймеров (3 обычных, 1 тик-таймер, 1 ватчдог), 8 источников прерываний (от таймеров и от пинов), интерфейс подключения внешней памяти, ускоритель векторной математики.
На чипе нет
аппаратной периферии связи — UART, SPI, I2C. Есть только GPIO с прерываниями от некоторых пинов, но вопрос этот вполне неплохо решается софт-драйверами. Хорошо работает подсистема энергосбережения (все-таки, чип рассчитан на батарейное питание). С регистрами все очень просто и понятно, никаких заморочек.
Чип может считывать программу либо полностью из внутреннего рома, либо полностью из внешнего (адресуя до 1 мегабайта без изъебств), в зависимости от состояния пина nXM. Также существуют механизмы доступа к разного рода навесной памяти, которые, в общем-то, не очень сильно нужны (ИМХО).
Основная же соль чипа — софт-библиотека FluentChip, которая и реализует все возможности по распознаванию и синтезу, а также много других полезных функций.
Авторизации для пользовательского интерфейса (ui)
Аура звуковая атмосфера леса
Конференции voximplant
Прежде чем приступить к написанию сценариев VoxImplant для конференций нужно разобраться как они устроены. Конференции в VoxImplant бывают 2х типов: одни можно создавать прямо в сценарии с помощью функции
Модуль easyvr
Модуль — штука самодостаточная. На нем установлен весь необходимый обвес, от стабилизатора питания, до памяти и преобразователя уровней напряжения (для UART). Изначально, общение с модулем происходит по UART, также есть разъем для микрофона (с микрофоном в комплекте), разъем для динамика (выход PWM, без динамика в комплекте) и колодка с тремя дополнительно выведенными GPIO выводы nXM и RST.
24LC64 совершенно спокойно перепаивается в 24LC256 и становится возможным хранить уже 128 шаблонов. 24LC512 к сожалению шире корпусом и на плату не влезает 🙂
Питается модуль от 3 до 5 вольт. На пинах, которые используются под UART стоит микросхема-преобразователь уровней (чтоб можно было шпарить до 5 вольт). На остальные пины подавать больше 3 вольт НЕЛЬЗЯ! Спалите пины или чип! Это вам не AVR!А теперь самое главное, ради чего все затевалось!
Разработчики модуля не афишируют эту возможность, но тем не менее, в модуль можно зашить абсолютно любой код! Устроено все так: в РОМе самого чипа сидит загрузчик, с которым может общаться программка «VeeLoader.exe» от VeeaR (из комплекта оригинального софта).
А во флешке, которая на 1 мегабайт, собственно и лежит прошивка. Т.к. чип может работать либо со встроенным РОМом, либо с внешним флэшом, то вот и получается наша картина: подцепляем nXM на 3 вольта и чип стартует с вшитого по маске загрузчика, который может спокойно читать и писать флэшку без всяких ограничений или защит через UART.
А если мы оставим висеть nXM свободно (на самом деле pull-down внутри чипа на несколько килоом), то чип будет стартовать с внешней флэшки. Таким образом, достаточно просто скормить HEX-файл своей программы VeeLoader’у и, вуаля, он зашьет ее во флэш! Делов-то 🙂
Вот таким образом мы получили достаточно мощный и недорогой инструмент для работы с натуральной речью, который можем лепить сами как захотим, не ограничиваясь рамками прошивки производителя. Можно делать все, на что хватит фантазии 🙂 Тем более, железка и технологии действительно уникальные, интересные и очень качественно вылизанные производителем (ребята из Sensory — молодцы).
Во вложении вы найдете ссылку на архив со всем необходимым (архив с софтом и пилюлями уникален и больше вы его нигде не достанете):1. Инструментарий Sensory последних версий: QuickT2SI 3.1.7 (с лечивом), QuickSynthesis 5.2.1, библиотеки FluentChip 3.1.
Все вопросы и пожелания пишите в комментах. Чем смогу — помогу 🙂
Настройки конференции
Среда разработки
Конечно же, к чему весь этот разговор и должен был привести. Собственно, «где и в чем писАть?». Вариантов тут совсем не много. Точнее говоря, по факту, всего один — решение от
Phyton
под названием
Project-SEЕсть еще компилятор от mikroElektronik’и, но он уже снят с производства и поддержки, да и при этом косой очень. Так что, пользоваться придется Phyton’ом.
Среда очень корявая в плане интерфейса (IAR после нее покажется вам просто каким-то Эклипсом), но к ней за пару дней привыкаешь. Можно даже все настроить под свои нужды (кнопочки всякие, панели).
Никаких тонкостей и особенностей нет — среда заточена конкретно под этот камень. Создаем проект, настраиваем, подключаем библиотеки и всякие сгенерированные объектники со звуками и нейросетями и вперед — пишем на C или ASM.
Примеров, опять же повторюсь, очень много.
Все предельно просто и понятно.
Технология звуковой авторизации пользователей в приват24
ПриватБанк представил первую в мире технологию авторизации пользователей по звуку. Как сообщила пресс-служба ПриватБанка, теперь для входа в Приват24 пользователю достаточно просто набрать адрес new.privat24.ua и иметь рядом смартфон. Эта удивительная технология уже работает для Интернет-банка Приват24 и позволяет не только сократить время на подключение к сервисам в 5 раз, но и сделать процесс входа незаметным для клиентов.
«Классическая авторизация пользователя через динамический SMS-пароль занимает в среднем 30 секунд, тогда как звуковая авторизация со смартфона проходит за 5,3 секунды, – говорит заместитель Председателя Правления ПриватБанка Александр Витязь. – Незаметная или фоновая авторизация является одним из самых сильных трендов в мире, например, apple авторизует клиентов по отпечаткам пальцев. Сегодня наша технология работает на входе в Приват24, а завтра мы расширим ее использование для подтверждения интернет- и бесконтактных платежей».
Как отмечают в банке, технология фоновой звуковой авторизации отвечает самым современным требованиям безопасности, так как компьютер и смартфон обмениваются одноразовыми динамическими паролями. Звуковой вход в Приват24 доступен владельцам смартфонов Nexus, а в мае эта магическая функция будет доступна пользователям iPhone и Samsung.
Участники конференции
Знакомый всем bootstrap нам в помощь, логику работы интерфейса и его взаимодействия с простеньким веб-сервисом работающим с БД из 3 таблиц (managers, conferences, participants) мы запилили на Reactjs. Мы не будем вдаваться сейчас в детали разработки интерфейсов, пост немного не про это, если будут пожелания — всегда рады рассказать подробнее, но на это нужна отдельная статья.
С добавлением участников все тоже не особо сложно — есть имя участника, номер телефона (для исходящего подключения или если включена авторизация по А-номеру), email (для отправки уведомлений об участии в конференции и данных для подключения к ней), Outbound — подключить исходящим звонком после старта конференции.
Когда список участников сформирован (все данные записаны в БД), то можно начинать конференцию. Schedule Conference позволяет запланировать конференцию на какую-то дату в будущем, разница со Start Conference очевидна — просто записываем данные в БД, включая данные когда конференция будет актуальна и только тогда к ней можно будет подключиться извне она должна будет при создании попытаться сама вызвонить тех участников, у которых Outbound == true.