Как определить, что нейронка действительно предсказывает, есть ли генератор именно случайных, а не псевдослучайных чисел?
Есть нейронка, которая была обучена на временном ряду цены закрытия (1М 1,4 млн. строк), потом на ее предикт подаем датасет с 15М (93К ) ниже 500 последних цен. Получаем достойный предикт. Затем генерируем случайный датасет на то же количество строк и получаем следующий ряд. И его отправляем на предикт. Ожидалось, что будет точность в районе 0,5, но она чуть больше. Не означает ли это, что сетка пытается вытащить закономерность генератора, так как последний все таки генерирует псевдослучайные числа? И если генератор полностью случайных чисел, что бы на нем свои 0,5 получить?
В принципе и так видны повторяющиеся фрагменты в псевдослучайной генерации:
Скорее всего, это эффект недостаточной длины генерированного случайного датасета для прогноза.
Как я понял, здесь решается задача бинарной классификации направления изменения цены. К сожалению, ничего не сказано про то, какая устойчивость точности 0.68 и 0.62 при генерировании других случайных датасетов с другими начальными условиями, на сколько эти числа прыгают, или, наоборот, никак не меняются.
Попробуйте увеличивать длину временного ряда и смотреть, куда стремиться точность, к 0.5 или не к 0.5 при классификации направления изменения цены. Если у вас действительно белый шум, то должно стремиться к 0.5 при увеличении временного интервала данных.
Если шум не белый, а например, розовый, то при классификации направления изменения цены точность не должна стремиться к 0.5. Но если это нумпаевская функция uniform, то шум должен быть белым.
Никаких повторяющихся фрагментов на графике шума нет. Во-первых, в библиотеке numpy используется очень мощный генератор случайных чисел, который зацикливается за астрономическое число генераций. Программа должна работать порядка времени жизни Вселенной, чтобы начались повторения. Во-вторых, после появления первого повтора все дальнейшие генерированные числа будут точно такими же, как и в самом начале после запуска генератора. То есть компьютерные генераторы случайных чисел, на самом деле, выдают периодическую последовательность с огромным периодом.
Эксперт по оптимизации инвестиционного портфеля и прогнозированию биржевых цен.
Перейти на forecast.nanoquant.ru
А число Пи или е?
В операционках часто есть случайные функции для целей безопасности. Например, в Линуксе это /dev/random. Он основан не на алгоритме, а на пуле событий с драйверов устройств. В случае с десктопом, он зависит в том числе от... Читать далее
1 эксперт согласен
Эмиль Пилецкий
6 окт 2022подтверждает
Да, лучше чем /dev/random на обычном ПК не найти.
В своё время я занимался спец. аппаратурой для шифрования и для генерации "серьёзных" ключей датчик псевдослучайных чисел не годится. Обычно для этого используются аппаратные датчики случайных чисел асинхронно подключаемые к... Читать далее
Спасибо! Похоже эту нейронку проще использовать как индикатор случайности для генератора. :-)
Разработчик встроенных систем, немного радиолюбите... · 25 сент 2022 · vladimir-coslow.narod.ru/index.html
Нейронки - предмет темный, теория распространяется не дальше, чем на 3-слойные перцептроны, а глубже копать - уже почти чистое искусство.
Но генераторы "именно случайных, а не псевдослучайных чисел" существуют. Причем... Читать далее
Чтобы ни дня в жизни не работать, на практике совмещаю работу с хобби.
Перейти на vladimir-coslow.narod.ru/index.html
Спасибо! Мне вот коллеги подсказали, что нейронка как раз и вытаскивает алгоритм генератора, слабо, но если... Читать дальше
Все генераторы используемые в вычислениях псевдослучайны. Ну даже по логике прикиньте. Вычисления "случайного" числа проводится по определённому алгоритму, в принципе значит последовательность предсказуема.
Я как раз о том же. Народ предлагает собрать аппаратный генератор. :-)