ブログ

割とコンピュータよりの情報をお届けします。

TakeMe

WinPython 3.7.0 virtualenvは時間がかかる

pyv8のインストールに失敗,virtualenvを使えばよいのでは,などと考えて今度は,virtualenvをインストールして実行するも,失敗したように見える。が,実際には成功していたという話。
そしてpyv8はインストール失敗。

まず,普通にvirtualenvをインストールする。
pip install virtualenv
でインストールできる。

それから
仮想環境を作るディレクトリ名を指定して
python -m virtualenv take3
などと実行する。

すると,DeprecationWarning: the imp module ....など表示が出てきて止まっているように見えるため,失敗したのかと思っていた。何度試しても同じ表示で止まってしまう(ように見える)

数分後 
Installing setuptools, pip, wheel...done.
まで進んでいてビックリ。
virtualenvの処理に時間がかかるだけの場合があるのでじっくり待ってみてください。

≫ 続きを読む

2018/09/19 コンピュータ   TakeMe
タグ:Python

Python embeddable用に追加モジュールのzipファイルを追加

Python embeddableではモジュールが不足していることがある。使いたいモジュールを追加してzipファイルとして同梱する際に参考になるページはある。

いろいろ確認しているが,numpyのインポートはうまくいっていない。
うまくいきそうなものもあるのだが…

zipimportという仕組みを使用しているだけなので,もしかすると,重いフォルダをzip圧縮しておいてまるでフォルダをパスに追加するかのように
sys.path.insert()でファイルを追加していくということで重いファイルを軽くして配布して,配布先で使用できるようになるというもの。

zipimportの仕組みはかなり凝っている。
自分でよういした簡単なpyスクリプトなら普通に実行することができるだろう。
例えば,以下のような。

# -*- coding: utf-8 -*-

def example1(a):
    return a * 1;



≫ 続きを読む

2018/09/17 コンピュータ   TakeMe
タグ:Python

Pythonで一定間隔で実行5

Pythonで一定間隔で処理を実行する例を作成していたが,今回はQt5を使用した場合の例に踏み込んだ。(最初の記事からだいぶん時間がたって忘れていたがJavaScriptのsetIntervalみたいな処理がしたかったのだ。今回は形が違うが,setIntervalなる関数も出てきて気分はsetIntervalの処理のようになる)

WinPythonではQt5が同梱されたバージョンが用意されている。
今回はそれを利用した。

今回のサンプルコードは以下のようになる。

import sys
from PyQt5.QtWidgets import  *
from PyQt5.QtCore import QTimer
from datetime import datetime

def main():
    app = QApplication(sys.argv)
    t1 = QTimer()
    t1.setInterval(1000)
    t1.timeout.connect(TimerTest)
    t1.start()
    sys.exit(app.exec_())

def TimerTest():
    print(datetime.now().strftime("%Y/%m/%d %H:%M:%S"))

if __name__ == '__main__':
    main()

このコードの実行にはPyQt5が必要でWinPythonなら同梱されているが,他の環境ではインストールが必要である。
このタイマーの使い勝手は悪くないし,マニュアルも豊富であるがQt5のライセンス関係には注意が必要。

≫ 続きを読む

2018/09/16 コンピュータ   TakeMe
タグ:Python

Pythonで一定間隔で実行4

Pythonで一定間隔で処理を実行する例をもう一つ見つけた。
ただし,.NETが使用できる場合には.NETのTimerの方がよいと思う。
今度はwxWidgetが使用できる場合の例

まず,pip install wxpythonをインストールする。

そしてサンプルコード

import wx
from datetime import datetime
from time import sleep

class TestApp(wx.App):
    def TimerStart(self):
        self.t1 = wx.Timer(self)
        self.t1.Start(1000)

    def TimerStop(self):
        self.t1.Stop()
        print('end')
        del self.t1

    def TimerTest(self, event):
        print(datetime.now().strftime("%Y/%m/%d %H:%M:%S"))
        
    def OnInit(self):
        self.Bind(wx.EVT_TIMER, self.TimerTest)
        self.TimerStart()
        return True

app = TestApp()
app.MainLoop()

ただし,タイマーの止め方はわからない。IDLEなどを使用していると,タイマーが止まらず回りっぱなしになってしまう。

≫ 続きを読む

2018/09/16 コンピュータ   TakeMe
タグ:Python

C言語からPythonの関数呼び出し3

前の記事ではPYTHONHOMEを設定とか言っているがかなり面倒なので,WinAPIのSetEnvironmentVariable()を使って少し改変を図ったという記事である。

改変というのは,SetEnvironmentVariable()を使用すること。windows.hをインクルードして,Py_Initialize();の手前でこの関数を入れてやると前の記事のサンプルを実行する前にPYTHONHOMEを設定する必要が省ける。

SetEnvironmentVariable(
_T("PYTHONHOME"),  // 環境変数の名前
_T("<WinPythonのインストールディレクトリ>\\python-3.7.0.amd64")  // 環境変数の新しい値
);

さらに調べていると,今のバージョンのWinPythonだと実行環境を同じバージョンのPython embeddableに挿げ替えることが可能なようだ。
Python embeddableと同じフォルダに突っ込んで実行すると普通に実行できる。この時PYTHONHOMEの設定はいらない。

≫ 続きを読む

2018/09/15 コンピュータ   TakeMe
タグ:Python

Matlab/GNU OctaveのバックスラッシュをPythonで実施する場合の書き方

Matlab/GNU OctaveのバックスラッシュをPythonで実行する方法にいったん躓いたので記録を残す。

例えば,

2 x + y = 3
2 x - y = 4

という方程式を連立して解きたい場合には。

import numpy as np

x = np.array([\
    [2, 1],\
    [2, -1]]);

y = np.array([\
    [3],\
    [4]]);

A = np.linalg.solve(x, y)
#A = x \ y
print(A)

一応今回は解ける問題なので解は一つ。
1つの解で解けない時の処理がMATLAB / GNU Octaveなどのバックスラッシュ演算と少し違うらしい。
MATLABなどの動作では,同じようにメッセージは出てくれるが,式を満たす解のうち一つは返してくれる。

どちらかというとsolveよりもnumpy.linalg.lstsq()の方が処理として近いかもしれない。

≫ 続きを読む

2018/09/15 コンピュータ   TakeMe
タグ:Python

C言語からPythonの関数呼び出し2

先に作っていたサンプルでは文字列を返す例しか示していないので,Visual Studio Express 2017 for Windows Desktopで作るアプリ(Visual C++プロジェクトで作るアプリ)からPythonの関数を呼び出すという例をさらに作成していた。ただし,今回はWinPython-64bit-3.7.0.1Qt5の場合である。

詳しい扱い方,ビルド方法と実行の方法は前の記事を参照してほしい。
というのは,今回もWinPythonなのでPYTHONHOMEは必要である。もっとも,作ったexeファイルをPythonのフォルダで実行する場合にはその限りではないようだ。

サンプルコードPython側

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt

def sample2(t, f):
    f = np.array(f)
    freq = np.linspace(0, 1.0 / (f[1] - f[0]), len(f))

    F = np.fft.fft(f) / len(f) * 2
    F[0] = F[0] / 2.0

    # 振幅スペクトルを計算
    Amp = np.abs(F)

    # plot
    plt.figure()
    plt.subplots_adjust(wspace=0.4, \
                        hspace=0.0)
    plt.subplot(121)
    plt.plot(t, f, label='Raw signal')
    plt.xlabel("time")
    plt.ylabel("signal")
    plt.grid()
    plt.ylim([-7, 7])
    leg = plt.legend(loc=1)

    plt.subplot(122)
    plt.plot(freq[0:int(len(F)/2)], \
             Amp[0:int(len(F)/2)], \
             label='Amplitude')
    plt.xlabel('frequency')
    plt.ylabel('amplitude')
    plt.grid()
    plt.ylim([0, 2])
    leg = plt.legend(loc=1)
    plt.show()
    return Amp.tolist()

次にC側のサンプルコードを示す。


#define _USE_MATH_DEFINES
#include <cmath>
#ifdef _DEBUG
#undef _DEBUG
#include <Python.h>
#define _DEBUG
#else
#include <Python.h>
#endif

int main()
{
    PyObject *pName, *pModule, *pFunc;
    PyObject *pArgs, *pArg, *pArg2, *pValue, *pValue2;

    Py_Initialize();
    pName = PyUnicode_DecodeFSDefault("fft_test");

    pModule = PyImport_Import(pName);
    Py_DECREF(pName);

    if (pModule != NULL) {
        pFunc = PyObject_GetAttrString(pModule, "sample2");

        if (pFunc && PyCallable_Check(pFunc)) {
            pArgs = PyTuple_New(2); // 関数fncの引数の数を引数にする

            pArg = PyList_New(1000);
            pArg2 = PyList_New(1000);
            for (int i = 0; i < 1000; i++) {
                double value = sin(2.0 * M_PI * 0.01 * 1.0 * i);
                pValue = PyFloat_FromDouble(value);
                pValue2 = PyFloat_FromDouble(0.01 * i);
                if (!pValue) {
                    Py_DECREF(pArgs);
                    Py_DECREF(pArg);
                    Py_DECREF(pArg2);
                    Py_DECREF(pModule);
                    return 1;
                }
                PyList_SetItem(pArg, i, pValue);
                PyList_SetItem(pArg2, i, pValue2);
            }
            if (PyTuple_SetItem(pArgs, 0, pArg2) != 0)
                return 1;
            if (PyTuple_SetItem(pArgs, 1, pArg) != 0)
                return 1;
            
            pValue = PyObject_CallObject(pFunc, pArgs);
            Py_DECREF(pArgs);
            if (pValue != NULL) {
                printf("%d\n", PyList_CheckExact(pValue));
                Py_ssize_t len = PyList_Size(pValue);
                
                for (int i = 0; i < len; i++) {
                    printf("%I64d ", PyFloat_Check(PyList_GetItem(pValue, i)));
                    printf("%.4g\n", PyFloat_AsDouble(PyList_GetItem(pValue, i)));
                }
                //printf("return: %s\n", (char*)PyUnicode_DATA(pValue));
                Py_DECREF(pValue);
            }
            else {
                Py_DECREF(pFunc);
                Py_DECREF(pModule);
                PyErr_Print();
                fprintf(stderr, "Call failed\n");
                return 1;
            }
        }
        else {
            if (PyErr_Occurred())
                PyErr_Print();
            fprintf(stderr, "Cannot find function\n");
        }
        Py_XDECREF(pFunc);
        Py_DECREF(pModule);
    }
    else {
        PyErr_Print();
        fprintf(stderr, "Failed to load module\n");
        return 1;
    }
    if (Py_FinalizeEx() < 0) {
        return 120;
    }
    return 0;
}

PyListやPyFloatなどはPython標準なのでPython.hをインクルードするだけで使える。もちろんNumpyなどの主要な拡張モジュールもヘッダファイルを提供していることがある(今回は面倒だから使っていない)。
ちなみに上の例ではPyFloatのリストとして扱っているが,もしPython側の変数Fを返したらPyComplexのリストとして扱うことが必要である。

ちなみにPy_DECREFなどはガーベージコレクションのために呼んでいるようだ。C言語では明示的に開放しないといけないが,Python側はそうなっていないためその調整のため,参照がなくなったかどうか(捨ててもよい領域かどうか)を判断するために使うらしい。

≫ 続きを読む

2018/09/09 コンピュータ   TakeMe

C言語からPythonの関数呼び出し(WinPython-64bit-3.6.3.0Qt5の場合)

Visual Studio Express 2017 for Windows Desktopで作るアプリ(Visual C++プロジェクトで作るアプリ)からPythonの関数を呼び出すという例を作成していた。ただし,今回はWinPython-64bit-3.6.3.0Qt5の場合である。

Pythonの関数の側

まず,Pythonの関数の側を用意してみました。内容は,引数として文字列を受け取り,文字列を返す関数です。この例では,この関数の記述をしたファイルをtest.pyとして実行ファイルと同じファイルにおくように用意しました。

def fnc(msg):
    msg2 = msg + 'ehe' + msg
    print(msg);
    return msg2

C++/C言語のプログラムの側

Visual Studioで新しいプロジェクトとしてVisual C++のプロジェクトを作成します。C++/C言語のプログラムの側の中身をご紹介します。

#include <Python.h>

int main()
{
    PyObject *pName, *pModule, *pFunc;
    PyObject *pArgs, *pArg, *pValue;

    Py_Initialize();
    pName = PyUnicode_DecodeFSDefault("test");

    pModule = PyImport_Import(pName);
    Py_DECREF(pName);

    if (pModule != NULL) {
        pFunc = PyObject_GetAttrString(pModule, "fnc");

        if (pFunc && PyCallable_Check(pFunc)) {
            pArgs = PyTuple_New(1); // 関数fncの引数の数を引数にする
            pArg = PyUnicode_FromString("test");
            if (!pArg) {
                Py_DECREF(pArgs);
                Py_DECREF(pModule);
            }
            PyTuple_SetItem(pArgs, 0, pArg); // 2nd argument is the position of the positional argument
            pValue = PyObject_CallObject(pFunc, pArgs);
            Py_DECREF(pArgs);
            if (pValue != NULL) {
                printf("return: %s\n", (char*)PyUnicode_DATA(pValue));
                Py_DECREF(pValue);
            }
            else {
                Py_DECREF(pFunc);
                Py_DECREF(pModule);
                PyErr_Print();
                fprintf(stderr, "Call failed\n");
                return 1;
            }
        }
        else {
            if (PyErr_Occurred())
                PyErr_Print();
            fprintf(stderr, "Cannot find function\n");
        }
        Py_XDECREF(pFunc);
        Py_DECREF(pModule);
    }
    else {
        PyErr_Print();
        fprintf(stderr, "Failed to load module\n");
        return 1;
    }
    if (Py_FinalizeEx() < 0) {
        return 120;
    }
    return 0;
}

ビルドの方法

Python.hはWinPythonのインストールディレクトリのpython-3.6.3.amd64\includeにある。 python36.libはE:\WinPython-64bit-3.6.3.0Qt5\python-3.6.3.amd64\libsにある。これらはプロジェクトのプロパティで設定する必要がある。 いまのところDebug構成の場合,リンクの入力にpython36.libを指定していてもpython36_d.lib(デバッグ用)をリンクしようとしてしまうらしいので,うまく使えない。
WinPythonの場合にはデバッグ用のpython36_d.lib/python36_d.dllを作成するにはソースからビルドすることになってしまいかなり面倒である。
したがって,Debug構成とRelease構成を見分けている_DEBUGという定義を一時的にでも消す方法もある。

#ifdef _DEBUG
  #undef _DEBUG
  #include <Python.h>
  #define _DEBUG
#else
  #include <Python.h>
#endif

実行

WinPython Command Prompt.exeでコマンドプロンプトを開き,Visual Studioがわでビルドしてできたファイルをx64\Releaseに見つける。そして上で用意したtest.pyを同じディレクトリにコピーして。
set PYTHONHOME=<WinPythonインストールディレクトリ>\python-3.6.3.amd64
を指定。現在のPython3のWinPython Command PromptではPYTHONHOMEの設定がなされなくなっているこれがないと,ファイルを実行したときに

Fatal Python error: Py_Initialize: unable to load the file system codec
ModuleNotFoundError: No module named 'encodings'

Current thread 0x00003a98 (most recent call first):

というメッセージが表示されてしまう。
それからピルドしたファイルを実行する。
(WinPython Command PromptはPathを適切に設定して起動するコマンドプロンプトなだけで,普通のコマンドプロンプト(CMD)でもset Path=...を適切に設定していれば可)

≫ 続きを読む

2018/09/09 コンピュータ   TakeMe

PythonにはPython embeddableなるzipファイルも配布されている

PythonにはPython embeddableという配布もあるらしい。容量はかなり小さいディストリビューションとしても使用できるし,アプリに組み込んで処理を依頼することもできる。

参考ページには「pythonNN.dll、pythonNN.zip、vcruntime140.dllがあれば」ということになっているが,少なくとも3.7.0については,実際に使う場合にはどのような依存関係が残っているか分かったものではないので,一緒に配布されているファイルを消さない方がよい。
あくまで最小構成で使う場合ということである。書かれている内容を手順通り実行していくとやっぱり183 MB程度になった。

相当大きな容量のファイルになってしまう。
今回使ったファイルをいかに表示する。前の記事のままだとMatplotlibでwxWidgetsを使う場合には修正を加える必要がある(前の記事のまま実行してしまうとTkinterモジュールがないとか)。

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib
#matplotlib.interactive( True )
matplotlib.use('WXAgg')

from matplotlib.backends.backend_wxagg import FigureCanvasWxAgg as FigureCanvas
from matplotlib.figure import Figure

import matplotlib.pyplot as plt

import wx

N = 1000           # Number of Samples
dt = 0.01          # Sampling Interval
f1, f2 = 23, 36    # Frequency
t = np.arange(0, N * dt, dt) # Time range
freq = np.linspace(0, 1.0 / dt, N) # Frequecny range

# Signal (Sinusoidal waves, frequencies of f1 and f2 + noise)
f = np.sin(2 * np.pi * f1 * t) \
    + np.sin(2 * np.pi * f2 * t) \
    + 0.8 * np.random.randn(N)

F = np.fft.fft(f) / len(f) * 2
F[0] = F[0] / 2.0

# 振幅スペクトルを計算
Amp = np.abs(F)

# plot
plt.figure()
plt.subplots_adjust(wspace=0.4, \
                    hspace=0.0)
plt.subplot(121)
plt.plot(t, f, label='Raw signal')
plt.xlabel("time")
plt.ylabel("signal")
plt.grid()
plt.ylim([-7, 7])
leg = plt.legend(loc=1)

plt.subplot(122)
plt.plot(freq[0:int(len(F)/2)], \
         Amp[0:int(len(F)/2)], \
         label='Amplitude')
plt.xlabel('frequency')
plt.ylabel('amplitude')
plt.grid()
plt.ylim([0, 2])
leg = plt.legend(loc=1)
plt.show()

 

≫ 続きを読む

2018/09/08 コンピュータ   TakeMe

PythonでFFTの例を作成

Python FFTを実施する例を作成してみた。

そのコードは以下のようになった。

フーリエ変換については,係数の部分が定義によって異なるので,この例のnp.fft.fft()の使用方法ではMATLABやGNU Octaveのように配列要素数分係数がかかるので物理的な意味を持つ振幅に直す場合にはlen(f)で割る必要がある。さらに,下の例では,折り返す分を半分しか表示していないので振幅としては半分になってしまう。そこで2をかけて調整している。

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt


N = 1000           # Number of Samples
dt = 0.01          # Sampling Interval
f1, f2 = 23, 36    # Frequency
t = np.arange(0, N * dt, dt) # Time range
freq = np.linspace(0, 1.0 / dt, N) # Frequecny range

# Signal (Sinusoidal waves, frequencies of f1 and f2 + noise)
f = np.sin(2 * np.pi * f1 * t) \
    + np.sin(2 * np.pi * f2 * t) \
    + 0.8 * np.random.randn(N)

F = np.fft.fft(f) / len(f) * 2
F[0] = F[0] / 2.0

# 振幅スペクトルを計算
Amp = np.abs(F)

# plot
plt.figure()
plt.subplots_adjust(wspace=0.4, \
                    hspace=0.0)
plt.subplot(121)
plt.plot(t, f, label='Raw signal')
plt.xlabel("time")
plt.ylabel("signal")
plt.grid()
plt.ylim([-7, 7])
leg = plt.legend(loc=1)

plt.subplot(122)
plt.plot(freq[0:int(len(F)/2)], \
         Amp[0:int(len(F)/2)], \
         label='Amplitude')
plt.xlabel('frequency')
plt.ylabel('amplitude')
plt.grid()
plt.ylim([0, 2])
leg = plt.legend(loc=1)
plt.show()

≫ 続きを読む

2018/09/08 コンピュータ   TakeMe