ブログ

割とコンピュータよりの情報をお届けします。

2018年

Pythonでplot遊び

matplotlibとxkcd()を試して遊びをしてみた。

順番にプロットを描いていく例。

from matplotlib import pyplot as plt
import matplotlib.animation as animation
import numpy as np

fig = plt.figure()
img = []
plt.xkcd()
for a in range(50):
    item, = plt.plot(np.sin(np.linspace(0, a, num=a*5)), 'r')
    plt.title('Sinusoidal wave')
    img.append([item])
ani = animation.ArtistAnimation(fig, img)
ani.save('sani.mp4', writer="ffmpeg")
plt.show()

ffmpegが必要ならしい。ところでplt.plotを繰り返すと色が順番にかわっていく。
このほかのアニメーションを作るほうほうとしてはplotをメモリ上に書き出していきPILでアニメーションgifにまとめるというもの。

from matplotlib import pyplot as plt
import matplotlib.animation as animation
import numpy as np
from PIL import Image, ImageDraw
import io

fig = plt.figure()
img = []

plt.xkcd()
for a in range(50):
    plt.plot(np.sin(np.linspace(0, a, num=a*5)), 'r')
    plt.title('Sinusoidal wave')
    item = io.BytesIO()
    plt.savefig(item, format='png')
    item.seek(0)
    im = Image.open(item)
    im.show()
    item.close()
    img.append(im)
im = img[0]
im.save('out.gif', save_all=True, append_images=img)

xkcd()を使っていると線がずれていく(重ならない)問題が生じる。

≫ 続きを読む

2018/08/20 コンピュータ   TakeMe

WinPython でDLLの読み出し例の作成

WinPython 3.6.3でDLLの呼び出しの例を作成していた。
特に,DLLを読み込んだ後 後始末の部分が苦労した。

例1.普通に整数を引数にとり整数を戻す関数。
例2.文字列を引数にとる例。
例3.文字列を引数にとり渡した領域の一部を編集する例。

まず用意したDLLのサンプル(#ifdefの部分は本当は別のヘッダファイルに用意するものだが今回はCからは使わないのでここに書いている。すると_declspec(dllimport)はいらない)

// sampleDll0001.cpp : DLL アプリケーション用にエクスポートされる関数を定義します。
//
// sampleDll0001.hの内容
#ifdef SAMPLEDLL0001_EXPORTS
#define SAMPLEDLL0001_API extern "C" __declspec(dllexport)
#else
#define SAMPLEDLL0001_API extern "C" __declspec(dllimport)
#endif

#include "stdafx.h"
#include "sampleDll0001.h"

SAMPLEDLL0001_API int __stdcall fnsampleDll0001_01(int a, int b)
{
    return a + b;
}

SAMPLEDLL0001_API int __stdcall fnsampleDll0001_02(char* a)
{
    return (int)strlen(a);
}

SAMPLEDLL0001_API int __stdcall fnsampleDll0001_03(char* a)
{
    if (strlen(a) > 5) {
        a[0] = 'a';
        a[1] = 'b';
    }
    return (int)strlen(a);
}

次にPythonの部分。(Release/sampleDll0001.dllにファイルがあるとしている)

import ctypes
from ctypes import wintypes

lib = ctypes.windll.LoadLibrary("Release/sampleDll0001.dll");
a = lib.fnsampleDll0001_01(ctypes.c_long(1), ctypes.c_long(2));
print(a);

string1 = "my string 1"
b_string1 = string1.encode('utf-8')
a = lib.fnsampleDll0001_02(b_string1);
print(a);

string2 = "my string 2"
b_string2 = string2.encode('utf-8')
a = lib.fnsampleDll0001_03(ctypes.c_char_p(b_string2));
string2 = b_string2.decode('utf-8')
print(string2);

libHandle = lib._handle
del lib
kernel32 = ctypes.WinDLL('kernel32', use_last_error=True)    
kernel32.FreeLibrary.argtypes = [wintypes.HMODULE]
kernel32.FreeLibrary(libHandle)

ctypes.windllはstdcallの場合らしい。
cyptesでは簡単にdllの読み出しができるようになったが,読み終わった後で開放してくれない。
それに対して,kernel32.dllのFreeLibrary()を使用すればよいのだが,x86用は良いのだが,x64は宣言が間違っているらしい。
ctypes.windll.kernel32.FreeLibrary(libHandle)
ctypes.ArgumentError: argument 1: <class 'OverflowError'>: int too long to convert
と表示されてしまう。kernel32.FreeLibrary.argtypesを代入しなおして間違いを訂正する必要があるらしい。

≫ 続きを読む

2018/08/18 コンピュータ   TakeMe

C++のauto C#のvar

C++11からはC++でもC#のvarのように変数宣言時に具体的な型名を記述せずにautoキーワードで代用することが可能になっている。

autoキーワードを使用する場合にもコンパイルして実行する段階では変数型は指定される必要がある。

コードを使いまわす際にいちいち変数型を切り替えて書き直すという手間を軽減することができるようになった。

#include "stdafx.h"


int main()
{
auto a = 10;
_tprintf_s(_T("%d %d\n"), a);
    return 0;
}

でもよく,C/C++っていうのでC言語とC++言語は混ざることがあるのでC言語の仕様をよく知っている人には混乱するかもしれない。
今更このように書く人はいないが,
auto int b = 10;
などはつかえない。

ところが,cppファイルの拡張子をcppからcに変更するとVisual C++でも以下のような使い方ができるようになる。(autoがどっちの意味でも通るようになる)

int main()
{
auto a = 10;
auto int b = 10;
_tprintf_s(_T("%d %d\n"), a, b);
return 0;
}

意味を理解せずに使うのは注意。。

≫ 続きを読む

2018/08/16 コンピュータ   TakeMe

Windowsで共有メモリの使用WindowsサービスとWindowsアプリケーション間のやり取り

WindowsでWindowsサービスとアプリケーションの間の共有メモリによるデータのやり取りを確認していた。

まずは簡単に,共有メモリの使い方を学習する。
参考にするページはこのページ
とりあえず,CreateFileMappingとMapViewOfFileを使用することでメモリの共有ができる。しかし,これができるのは同じユーザの場合。
Windowsサービスとユーザアプリケーション間のやり取りに苦労する。

そこで次の例を読み込む。
CreateFileMappingの2つ目の引数をNULLではなく設定するのだ。

ここまでできるとサービス側で読み書きできて,アプリケーション側では読み取り専用で開かせたい。

アプリケーション側

#include "stdafx.h"

int main()
{
    TCHAR name[] = _T("Global\\somename");
    DWORD dwSize = sizeof(int);

    HANDLE hSharedMemory = OpenFileMapping(
        FILE_MAP_READ,//FILE_MAP_ALL_ACCESS,
        FALSE,
        name
    );
    int* pMemory = (int*)MapViewOfFile(hSharedMemory, FILE_MAP_READ/*FILE_MAP_ALL_ACCESS*/, NULL, NULL, dwSize);

    for (int i = 0; i < 40; i++)
    {
        //(*pMemory)--;
        _tprintf_s(_T("memory: %d\n"), *pMemory);
        Sleep(500);
    }

    UnmapViewOfFile(pMemory);
    CloseHandle(hSharedMemory);

    return 0;
}

 

サービス側 試行錯誤してみました。

#include "stdafx.h"


int main()
{
    TCHAR name[] = _T("Global\\somename");
    DWORD dwSize = sizeof(int);

    SECURITY_DESCRIPTOR secDesc;
    SECURITY_ATTRIBUTES secAttr;
    InitializeSecurityDescriptor(&secDesc, SECURITY_DESCRIPTOR_REVISION);

    DWORD dwAclSize = 1024;
    SID_IDENTIFIER_AUTHORITY SIDAuth = SECURITY_LOCAL_SID_AUTHORITY; // SECURITY_WORLD_SID_AUTHORITY (Everyone)でもよい
    PSID pSid = NULL;
    if (!AllocateAndInitializeSid(&SIDAuth, 1,
        SECURITY_WORLD_RID,
        0, 0, 0, 0, 0, 0, 0,
        &pSid))
    {
        return 1;
    }
    PACL pDacl = (PACL)HeapAlloc(GetProcessHeap(), 0, dwAclSize);
    if (pDacl == NULL) {
        return 1;
    }

    // 随意アクセス制御リストを初期化
    InitializeAcl(pDacl, dwAclSize, ACL_REVISION);

    // ACE(アクセス制御エントリ)をDACLに追加
    AddAccessAllowedAce(pDacl, ACL_REVISION, GENERIC_READ, pSid);
    AddAccessDeniedAce(pDacl, ACL_REVISION, GENERIC_WRITE, pSid);

    SetSecurityDescriptorDacl(&secDesc, TRUE, pDacl, FALSE);
    
    secAttr.nLength = sizeof(SECURITY_ATTRIBUTES);
    secAttr.bInheritHandle = TRUE;
    secAttr.lpSecurityDescriptor = &secDesc;

    HANDLE hSharedMemory = CreateFileMapping(INVALID_HANDLE_VALUE, &secAttr, PAGE_READWRITE, NULL, dwSize, name);

    LocalFree(pDacl);
    FreeSid(pSid);

    int* pMemory = (int*)MapViewOfFile(hSharedMemory, FILE_MAP_ALL_ACCESS, NULL, NULL, dwSize);

    *pMemory = 0; // Only the administrators process can handle it as fully accessible variable.
    for (int i = 0; i < 40; i++)
    {
        (*pMemory)++;
        _tprintf_s(_T("src_memory: %d\n"), *pMemory);
        Sleep(1000);
    }

    UnmapViewOfFile(pMemory);
    CloseHandle(hSharedMemory);
    return 0;
}

特に
AddAccessAllowedAce(pDacl, ACL_REVISION, GENERIC_READ, pSid);
AddAccessDeniedAce(pDacl, ACL_REVISION, GENERIC_WRITE, pSid);
の周辺を入れていました。

[参考]

  1. C++で複数プロセスから読み書き可能な共有メモリを作る
  2. 【共有メモリ】アクセスが拒否されました。

≫ 続きを読む

2018/08/16 コンピュータ   TakeMe

open62541のビルドをVisual Studio Express 2017 for Windows Desktopで行うx64版

先にopen62541をVisual Studio Express 2017 for Windows Desktopでビルドする記事を書いたが,x86用しか書いていなかったがx64用のビルドはどうするのか気になっていた。CMakeの-GオプションにWin64を追加するだけだった。

先のページに対して

mkdir build
cd build
cmake .. -G "Visual Studio 15 2017"

としていた部分をいかのように直すだけ。

mkdir build
cd build
cmake .. -G "Visual Studio 15 2017 Win64"

これ自体は巨大なライブラリではなくランタイムを除いてコンパイルするとx86用では1 MBを超えない。x64用は5割程大きく1 MBを超える。

DLLが作りたい場合には-Dオプションを付ける。(順番には注意: オプションは-Dがパスより先である必要があるらしい)

cmake -D BUILD_SHARED_LIBS=1 .. -G "Visual Studio 15 2017 Win64"

≫ 続きを読む

2018/08/12 コンピュータ   TakeMe

C#とCとのやり取りでCから配列変数を渡す例

C#からDllImportする場合について可変長の配列を渡しあうのがつかれた。
DLLから可変長文字列を渡す場合にはstringを渡せばよい。stringとchar*(ただし,最後に\0が付いている文字列に限る)の変換関係は支援がついている。
固定長の配列はDllImportの時の記述で引数型としてByte[]やInt32[]やDouble[] などを書いておけばよい(固定長といっても,呼び出し時に配列サイズが分かっていればよいだけで,配列自体は呼び出し前までにサイズが固定されればよい(決まればよい))。この方法は,.NET Compact Frameworkでも使用できる。ただし,長さが.NET側で分からなくて,呼び出された先のDLLの側で決まる場合には少しトリックが必要である。その場合,DLL側ではSAFEARRAYとして扱うとよさそう。

string型だけ特別簡単になっている。そのほかの型の長さがDLL側で決まる場合には対応が面倒になる。

例えば次のような関数をDLL側に用意することになる。

sample.cpp

// sample.cpp : アプリケーションのエントリ ポイントを定義します。
//

#include "stdafx.h"

// 簡単な呼び出し用サンプル
SAMPLE_API int __stdcall sample(int a, int b)
{
return a + b;
}

// 引数で文字列をDLLから返す例 割と簡単
SAMPLE_API int __stdcall sample2(char** a)
{
    char szSample[] = "TEST1";
    size_t ulSize = strlen(szSample) + sizeof(char);
    (*a) = (char*)::CoTaskMemAlloc(ulSize);
    strcpy_s((*a), ulSize, szSample);
    return 0;
}

// 戻り値でDLLから返す例 最も簡単
SAMPLE_API char* __stdcall sample3()
{
    char szSample[] = "TEST2";
    size_t ulSize = strlen(szSample) + sizeof(char);
    char* pszReturn = NULL;
    
    pszReturn = (char*)::CoTaskMemAlloc(ulSize);
    strcpy_s(pszReturn, ulSize, szSample);
    return pszReturn;
}

// 引数で配列をDLLから返す例 少し難しい
SAMPLE_API int __stdcall sample4(SAFEARRAY*& a)
{
    SAFEARRAY* pWkData = SafeArrayCreateVector(VT_I1, 0, 4);
    char* p;
    HRESULT hr = SafeArrayAccessData(pWkData, (void**)&p);
    p[0] = 1;
    p[1] = 2;
    p[2] = 3;
    p[2] = 4;
    hr = SafeArrayUnaccessData(pWkData);
    a = pWkData;
    return 0;
}

// 引数で配列をDLLに渡す例
SAMPLE_API int __stdcall sample5(SAFEARRAY*& a)
{
    SAFEARRAY* pWkData = a;
    char* p = 0;
    HRESULT hr = SafeArrayAccessData(pWkData, (void**)&p);
    p[0] = 3;
    p[1] = 2;
    p[2] = 1;
    hr = SafeArrayUnaccessData(pWkData);
    return 0;
}

呼び出し側については例えば

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Runtime.InteropServices;

namespace ConsoleApp1
{
    class Program
    {
        [DllImport("sample.dll")]
        [return: MarshalAs(UnmanagedType.LPStr)]
        public static extern string sample3();

        [DllImport("sample.dll")]
        public static extern int sample2([Out, MarshalAs(UnmanagedType.LPStr)] out string a);

        [DllImport("sample.dll")]
        public static extern int sample4([Out, MarshalAs(UnmanagedType.SafeArray, SafeArraySubType = VarEnum.VT_I1)] out byte[] a);

        [DllImport("sample.dll")]
        public static extern int sample5([MarshalAs(UnmanagedType.SafeArray)] ref byte[] a);

        static void Main(string[] args)
        {
            string test = sample3();
            Console.WriteLine(test);

            string test2;
            sample2(out test2);
            Console.WriteLine(test2);

            byte[] test3;
            sample4(out test3);

            byte[] test4 = new byte[10];
            sample5(ref test4);

        }
    }
}

返された変数test3などはちゃんとガーベージコレクションの対象になっているようだ(メモリさえ十分にあれば多少のオーバーヘッドはあるにしろDLL側でSAFEARRAYを作ってC#に配列を渡した場合はC#の普通の配列のようにふるまうようだ。(もちろん,メモリ領域の実態はコピーされてそう見えているかもしれないが))。

ところで,sample4()の引数をSAFEARRAY*& aにしている部分は別にSAFEARRAY** aでもLPSAFEARRAY* aよい。ただし,最後に以下のようにするなど帳尻だけ合わせておく必要がある(ポインタ変数へのポインタ変数なのかポインタ変数へのアドレス(ポインタ)なのか)。

(*a) = pWkData;

≫ 続きを読む

2018/08/11 コンピュータ   TakeMe

Microsoft Visual Studio Express 2017 for Windows Desktop でDLL作成して使用

いろいろやってみて
Microsoft Visual Studio Express 2017 for Windows Desktop でDLL作成したらそれを使う際に注意があった。

具体的には「呼び出し規約」の設定である。

Visual C++で呼び合っている間にはあまり気にしていない。

標準的にdllを作ると呼び出し規約__cdeclなのかな
ただし,Windows APIなどは__stdcallなので,ここで作ったdllの関数は例えば.NETからDllImportで使う場合 呼び出し規約に合わせて設定を調整する必要がある。

__stdcallなら標準的に呼び出せるので__stdcallの方がよいかもしれない。

プロジェクトのプロパティから設定してもよいが,戻り値の型指定の後に__stdcallまたは__cdeclを書いた方がよいかもしれない。
プロジェクトのプロパティを設定するのは,別に間違いではない。ただ,自分で使う分には問題ないが,DLLを他の人が使うときにヘッダファイルに__stdcall/__cdeclを書いていないと呼び出し規約を特定する必要が出てしまう。

といってもx64では__stdcallなど無視されるらしい。

≫ 続きを読む

2018/08/08 コンピュータ   TakeMe

open62541のビルドをVisual Studio Express 2017 for Windows Desktopで行う

OPC-UAの続き。python-opcuaは簡単なアプリでもPythonをインストールする必要があることに問題を感じてopen62541を使ってみようかと思った。

準備としてはCMakeとPythonとVisual Studioをインストール。出来ればgitもあるとよいが必須ではない。この時,Visual StudioはExpressでよい。

また,CMakeはインストーラでインストールしてもよいし,zipファイルを解凍したものでもよい。そして,PythonもWinPythonで構わない。それから,open62541をGitHubからダウンロードしてくる。

CMakeなどをzipファイルから展開していた場合には,コマンドプロンプトを開き以下を実行する。Pathは適宜調整してください。(事前にWinPythonプロンプトからpip install sixを実行しておく必要があるかもしれない)

set "PATH=C:\WinPython-64bit-2.7.13.1Zero\python-2.7.13.amd64;C:\cmake-3.12.0-win32-x86\bin;%PATH%"
"C:\Program Files (x86)\Microsoft Visual Studio\2017\WDExpress\VC\Auxiliary\Build\vcvars32.bat"

そのダウンロードしたファイルのフォルダ(zipファイルをダウンロードしたらその展開したフォルダ)へ移動して以下を実行しておく

mkdir build
cd build
cmake .. -G "Visual Studio 15 2017"

これでソリューションファイルが完成する。なお,出来上がったソリューションファイルを開いてソリューションのビルドを実行すればDebug用のビルドが完了するはず。

Release用のビルドは日本語環境では警告が表示される。標準では,警告をエラーにしてしまうように設定されているのでビルドに失敗する。open62541-objectプロジェクトのプロパティで「C/C++」「警告をエラーとして扱う」を「いいえ(/WX-)」とすれば一応ビルドはできるようになる。

出来上がったopen62541.libファイルはws2_32.libにも依存しているので使用時には注意。

基本的には参考を確認しながら使っていくが,標準のポート番号4840を気にする場合には,例えば以下のようにすれば,4841にポートが切り替わる。

//UA_ServerConfig *config = UA_ServerConfig_new_default();
UA_ServerConfig *config = UA_ServerConfig_new_minimal(4841, NULL);;

≫ 続きを読む

2018/08/07 コンピュータ   TakeMe

Microsoft Visual Studio Express 2017 for Windows Desktop でDLL作成

Visual Studio Professionalならテンプレートがついていてすぐできるのだが,Expressではdll作成のテンプレートがないので自分で設定しないといけない。

(なお,いったんプロジェクトを作ってしまうとExpressでも使える。)

まずは,コンソールアプリを作るテンプレートを開く。

プロジェクトのプロパティを開き,「C/C++」「プリプロセッサ」「プリプロセッサの定義」を見ると「_CONSOLE」が入っているはずなので削除。

おそらく
_WINDOWS
_USRDLL
TEST_EXPORTS
を追加しないといけない。(TEST_EXPORTSは例えば)

「全般」の構成の種類はダイナミック ライブラリ(.dll)にしなければならない。

例えば,ヘッダファイルは以下のようにする。

#pragma once

#ifdef TEST_EXPORTS
#define TEST_API extern "C" __declspec(dllexport)
#else
#define TEST_API extern "C" __declspec(dllimport)
#endif

TEST_API int test(void);

このヘッダファイルは関数を定義するソースの先頭かstdafx.hで読ませておく必要がある。そして本体ソースは以下のようになる。

#include "stdafx.h"

TEST_API int test(void) {
return 1;
}

プロジェクトのプロパティの[C/C++][詳細設定]の呼び出し規約も注意する必要がある。

≫ 続きを読む

2018/08/06 コンピュータ   TakeMe

python-opcuaのnodeidのつけ方に苦労した

最近 自分で作ったアプリとほかのソフトのつなぎでOPC UAに対応を迫られる場面があって,node opcuaを使用したが,通信が問題なく続いている間は問題がないが,いったん不具合があったときに再接続に失敗する不具合が解消せずpython-opcuaに乗り換えることになった。ところが,サンプルを見ても"ns=2;i=3"などのnodeid?のつけ方がわからずに苦労した。

さんざん調べていたら,偶然
myvar2 = myobj.add_variable("ns=2;i=3", "takeme", True)
などとすると良いことが分かった。

server_minimal.pyのサンプルから以下のようにすれば変更できる。

    myvar = myobj.add_variable(idx, "MyVariable", 6.7)
から
    myvar = myobj.add_variable("ns=2;i=3", "MyVariable", 6.7)
へ変更

ただし,上の書式でコールして勝手に追加されるnodeidとの重複には十分に注意しなければならない。

先にadd_variable("ns=2;i=3", "MyVariable",  value)の書式で指定したidは後からadd_variable(idx, "MyVariable",  value)の書式で指定したときには重複しないように避けられる。逆の順番でコールした場合には重複は避けられない。"ns=2;i=xxx"で固定したいものを先にコールして固定しないといけない。

クライアントソフトによっては名前を見ずにnodeidで一意性を確認している場合があるので,サブスクライブの設定の時についていたnodeidは使い続ける限り,ずーっと維持されなくてはならない。サーバが再起動しても同じnodeidが付かないと別の変数と認識されてしまう。

≫ 続きを読む

2018/08/05 コンピュータ   TakeMe