Cucco’s Compute Hack

コンピュータ関係の記事を書いていきます。

anacondaでTensorFlow環境の準備 その2

VS Codeを使っているので、デバッグとかのための手続き。 Pythonのパスを書き換えればよいらしい。フォルダごととか、ワークスペースごととか設定がありそう。 "python.pythonPath": "C:\\Users\\Cucco\\AppData\\Local\\Continuum\\anaconda3\\envs\\tensor…

anacondaでTensorFlow環境の準備

何が起きているかわからないが以下で成功した。 (base) C:\>conda create -n tensorflow_gpuenv tensorflow-gpuいろいろインストールしていい?と質問があるのでyを回答。以上で使えました。環境を使うときのおまじないは以下。 # To activate this environm…

python開発環境初期設定

作りかけ。gitのインストールと設定 git CMDで以下を実行 git config --global user.name "First-name Family-name" git config --global user.email "username@example.com"anacondaインストール インストーラが連携して、VSCodeを入れてくれる。PythoPath…

複数ファイルを連続して読むプログラム

複数に分割されたファイルを決まった順番で、連続して読む。 csv.readerっぽく。forで1行ずつ読めるようにイテレータとして実装。 import csv class MyIterator(object): def __init__(self, readFileNames, skipHeader=False): self.readFileNames = readFi…

Neural Network Consoleによる学習済みニューラルネットワークの利用

環境構築 ベースはanaconda。nnablaがなく、importに失敗するのでパッケージ追加しました。以下のコマンドを管理者で開いたコンソールで実行。 pip install ipykernel pip install nnabla事前にpip自体の更新が必要な場合もあり。 python -m pip install --u…

時刻ちょうどに実行する その3

5秒に1回のタスクAと、15秒に1回のタスクBがある。 タスク自体は、マルチプロセスで動く。 タスクの実行中は、メインプロセスはある作業を実施できない。 タスクAまたはタスクBを実行した場合は、メインタスクを1回だけ実行する。 import multiprocessing im…

時刻ちょうどに実行する その2

マルチプロセス版の時刻ちょうどに実行する 2秒ごとと5秒ごとに実行する。ただし開始は0秒から。 import multiprocessing import datetime import time class Worker(multiprocessing.Process): def __init__(self,queue,interval=5): self.interval=interva…

sqliteをインメモリで使ってみた

やりたいことは以下。全部できた。 インメモリDBは早い。 インメモリで動かす 日付、日時を格納する 日時、日時の新しいN件だけをDB内に維持する 日付、日時の新しいM件を取り出す ソースコード import sqlite3 import time import datetime start=time.time…

リングバッファと計算

# -*- coding: utf-8 -*- class RingBuffer(): def __init__(self,bufferSize): self.size = bufferSize self.pc= 0 #次に使うバッファの番号 self.data=[None]*self.size #固定長さのリスト self.valid=False #リングバッファがいっぱいになったらTrueにす…

multiprocessingのサンプルコード

multiprocessingのサンプルコード。 マルチコア処理してほしい&処理には共通の情報を利用する、という条件あり。 メンバ変数の書き換えは、returnには反映されるが、実行のたびに1に戻っている感じ。 # -*- coding: utf-8 -*- from multiprocessing import …

Threadを使うときの"TypeError: function1() got multiple values for argument 'arg1'"

threading.Threadを使って引数持つ関数を実行すると、以下のようなエラーになることがある。 run()に直接関数を記述せず、すでにある関数をrun()の中で実行しようとすると起きる。 "TypeError: function1() got multiple values for argument 'arg1'" 原因は…

時刻ちょうどに実行する

プログラム # -*- coding: utf-8 -*- import threading import datetime from time import sleep """ 1秒ごとに交互に実行する。 時刻は現在時刻を取得して、1/100秒単位くらいでx秒ちょうどに開始したい。 →時刻取得の関数が重たいのか、精度が出ているかど…

ファイルの最後の1行を読む

ファイルの最後の1行を読みたい時。 # -*- coding: utf-8 file_name="some_file.csv" with open(file_name,'r') as f: num_lines = sum(1 for line in f) f.seek(0) for line in range(0, num_lines-1): f.readline() line = f.readline() print(line)

QueueをつかったPython マルチスレッド

マルチスレッドのテストプログラム。 Listをもらって、加算して、結果をグローバルのリストに書き込む。 import threading import queue import time commonList=[] q=queue.Queue() def worker(): """ マルチスレッドで走らせる関数 Queueからデータをもら…

DBに特定のデータがあるかどうかを確認する

DB内にデータがあるかどうか確認する。 あった時は更新(update)、なかった時は挿入(insert)するように処理すればよい。cur.execute(sql,data)に渡した時にSQL文がうまく展開されない?問題で困った。 # -*- coding: utf-8 import mysql.connector import dat…

pythonのunittestのコード

ちょっと前に書いた記事compute-cucco.hatenablog.comのテストコード。というか抽象クラスは関係ないので、ただのテストコード。 raiseに対するテストコードの書き方が分からない。。。 # -*- coding: utf-8 -*- import unittest import movingCalcs from mo…

Jenkinsのインストール(CentOS on raspberry pi3)

インストール手順は以下にアリ。 RedHat Repository for Jenkins追記:Javaがない、といってJenkinsの起動に失敗します。動作確認はまた後日。 # sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo sudo: wget…

Raspberry Pi3にCentOS

CentOSが入るらしいのでやってみた。 wi-fiのドライバを別途ダウンロードする必要があるので、Raspberry Pi3に有線LANが必要。 ダウンロード Download CentOSMore download choicesへ。 http://wiki.centos.org/DownloadAltArch Releasesの中に、RaspberryPi…

Abstract Base Classのテスト

Abstract Base Classのテスト。 メソッド名が同じで、引数が異なるオブジェクトの生成と実行のサンプルです。 メソッド名を共通で固定したいので、Abstract Base Classを使ってみました。変数名にnameを使っていたら、「TypeError: 'str' object is not call…

Failed to create session. CUDA_ERROR_INVALID_DEVICE

古いGPUがついていると、こんなエラーになることがある。 $cd /usr/local/lib/python3.5/dist-packages/tensorflow/models/image/mnist $/usr/local/lib/python3.5/dist-packages/tensorflow/models/image/mnist$ python3 convolutional.py I tensorflow/str…

CUCA Toolkitのインストール (network deb)

Ubuntu 16.04にCUCA Toolkitのインストールした時のメモ。 CUDA ToolkitCUDA 8.0 Downloads https://developer.nvidia.com/cuda-downloadsSelect Target Platformから Operating System:Linux Architecture:x86_64 Distribution:Ubuntu Version:16.04Install…

Enterキーが押せない

Ubuntu16.04のインストールの話。 最後に、メディアを抜いて、Enterキーを押せ、と出る。 Please remove installation media and close tray and press enter.しかし、それまで使えていたUSBのキーボードは認識しない様子。 困り果てて、しばらく(10分くらい…

CUCA Toolkitのインストール

CUCA Toolkitのインストール Ubuntu 16.04にCUCA Toolkitのインストールした時のメモ。 CUDA ToolkitCUDA 8.0 Downloads https://developer.nvidia.com/cuda-downloads[Select Target Platform]から Operating System:Linux Architecture:x86_64 Distributio…

Ubuntu 16.04 NVIDIA driver Install

Ubuntu16.04インストール直後は、GPUのドライバがないので、ドライバを更新する。 ログイン画面が開かない場合は、仮想コンソールを開く。Ctrl + Alt + F1。 次のようなエラー(LVMの場合)?の場合も対象。 lvmetad is not active yet; using direct activati…

SQL操作で列の最大値を得る

ある列が最大の列の値を取ってくる場合、以下は間違い。 mysql> select id,time from table_sec where time=max(time); ERROR 1111 (HY000): Invalid use of group function列名に対してMAXを適用するなんて不思議な感じ。 mysql> select id,max(time) from …

mysqlでのテーブルの1対多のjoin。

mysqlでのテーブルの1対多のjoin。TABLE_SECには、5秒ごとのデータが入っている。 TABLE_HOURには、1時間ごとのデータが入っている。10:00:06の時点では、10:00:00からの5秒間のデータは確定しているが、 10:00:00から1時間のデータは確定していない。 その…

pythonで逐次入力に対して移動平均を計算するためのクラス

pythonで、逐次入力に対して移動平均を計算する。 移動平均幅は、コンストラクタの引数に与えておく。以下、ソース。 # -*- coding: utf-8 -*- class MovingAverage: """逐次入力に対して移動平均を計算するためのクラス""" def __init__(self,size): # コン…

Matlab 2016bのwebreadがおかしい

Matlab 2016bのwebreadの動きがおかしかったのでメモ。 問題 Matlab 2016aでは正しく動いていたのに、Matlab 2016bにあげたらbad requestが返ってくるようになった。 原因? URLの中にある時刻の表現の中で%3Aのエンコードがおかしなことになってることが判…

PythonからMatlabの関数を呼び出す

matlab.engineのインストール 管理者権限で起動したコマンドプロンプトで以下を実行 cd "C:\Program Files\MATLAB\R2016a\extern\engines\python\" C:\Python34\python.exe "C:\Program Files\MATLAB\R2016a\extern\engines\python\setup.py" install なぜか…

Matlabで1×Nのサイズのベクトルを2次元配列に変換

まずは変換のルールを確認 3×4の2次元配列を用意。 >> a=[[1 2 3 4]; [5 6 7 8]; [9 10 11 12]] a = 1 2 3 4 5 6 7 8 9 10 11 12reshape()で1×Nに変換。列方向に拾って1×Nを作る様子。 >> b=reshape(a,1,[]) b = 1 5 9 2 6 10 3 7 11 4 8 124列の形にしてほ…