こすたろーんエンジニアの試行錯誤部屋

作成物の備忘録を書いていきますー

Build mysql environment with jetsonNX and docker

To learn about databases, we built a mysql environment This is a memorandum. contents contents abstract 1.crate a docker file 2.run docker container 参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); abstract how to b…

dockerコンテナで立ち上げたjupyter labのパスワード変更

以前にJetson Xavier NXとDockerでjupyter notebookの環境構築を行いました technoxs-stacker.hatenablog.com このままではパスワードがデフォルトのままなので、今回はパスワードの変更を行います 目次 目次 この記事でわかること 1.実行環境 2.手順 参考 …

Building a jupyterlab environment that we can use pytorch in using Jetson Xavier NX and docker

I previously created a jupyterlab environment using an existing docker image. technoxs-stacker.hatenablog.com I thought I might run pytrorch on jupyterlab in the future, so I created an image with jupyterlab installed based on the previous…

mysqlコマンドでCREATE,INSERTまでやってみた

この前mysqlの環境を構築しました technoxs-stacker.hatenablog.com 今回は作成したdbでテーブルを作成しデータを追加するところまでやってみました このブログは備忘録です 目次 目次 この記事でわかること 1.db作成 1.1 rootユーザでmysqlのdocker contain…

How to handle command line arguments in metaflow

I have built a metaflow environment before. I wanted to run metaflow by passing arguments. so I looked into it and tried it out. This is a memorandum. ※See below for environment construction technoxs-stacker.hatenablog.com contents content…

jetsonNXとdockerでmysqlインストールした環境を構築する

データ分析のためのデータベースを学ぶため、mysqlの環境を構築しました このブログは備忘録です 目次 目次 この記事でわかること 1.dockerfileの作成 2.docker containerの起動 参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); …

I tried tensorboradX.

tensorboardX is a dashboard tool that allows visualization of data flow graphs and variables (loss, accuracy, etc.) of the learning relationship. (pytorch version of tensorboard used in tensorflow) We will add tensorboardX into the simsiam…

netflixのmetaflowでpythonコマンドライン引数の対応方法

以前にmetaflowの環境を構築しましたが、引数を渡してmetaflowを実行したいと思い、 調べて試してみました こちらの記事は備忘録になります ※環境構築は以下を参照 technoxs-stacker.hatenablog.com 目次 目次 この記事でわかること 1.コードの改造 2.parame…

Jetson Xavier NXとdockerでpytorchが使えるjupyterlab環境を構築する

以前に既存のdocker imageを使ってjupyterlabの環境を作りました technoxs-stacker.hatenablog.com 今後jupyterlab上でpytrorchを動かすこともあるかと思い、以前のpytorch docker imageをもとに jupyterlabをインストールしたimageを作ってみました 目次 目…

VS codeでLinter, Formatter, Auto Documentationが使えるように設定する

開発の品質をあげるために静的解析(flake8)及びコード整形(autopep8)、コメント生成機能(AutoDocstring)をVSCodeに導入しました この記事はその備忘録です 目次 目次 この記事でわかること 1.必要モジュールのインストール 2.VSCodeの拡張機能でAutoDocstrin…

Jetson Xavier NXでJenkinsインストール済みdocker image作成

jetson NXでJenkins環境を構築する備忘録です 目次 目次 この記事でわかること 1.Dockerfileの作成 2.docker image作成 3. docker コンテナ起動 4. Jenkinsの設定 5.参考 感想 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); この記…

Jetson Xavier NXとdockerでnetflix製Metaflowが使える環境を構築

MLOpsの勉強をしている中で管理モジュールのmetaflowが使える環境を構築しました このブログは備忘録です 目次 目次 この記事でわかること 1.Metaflowとは 2.実行環境 3.Dockerfile作成 4.docker imageの作成 5.containerの作成 6. sampleコードの実行 deepl…

barlowtwinsをcifar10データセットで動かしてみた

以前にJetson Xavier NXとpytorchでSimSiam表現学習(CIFAR-10)をやってみました 最新の表現学習を調べてみると、自己教師あり学習にbarlowtwinsなるものがあったので試してみました Facebookが自己教師学習barlowtwinsのコードを公開していたのでこれを使っ…

pytorch環境のsimsiamでefficientnetの表現学習をやってみる

以前にJetson Xavier NXとdockerでpytorchのefficientnetの学習環境構築をしました 今回はこの環境を使ってefficientnetをベースとしたsimsiam表現学習をやってみます 目次 目次 この記事でわかること 1.実行環境 2.環境構築手順 2.1 docker containerを起動…

Jetson Xavier NXとdockerでpytorchのefficientnetの学習環境を構築してみた

以前にdockerを使ってJetson Xavier NX上でpytorchの環境を構築しました technoxs-stacker.hatenablog.com こちらの環境だとtorchvisionのversionは0.7.0となっています efficientnetに対応しているtorchvisionのversionは0.11以上なので、torchvisionのvers…

how to use key-bind with streamlit

I was wondering if it would be possible to operate streamlit using the keyboard, so I looked into it and found that components.html might be able to do it, so here's a reminder. The code is an improvement of the one I created before. techn…

Command options for using configparser with streamlit

This is a memorandum of my trial for using configparser in streamlit. contents contents abstract 1.command opition refarence スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); abstract how to use configparser in streamlit …

setup nodejs and npm in a docker container

It is a memorandum on setting up nodejs and npm in a docker container with Jetson Xavier NX. requirement Jetson Xavier NX ubuntu18.04 docker python3.x contents requirement contents Introduction solution reference スポンサーリンク (adsbygoo…

Jetson Xavier NXとdockerでjupyter notebook環境を構築

データ分析環境を構築するため、Jetson Xavier NXとDockerでjupyter notebookの環境構築を行いました 目次 目次 この記事でわかること 1.実行環境 2.環境構築手順 3.参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); この記事でわ…

Setup a Tensorflow environment with Jetson Xavier NX and docker

It is a memorandum on setting up a Tensorflow environment with Jetson Xavier NX. contents contents requirement procedure reference スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); requirement Jetson Xavier NX ubuntu18.04…

【streamlit】htmlを埋め込んでkey-bindを対応してみた

streamlitの操作をキーボードでできないかなと思い調べてみたところcomponents.htmlを使えばできそうなので備忘録です コードは以前に作成したものを改良してます technoxs-stacker.hatenablog.com 目次 目次 この記事でわかること 1.実行環境 2.改良版コー…

Setup a machine learning environment with Jetson Xavier NX and docker

It is a memorandum on setting up a machine learning environment with Jetson Xavier NX. contents contents requirement procedure reference スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); requirement Jetson Xavier NX ubunt…

Jetson Xavier NX上でfacebookresearchの画像分類フレームワーク ClassyVision を使う

facebookresearchが公開している画像分類フレームワークClassyVisionをJetson Xavier NX上で動かす際の備忘録です 強引なやり方をしてますので、もっとスマートなやり方をご存じの方はコメントで教えてくれると嬉しいです・・・ 目次 目次 この記事でわかる…

abseilで複数の引数をflagfileで一括設定する

目次 目次 この記事でわかること 1.実行環境 2.基本的な使い方 2.1テキストファイルに引数設定を記述 2.2python実行時にテキストファイルを指定する 関連記事 感想 参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); この記事でわ…

Setup a Pytorch environment with Jetson Xavier NX and docker

It is a memorandum on setting up a Pytorch environment with Jetson Xavier NX. contents contents requirement procedure reference スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); requirement Jetson Xavier NX ubuntu18.04 do…

pytorchのdashboardのtensorboradXをinstallして試してみた

tensorboardXは、データフローグラフや学習関係の変数(lossやaccuracyなど)の可視化できるダッシュボードツールです (tensorflowで使われるtensorboardのpytorch版) 今回以前に作成したsimsiamコードにtensorboardXを導入します technoxs-stacker.hatenablog…

便利な引数処理モジュールabseilを使ってみた

googleが公開している引数解析モジュールabseilを試してみました absesilを導入するコードは以前に作成したSimSiam実行用のコードになります technoxs-stacker.hatenablog.com 目次 目次 この記事でわかること 1.実行環境 2.インストール方法 3.基本的な使い…

Jetson Xavier NXとpytorchでSimSiam表現学習(CIFAR-10)をやってみた(最終) 改良コードの実行

こちらは「Jetson Xavier NX上でSimSiamとCIFAR-10で表現学習をやってみた(5) facebookreseach github train関数の変更」の続きになります 今回が最終回になります technoxs-stacker.hatenablog.com 目次 目次 1.実行環境 2.変更後のコード 3.実行 コマンド…

Jetson Xavier NXとNVIDIA l4t-mlのdockerイメージでCUDAが使えるDeepLearning環境の構築

Jetson Xavier NXでdeeplearningに必要な環境を構築する際の備忘録です ngcのdocker image「l4t-ml」を使います l4t-mlをいれるとdeep learningに使うモジュール一式がそろった環境をつくることができます (TensorFlow, PyTorch, scikit-learn, scipy, Panda…

Jetson Xavier NX上でSimSiamとCIFAR-10で表現学習をやってみた(5) facebookreseach github train関数の変更

こちらは「Jetson Xavier NX上でSimSiamとCIFAR-10で表現学習をやってみた facebookresearch Transformクラスを新規作成(4)」の続きになります technoxs-stacker.hatenablog.com 目次 目次 1.実行環境 2.コード変更 参考 スポンサーリンク (adsbygoogle = wi…