Convert dog pictures into various painting styles. Try LimnPet

Overview

Logo

LimnPet

Cartoon stylization service project

Try our service »

Home page · Team notion · Members

목차
  1. 프로젝트 소개
  2. 구현 기능
  3. 사용 방법
  4. 서비스 시연 영상
  5. 로드맵
  6. 기여하기
  7. 연락처
  8. 참고 자료 및 코드 출처

About the Project



LimnPet은 커스텀 굿즈 제작 과정 간 따로 그림 서비스를 받아야 하는 불편함을 해소하기 위한
GAN 기반 반려견 그림 자동 생성 및 저장/공유 서비스입니다.



최근 성장하는 반려동물 시장과 반려동물을 가족 구성원으로 인식하고 감정을 가진 하나의 인격체로 대우하는 현상인 '펫 휴머나이제이션' 트렌드가 확산되고 있습니다. 따라서 개성을 중요하게 생각하는 MZ세대의 반려인은 반려동물 옷이나 액세서리를 통해 일명 ‘펫 부심’을 드러내려 합니다.

만약 고객이 반려견 사진을 원본 그대로 이용하지 않고, 캐릭터화한 반려견 그림이나 초상화를 이용하여 커스텀 굿즈 제작을 의뢰하기 위해서는 상품 제작과는 별개로 그림을 그려주는 서비스를 받아야 합니다.

하지만 고객의 입장에서 이러한 과정은 매우 번거롭고 비용도 많이 들 수 있다는 단점이 존재합니다.




Here's Insight 😊

  • 굿즈 제작을 위한 그림 서비스를 전문가의 수작업이 필요하지 않도록 자동화합니다.
  • 생성된 이미지를 기반으로 반려견 커스텀 굿즈(의류, 휴대폰 악세서리, 생활용품, 기타 등등)를 제작할 수 있도록 관련 업체와 사용자간 의사소통 채널을 형성합니다.
  • 이원화된 서비스 제공으로 인한 고객의 불편함을 감소시키고 굿즈 제작에 대한 접근성을 높일 수 있습니다.



더 자세한 프로젝트 소개와 문제 정의는 » Team notion 에서..



Goals of LimnPet Project


  • 이제는 가족의 구성원인 나의 반려동물만을 위한 카툰/그림 형식의 캐릭터 생성
  • 높은 비용과 오랜 제작기간이 필요한 수작업 반려동물 굿즈의 문제점을 해결
    • 전문가의 작업이 필요했던 반려동물 캐릭터화 또는 그림을 자동하여 비용과 시간을 절약
    • 생성된 이미지를 커스터마이징 굿즈 제작 업체에 제공하여 손쉽게 나만의 굿즈 구매
  • 반려동물과 커스터마이징 업체 중개를 통해 반려동물 관련 새로운 시장 및 문화를 형성



Used Tech stacks & Tools


Python html5 css3 Javascript jQuery
Selenium OpenCV Numpy Tensorflow Pytorch
Notion GitHub Microsoft PowerPoint adobe photoshop google drive
diagrams google colab Visual Studio Code
Addthis Disqus Bootstrap Flask Pythonanywhere freenom



Team members



김한주

김민지

성연재

송종호

정영훈




Implementation Features

Key Features

반려견 사진 업로드 또는 촬영 및 원하는 스타일 선택
학습된 모델을 통해 사진을 그림으로 변환
변환된 이미지 화면 표시 및 저장/공유 여부 확인
사용자 요청에 따른 이미지 저장/공유 혹은 화면 초기화
이미지 변환에 대한 사용자 반응 및 피드백 수집을 위한 댓글 페이지 제공
변환 이미지를 활용해 굿즈를 제작할 수 있는 업체 목록 표시
사용자가 선택한 업체 페이지로 이동


Additional Features

⊕ 사진 전체가 아닌 반려견 영역만 따로 추출하여 이미지 변환
⊕ 저화질 이미지 화질 개선
⊕ 글로벌 웹페이지 사이트 지원(Korean, English, Japanese, Spanish, Chinese)





How to use

1. 홈페이지 접속 방법
   1️⃣ Service 페이지 접속
   2️⃣ 스타일 선택 및 이미지 업로드
   3️⃣ Draw picture 버튼 클릭 또는 Improve resolution 버튼 클릭
   4️⃣ 출력/결과 이미지 저장
   5️⃣ 굿즈 사이트에서 주문 의뢰


2. 로컬 서버 실행 방법
   1️⃣ app.py 파일 실행
   2️⃣ localhost 주소로 접속
   3️⃣ 위의 과정과 동일




Service Demonstration Video


사진을 클릭해주세요





Roadmap

1st. iteration

  • 데이터셋 수집 및 CartoonGAN 모델 학습

  • CartoonGAN 모델을 이용하여 반려견 사진을 Cartoon화

  • return 이미지를 웹에 post

  • 소셜 네트워크 기능 추가(댓글 기능, SNS 공유기능)

  • 웹 배포



2st. iteration

  • segmantation 모델을 추가. 이미지에서 반려견만을 추출하여 Cartoon화

  • 웹 페이지 UI 추가 및 개선

  • 굿즈 제작 회사 사이트 추가

  • 굿즈 제작 사업자 정보 제공, 사진을 굿즈 사업자에게 전달


3st. iteration

  • Plan1) ReactNative를 이용한 앱 개발

  • Plan2) PWA를 이용한 앱 개발

  • 앱 마켓 출시 준비 (Google Play)

  • 앱 Open testing release 대기


TODO list in the near future:

  • 이미지 분할 기능 분리

    • 사용자가 직접 배경을 미리 제거한 사진을 그대로 이용할 수 있도록 해당 기능 분리

    • 기능 분할 시, 아래와 같은 이점이 존재

      • 분할 모델이 반려견을 제대로 인식하지 못한 경우에 대한 결과 방지
      • 사용자가 배경을 포함한 이미지를 변환하길 원하는 경우에 대한 선택권 제공
  • 이미지 변환과 해상도 개선 기능 통합

    • 저화질의 이미지가 필요한 경우는 존재하지 않음

    • 현 프로젝트에서는 서버 자원 문제로 해당 기능들을 분할했으나, 실제로는 통합이 필요

  • cartoonGAN 모델 성능 평가 및 개선

    • 충분하지 못한 학습으로 인해 이미지 일부만 변환되는 결과가 존재, 학습 횟수를 늘려 모델의 안정성 확보 필요

    • 현 프로젝트에서는 객관적인 모델 평가 지표에 대한 성능 평가가 이루어지지 않았으므로, 최근 GAN 모델의 평가 지표 관련 연구를 참고해 객관적인 평가 필요

  • 커뮤니티 및 갤러리 기능 추가

    • 사용자들이 저장한 결과 이미지들을 타 플랫폼이 아닌 웹 페이지 내에서 서로 공유할 수 있도록 커뮤니티 및 갤러리 기능을 추가

    • 사용자 잔존율 향상 기대

  • 반려동물 범위 확장

    • 고양이, 앵무새 등 다양한 반려동물에 대해 서비스 범위 확대
  • 굿즈샵들과의 연계를 통한 거래 중개 역할 강화

    • 각 업체와의 연계를 통해 범위를 확장시켜, 단순 목록 제공이 아닌 굿즈 제작 및 결제까지 페이지 내에서 수행할 수 있도록 웹 페이지 개선

    • 업체별 리뷰 및 평점 기능을 구현해 사용자와 굿즈 업체 간 의사소통 채널 형성 기반 마련

  • 부가 서비스 제공

    • 아래 예시와 같은 다양한 부가 서비스 추가 제공
      • 그림 이모티콘화
      • 유명 작가 및 굿즈샵과의 연계를 통한 자체 제작 굿즈 판매
      • 사용자가 직접 자신의 반려견을 이용한 굿즈를 만들어 거래





Contributing

이 프로젝트의 서비스 모델을 개선할 수 있는 제안이 있다면, repo를 전환하고 pull 요청을 해주세요.
또한 Issues 에서 "enhancement" 태그로 간단히 issue를 열어보고 기능 추가를 해보실 수 있습니다.
이 프로젝트에 별을 주는 것도 잊지 마세요. 감사합니다!


  1. Fork the Project
  2. Create your Feature Branch (git checkout -b feature/AmazingFeature)
  3. Commit your Changes (git commit -m 'Add some AmazingFeature')
  4. Push to the Branch (git push origin feature/AmazingFeature)
  5. Open a Pull Request





Contact

Team e-mail: [email protected]

Members's e-mail

Project Link: Github, Notion





Acknowledgments

(back to top)

Owner
LiJell
University of Colorado at Boulder [email protected]
LiJell
Dense Contrastive Learning (DenseCL) for self-supervised representation learning, CVPR 2021.

Dense Contrastive Learning for Self-Supervised Visual Pre-Training This project hosts the code for implementing the DenseCL algorithm for se

Xinlong Wang 491 Jan 03, 2023
Image-to-image regression with uncertainty quantification in PyTorch

Image-to-image regression with uncertainty quantification in PyTorch. Take any dataset and train a model to regress images to images with rigorous, distribution-free uncertainty quantification.

Anastasios Angelopoulos 25 Dec 26, 2022
A Python package for causal inference using Synthetic Controls

Synthetic Control Methods A Python package for causal inference using synthetic controls This Python package implements a class of approaches to estim

Oscar Engelbrektson 107 Dec 28, 2022
(Arxiv 2021) NeRF--: Neural Radiance Fields Without Known Camera Parameters

NeRF--: Neural Radiance Fields Without Known Camera Parameters Project Page | Arxiv | Colab Notebook | Data Zirui Wang¹, Shangzhe Wu², Weidi Xie², Min

Active Vision Laboratory 411 Dec 26, 2022
PyTorch implementation for OCT-GAN Neural ODE-based Conditional Tabular GANs (WWW 2021)

OCT-GAN: Neural ODE-based Conditional Tabular GANs (OCT-GAN) Code for reproducing the experiments in the paper: Jayoung Kim*, Jinsung Jeon*, Jaehoon L

BigDyL 7 Dec 27, 2022
TensorFlow implementation of Elastic Weight Consolidation

Elastic weight consolidation Introduction A TensorFlow implementation of elastic weight consolidation as presented in Overcoming catastrophic forgetti

James Stokes 67 Oct 11, 2022
Exploration & Research into cross-domain MEV. Initial focus on ETH/POLYGON.

xMEV, an apt exploration This is a small exploration on the xMEV opportunities between Polygon and Ethereum. It's a data analysis exercise on a few pa

odyslam.eth 7 Oct 18, 2022
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification

Understanding Bayesian Classification This repository hosts the code to reproduce the results presented in the paper On Uncertainty, Tempering, and Da

Sanyam Kapoor 18 Nov 17, 2022
Language Models for the legal domain in Spanish done @ BSC-TEMU within the "Plan de las Tecnologías del Lenguaje" (Plan-TL).

Spanish legal domain Language Model ⚖️ This repository contains the page for two main resources for the Spanish legal domain: A RoBERTa model: https:/

Plan de Tecnologías del Lenguaje - Gobierno de España 12 Nov 14, 2022
This is a repository with the code for the ACL 2019 paper

The Story of Heads This is the official repo for the following papers: (ACL 2019) Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy

231 Nov 15, 2022
frida工具的缝合怪

fridaUiTools fridaUiTools是一个界面化整理脚本的工具。新人的练手作品。参考项目ZenTracer,觉得既然可以界面化,那么应该可以把功能做的更加完善一些。跨平台支持:win、mac、linux 功能缝合怪。把一些常用的frida的hook脚本简单统一输出方式后,整合进来。并且

diveking 997 Jan 09, 2023
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN

Interpretable Control Exploration and Counterfactual Explanation (ICE) on StyleGAN Which Style Makes Me Attractive? Interpretable Control Discovery an

Bo Li 11 Dec 01, 2022
Code for "On Memorization in Probabilistic Deep Generative Models"

On Memorization in Probabilistic Deep Generative Models This repository contains the code necessary to reproduce the experiments in On Memorization in

The Alan Turing Institute 3 Jun 09, 2022
DFFNet: An IoT-perceptive Dual Feature Fusion Network for General Real-time Semantic Segmentation

DFFNet Paper DFFNet: An IoT-perceptive Dual Feature Fusion Network for General Real-time Semantic Segmentation. Xiangyan Tang, Wenxuan Tu, Keqiu Li, J

4 Sep 23, 2022
Official implementation of "Membership Inference Attacks Against Self-supervised Speech Models"

Introduction Official implementation of "Membership Inference Attacks Against Self-supervised Speech Models". In this work, we demonstrate that existi

Wei-Cheng Tseng 7 Nov 01, 2022
CenterPoint 3D Object Detection and Tracking using center points in the bird-eye view.

CenterPoint 3D Object Detection and Tracking using center points in the bird-eye view. Center-based 3D Object Detection and Tracking, Tianwei Yin, Xin

Tianwei Yin 134 Dec 23, 2022
Source code for EquiDock: Independent SE(3)-Equivariant Models for End-to-End Rigid Protein Docking (ICLR 2022)

Source code for EquiDock: Independent SE(3)-Equivariant Models for End-to-End Rigid Protein Docking (ICLR 2022) Please cite "Independent SE(3)-Equivar

Octavian Ganea 154 Jan 02, 2023
A library for preparing, training, and evaluating scalable deep learning hybrid recommender systems using PyTorch.

collie_recs Collie is a library for preparing, training, and evaluating implicit deep learning hybrid recommender systems, named after the Border Coll

ShopRunner 97 Jan 03, 2023
Code for technical report "An Improved Baseline for Sentence-level Relation Extraction".

RE_improved_baseline Code for technical report "An Improved Baseline for Sentence-level Relation Extraction". Requirements torch = 1.8.1 transformers

Wenxuan Zhou 74 Nov 29, 2022
Keras attention models including botnet,CoaT,CoAtNet,CMT,cotnet,halonet,resnest,resnext,resnetd,volo,mlp-mixer,resmlp,gmlp,levit

Keras_cv_attention_models Keras_cv_attention_models Usage Basic Usage Layers Model surgery AotNet ResNetD ResNeXt ResNetQ BotNet VOLO ResNeSt HaloNet

319 Dec 28, 2022